JDDUG#15 DataDogで行うバッチ改善

Japan Datadog User Group Meetup#15@東京 での登壇資料です。
https://datadog-jp.connpass.com/event/378380/

Transcript

1. CONFIDENTIAL 2026.02.18 NEALLE DataDogで行うバッチ監視改善 〜意図しないコスト増の落とし穴も添えて〜 1
2. CONFIDENTIAL 2 氏名 所属 経歴 大木 建人 ／ Kento Ohgi 株式会社ニーリー 
 プロダクト統括本部 プラットフォームエンジニアリングG 
 SRE / プラットフォームエンジニアリング 趣味 スノーボード🏂 この前初めて旭岳🏔行ってまいりました 2018-2020 　大学で強化学習の研究 & インターンでAWSにハマる 2020-2023 　新卒で合同会社DMM.comへ入社 SRE 2023- 　株式会社ニーリー SRE 自己紹介 @2357gi @2357gi
3. CONFIDENTIAL 会社・プロダクト紹介 
 NEALLE 1｜会社概要 3
4. CONFIDENTIAL 4 事業・プロダクト紹介 
 BtoBtoCのVertical SaaS「Park Direct」を運営 

5. CONFIDENTIAL 生成AI、してますか？ 
 NEALLE 1｜会社概要 1｜前置き 5
6. CONFIDENTIAL が、AI活用の話は 
 今回はしません！ 
 
 AIをやっていく上での 
 “土台”の話をします 
 NEALLE 1｜会社概要 1｜前置き 6
7. CONFIDENTIAL システムの悪化を検知した時のシナリオ 
 1｜前置き 7 調査 計画 実装 本番確認
8. CONFIDENTIAL システムの悪化を検知した時のシナリオ 
 ちょっと前まで 
 1｜前置き 8 調査 計画 実装 本番確認 AIに委譲することが可能！ 

9. CONFIDENTIAL システムの悪化を検知した時のシナリオ 
 昨今
 1｜前置き 9 調査 計画 実装 本番確認 AIに委譲することが 
 (技術的には) 可能！

10. CONFIDENTIAL 1｜前置き 10 AIに委譲することが (技術的には) 可能！
 
 AIが自律的にメトリクスを収集する必要がある 
 AIが読める場所に、 
 適切にメトリクスを集約する必要がある 

11. CONFIDENTIAL 1｜前置き 11 AIに委譲することが (技術的には) 可能！
 
 AIが自律的にメトリクスを収集する必要がある 
 AIが読める場所に、 
 適切にメトリクスを集約する必要がある 
 AIが読める場所 = 

12. CONFIDENTIAL AI時代には、よりメトリクスを 
 正しく集約する必要がある 
 NEALLE 1｜会社概要 1｜前置き 12
13. CONFIDENTIAL 2026.02.18 NEALLE DataDogで行うバッチ監視改善 
 〜意図しないコスト増の落とし穴も添えて〜 
 13
14. CONFIDENTIAL 2｜構成の説明 14 よくある構成 
 歴史的背景により、単一のSFnで全てのバッチを管理している 
 (EventBridgeによる呼び出し時にcommandを渡し、 
 ECS Taskではそのコマンドを実行している) 

15. CONFIDENTIAL 3｜バッチ毎のインフラメトリクス取得 15 バッチ毎、個別に 
 インフラメトリクスを取得したい 
 DD_TAGSをオーバーライドし、バッチ名を渡す 
 これにより、バッチ毎にインフラメトリクスが取得可能 🎉

16. CONFIDENTIAL 実行時間の取得 16 バッチ毎の実行時間も取りたい 
 バッチ用のデコレータを定義し、以下をログに出力 
 ・バッチ名 
 ・実行結果 
 ・実行時間 
 
 DataDogの Log PipelinesとGenerate Metricsを使用し、 
 バッチ毎の実行回数・時間・結果を抽出、メトリクス化！ 
 
 これにより、バッチの肝となるメトリクスも取れるように 🎉

17. CONFIDENTIAL 実行時間の取得 17 バッチ毎の実行時間も取りたい 
 実際の設定
18. CONFIDENTIAL 実際のダッシュボード 18
19. CONFIDENTIAL APMの導入 19 バッチへのAPM導入時にはサンプリングレートに注意 
 毎分実行などのバッチを100%で取りたくないが、 
 月一など実行頻度が低いバッチは取っておきたい 
 
 環境変数: DD_TRACE_SAMPLING_RULES を利用
 実行頻度によって柔軟に設定できるように 
 
 （terraformで管理しているので、EventBridgeのcron式によって自動的に設定) 

20. CONFIDENTIAL APMの導入 20 バッチへのAPM導入時にはサンプリングレートに注意 
 terraformで管理しているので、EventBridgeのcron式によって自動的に設定 

21. CONFIDENTIAL コスト増の落とし穴 21 しばらくした後、 NATGWのコスト急増 が発生
 以下の2要因 
 ・datadog-agent をPublic Repositoryから取得していた 
 ・バッチのECS Task起動 & 停止が非常に多い 
 
 そこで、ECR Pull Through Cacheを用いて 
 ECR Private Repoにキャッシュすることに 
 
 S3 VPC Endpointも経由してくれて、 
 無事コスト増を抑えることができた 🎉
 

22. CONFIDENTIAL 7｜まとめ 22 AI時代だからこそ、テレメトリーの適切な収集 & 集約は大切 
 バッチもDataDogを利用して丸裸にできる 
 
 これを元に、AIに仕事を全部委譲しよう！ 😁
 
 
 まとめ
 ・Generate Metricsを利用し、ログからバッチ毎の実行時間を取得可能 
 ・APMはバッチ毎の実行回数に注意 
 ・ECR Pull Through Cacheを用いてコスト対策