Datadogのログコスト最適化

2026.02/26 NEALLE Datadogのログコスト最適化 1

2 氏名所属経歴森原大地／ Daichi Morihara  
株式会社ニーリー  プロダクト統括本部プラットフォームエンジニアリングG   SRE / プラットフォームエンジニアリング   趣味ゴルフ󰝱筋トレ🏋UFC観戦🥊 2024-   新卒で株式会社ニーリーに入社   SREとしてサービスの信頼性と開発生産性の向上に取り組む     自己紹介   @daichi_morihara

3 事業・プロダクト紹介   BtoBtoCのVertical SaaS「Park Direct」を運営  

目次  4 1. Datadogのログコストの構造     2. ログコストの削減施策    
3. 結果・まとめ       目次 

ログコストの構造 5 1. ログの取り込み   (Ingested Logs) ・内容：収集・処理パースにかかる費用  ・課金体系：ボリュームベース(例：
$0.1/Gb)  ・対策：ログ送信量の削減  ２. ログのインデックス化   (Indexed Logs) ・内容：検索・可視化・アラートのために保存するプロセス  ・課金体系：高額。ログイベント数と保持期間に依存(例：15日保持で $2.55/100万イベント)  Datadogログコストの構造  

ログコストの構造   6 1. ログの取り込み   (Ingested Logs)   ・内容：収集・処理パースにかかる費
用  ・課金体系：ボリュームベース(例： $0.1/Gb)  ・対策：ログ送信量の削減  ２. ログのインデックス化   (Indexed Logs) ・内容：検索・可視化・アラートのために保存するプロセス  ・課金体系：高額。ログイベント数と保持期間に依存(例：15日保持で $2.55/100万イベント)  ログコストの主要因であり、ここの最適化が効果的。  Datadogログコストの構造：支配的な要因は「インデックス化」  

ログコストの削減施策 1. ALBログのインデックス除外 SLI/SLO計測に必要なデータのみを抽出し、元ログのインデックス化を停止する。   ２. 保持期間の環境別最適化   コスト削減を実現した2つのアプローチ  
全てのログを一律設定するのではなく、環境(prod/dev/stg)の用途に合わせて、保持期間を設定する。 

8 ・ALBログはDatadog上ではリクエスト成功率・レイテンシーといったSLI/SLO の監視のみに使用     ・ALBログはAWS S3に保管され、Athenaで分析可能     ・Datadogのログはカスタムメトリクス生成→ログのインデックス化の順番で処
理される  施策①：ALBログをインデックス対象から除外   ログコストの削減施策

9 ・ALBログはDatadog上ではリクエスト成功率・レイテンシーといったSLI/SLO の監視のみに使用     ・ALBログはAWS S3に保管され、Athenaで分析可能     ・Datadogのログはカスタムメトリクス生成→ログのインデックス化の順番で処
理される  施策①：ALBログをインデックス対象から除外   ログコストの削減施策 ↓  ・ALBログからSLI/SLOに使用するカスタムメトリクスを生成すれば、インデックス化しないという選択が可能に！

10 ログコストの削減施策   実装ステップ１：Logs Pipelineによる属性の抽出と正規化   Logs Pipelineを通して必要な情報(Attribute) を抽出する 

11 ログコストの削減施策   実装ステップ２：Generate Metricsでログを「数値」に変換   抽出した属性(Attribute)を使用して、カスタムメトリクスを作成する。  ログを保存せずに、必要な情報の監視が可能になる  

12 ログコストの削減施策   実装ステップ３：インデックス除外設定   ALBログと判断できるタグを条件に、Index Exclusion Filterを適用 

13 ログコストの削減施策   結果：ログ保存せずにSLI/SLOの算出が可能に   ・生成したメトリクスを使用してダッシュボードおよびSLI/SLO監視は機能し続ける  ・カスタムメトリクス生成のコストは発生するが、ログのインデックス化より安価である 

ログコストの削減施策   施策②：環境ごとのインデックス保持期間の最適化   After   ・本番環境のみ90日の保持期間   ・dev/stg環境では30日の保持期間  
Before   ・全環境で一律で90日の保持期間  

成果  15 • ログコストを70%削減(メトリクスコスト増加を考慮すると40%削減)   • 90日保持のインデックスログは90%近く削減     コスト削減結果
  *この外れ値は月次の大量のバッチ処理の影響  

• Datadogのログコストはインデックス化が支配的     • ログから必要情報をメトリクスとして抽出し、   ログは保持しないという選択肢もある    
• インデックスログの保持期間は環境ごとに分ける   まとめ  16 まとめ 

Datadogのログコスト最適化

Datadogのログコスト最適化

Nealle

More Decks by Nealle

Other Decks in Technology

Featured

Transcript

2026.02/26 NEALLE Datadogのログコスト最適化 1

2 氏名所属経歴森原大地／ Daichi Morihara

3 事業・プロダクト紹介   BtoBtoCのVertical SaaS「Park Direct」を運営

目次  4 1. Datadogのログコストの構造     2. ログコストの削減施策

ログコストの構造 5 1. ログの取り込み   (Ingested Logs) ・内容：収集・処理パースにかかる費用  ・課金体系：ボリュームベース(例：

ログコストの構造   6 1. ログの取り込み   (Ingested Logs)   ・内容：収集・処理パースにかかる費

ログコストの削減施策 1. ALBログのインデックス除外 SLI/SLO計測に必要なデータのみを抽出し、元ログのインデックス化を停止する。   ２. 保持期間の環境別最適化   コスト削減を実現した2つのアプローチ

10 ログコストの削減施策   実装ステップ１：Logs Pipelineによる属性の抽出と正規化   Logs Pipelineを通して必要な情報(Attribute) を抽出する

11 ログコストの削減施策   実装ステップ２：Generate Metricsでログを「数値」に変換   抽出した属性(Attribute)を使用して、カスタムメトリクスを作成する。  ログを保存せずに、必要な情報の監視が可能になる

12 ログコストの削減施策   実装ステップ３：インデックス除外設定   ALBログと判断できるタグを条件に、Index Exclusion Filterを適用

ログコストの削減施策   施策②：環境ごとのインデックス保持期間の最適化   After   ・本番環境のみ90日の保持期間   ・dev/stg環境では30日の保持期間

成果  15 • ログコストを70%削減(メトリクスコスト増加を考慮すると40%削減)   • 90日保持のインデックスログは90%近く削減     コスト削減結果

• Datadogのログコストはインデックス化が支配的     • ログから必要情報をメトリクスとして抽出し、   ログは保持しないという選択肢もある