Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Datadog Logs に ログを集約しようと してる話
Search
orfx
August 25, 2020
Technology
0
8k
Datadog Logs に ログを集約しようと してる話
Japan Datadog User Group Meetup#1
https://datadog-jp.connpass.com/event/185920/
orfx
August 25, 2020
Tweet
Share
More Decks by orfx
See All by orfx
GitLab CI/CDとECS Fargateでリリース作業が楽になった話
orfx
2
5.2k
Other Decks in Technology
See All in Technology
完璧を目指さない小さく始める信頼性向上
kakehashi
PRO
0
130
MCPと認可まわりの話 / mcp_and_authorization
convto
2
340
AI時代の経営、Bet AI Vision #BetAIDay
layerx
PRO
0
360
[TechNight #91] Oracle Database 最新パフォーマンス分析手法
oracle4engineer
PRO
4
300
OpenTelemetry の Log を使いこなそう
biwashi
5
1.2k
Microsoft Learn MCP/Fabric データエージェント/Fabric MCP/Copilot Studio-簡単・便利なAIエージェント作ってみた -"Building Simple and Powerful AI Agents with Microsoft Learn MCP, Fabric Data Agent, Fabric MCP, and Copilot Studio"-
reireireijinjin6
1
190
GMOペパボのデータ基盤とデータ活用の現在地 / Current State of GMO Pepabo's Data Infrastructure and Data Utilization
zaimy
2
110
【CEDEC2025】ブランド力アップのためのコンテンツマーケティング~ゲーム会社における情報資産の活かし方~
cygames
PRO
0
150
LLMでAI-OCR、実際どうなの? / llm_ai_ocr_layerx_bet_ai_day_lt
sbrf248
0
380
20250728 MCP, A2A and Multi-Agents in the future
yoshidashingo
1
160
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
210
帳票構造化タスクにおけるLLMファインチューニングの性能評価
yosukeyoshida
1
200
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Bash Introduction
62gerente
613
210k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
Git: the NoSQL Database
bkeepers
PRO
431
65k
We Have a Design System, Now What?
morganepeng
53
7.7k
[RailsConf 2023] Rails as a piece of cake
palkan
56
5.7k
Into the Great Unknown - MozCon
thekraken
40
1.9k
A Tale of Four Properties
chriscoyier
160
23k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Agile that works and the tools we love
rasmusluckow
329
21k
Optimizing for Happiness
mojombo
379
70k
Transcript
Datadog Logs に ログを集約しようと してる話 川口 奏 Japan Datadog User
Group Meetup#1
1 自己紹介 1 川口 奏 (Kawaguchi So) 所属: 株式会社アイリッジ (自社サービス
FANSHIP 運用チームのエンジニア) 使用クラウド: AWS(一部GCP) Datadog 歴: ちょうど2年くらい 使ってる機能: • Dashboard • Monitor • APM • Logs • UX Monitoring 最近苦労した事: Datadog のプラン変更(主に事務作業)
2 主なログ保管場所 S3 (JSON file) CloudWatch Logs Datadog Logs コストが安い・高信頼性
AWS サービスと相性がいい UI がリッチ・設定が柔軟 閲覧がシェル芸 操作性が・・・ 連携方法が乏しかった
リッチなUI
4 リッチなUI
5 リッチなUI タイムレンジ • 右上のセレクトメニューで画面に表示するログの期間を絞れる。 • ⏪ ⏩ でタイムレンジを指定期間でスライドさせることができる。
6 リッチなUI ファセット • 左端のチェックボックスから用意された分類ごとに絞り込み条件 を絞ることができる。 • 設定した絞り込み条件は後述の検索に反映される • ファセットは手動で設定しているので適切に設定・用意されてい
ないログも存在する。
7 リッチなUI 検索 • 画面上部の入力欄からもフリーテキスト絞り込み条件が設定できる。 • 除外や AND/OR、ワイルドカードなど使用可能な書式は下記を参照 ◦ https://docs.datadoghq.com/ja/logs/search_syntax/
8 リッチなUI ログ一覧 • 絞り込み条件に一致したログの一覧が表示される • 右上 Options からカラム並び替え・削除などの表示を切り替えられる。
9 リッチなUI ログ詳細 • ログ一覧から各ログの詳細を表示することができる。 • 各項目を選択することで下記の機能が使用できる。 ◦ Search fo
~~~ ▪ 絞り込み条件に項目を追加できる。 ▪ 表示されない場合は後述のファセット追加 が必要。 ◦ Exclude ~~~ ▪ 絞り込みの除外条件に項目を追加できる。 ◦ Add column for ~~~ ▪ ログ一覧のカラムに項目を追加できる。 ◦ Create facets for ~~~ ▪ ファセットに項目を追加できる。 ◦ Create measure for ~~~ ▪ 値が数値の場合、レンジや大小比較で絞り 込みすることができるファセットを追加でき る。
10 リッチなUI 非エンジニアにも優しい、直感的に操作可能なUI -> 実際にサポートチームに共有している 資料をほぼそのままスライド転用
設定が柔軟
12 設定が柔軟 システム毎のログフォーマットの違いを パイプラインの強力なプロセッサーで吸収できる { "asctime": "2020-04-08 22:21:08,616" , "levelname":
"INFO", "message": "Request info" , "params": { "request_path" : "/aaa/bbb/ccc/" , "client_ip": "xxx.xxx.xxx.xxx" , } } { "msg": { "msg": "program finished." , "action_type" : "aaa" }, "level": "info", "time": "2020-08-24T22:28:47+09:00" , "timestamp": 1598275727000 } システムA システムB
13 設定が柔軟 Grok Parser
14 設定が柔軟 { "log": "{\"msg\": {...}, \"time\":\"2020-07-27T15:50:39+09:00 \", \"level\": \"info\"}",
"service": "fanship", "source": "stderr", "timestamp": 1595832639000 } ログフォーマットを吸収できた事例 (JSON in JSON) Datadog サポートの方に神速で教えていただきました
Datadog Logs への 連携経路
16 Datadog Logs への連携経路 以前は・・ • datadog-agent が直接ログを tail して
Datadog に送信までさせる方法 ◦ 詳しく語らないが、弊社で過去にトラブルが発生した • ECS Fargate は CloudWatch Logs を経由させる方法しかほぼ無かった ◦ 二重課税
17 Datadog Logs への連携経路 (ECS アプリログ) ECS Service Application Container
Datadog Output plugin Datadog Logs FireLens Log driver FireLens の登場と、いつの 間にか fluent-bit に追加され てた Datadog Output plugin でシンプルなログの連携が 可能になった
18 Datadog Logs への連携経路 (ELB アクセスログ) Datadog Logs ELB S3
Datadog Forwarder CloudFormation Access Logs Put Invoke Deploy • Datadog Forwarder という公式ツールを使って、ELBのアク セスログを Datadog Logs に連携できる • CFn テンプレートも公開されているのでデプロイも楽 • Lambda 時点のフィルタリング設定も可能
19 Datadog Logs への連携経路 (ELB アクセスログ) • パイプライン設定も公式 Library から設定するだけで
マッピングされる
20 まとめ • 非エンジニアでも使いやすいUI • 柔軟な設定でログの集約場所にしやすい • ログの連携経路に目途が立った
21 最後に https://iridge-tech.hatenablog.com/ Datadog に関する記事も公開予定です!