Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Datadog Logs に ログを集約しようと してる話
Search
orfx
August 25, 2020
Technology
0
7.7k
Datadog Logs に ログを集約しようと してる話
Japan Datadog User Group Meetup#1
https://datadog-jp.connpass.com/event/185920/
orfx
August 25, 2020
Tweet
Share
More Decks by orfx
See All by orfx
GitLab CI/CDとECS Fargateでリリース作業が楽になった話
orfx
2
5.1k
Other Decks in Technology
See All in Technology
Web Streams APIの基本と実践、TypeScriptでの活用法 / TSKaigi 2025 Web Streams API
tasshi
4
560
ITベンダーから見る内製化支援の本質/in-house-dev
slsops
1
190
golang-migrate VS Atlas !? 技術選定のポイントと学び ~DBマイグレーションツール選定の実例を通して~ / golang-migrate vs Atlas ! What is the point of technology selection and what you can learn from the examples of DB migration tool selection?
nttcom
0
120
encoding/json v2を予習しよう!
yuyu_hf
PRO
1
230
AWS LambdaをTypeScriptで動かして分かった、Node.jsのTypeScriptサポートの利点と課題
smt7174
1
1.9k
SRE/インフラエンジニアの市場価値とキャリアパス/Market value and career path for SRE-infrastructure engineers
takumakume
1
250
4社統合におけるマスタデータ管理に立ち向かう / Towards master data management in the four-company integration
carta_engineering
0
360
スキーマと型で拓く Full-Stack TypeScript / TSKaigi 2025
altech
2
1.6k
AI駆動時代の新規事業の作り方
ryohysk
2
120
初参加のハノーバーメッセで感じた世界最大級イベントの熱気とAI活用の未来
hamadakoji
0
120
declaration mergingの威力:ライブラリアップデート時の書き換え作業を90%短縮するテクニック
yutake27
2
110
ゆるくはじめるSLI・SLO
yatoum
1
150
Featured
See All Featured
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
34
2.2k
Making the Leap to Tech Lead
cromwellryan
133
9.3k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
19
1.2k
Scaling GitHub
holman
459
140k
For a Future-Friendly Web
brad_frost
177
9.7k
How to Think Like a Performance Engineer
csswizardry
23
1.6k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.7k
Building an army of robots
kneath
305
45k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.5k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Transcript
Datadog Logs に ログを集約しようと してる話 川口 奏 Japan Datadog User
Group Meetup#1
1 自己紹介 1 川口 奏 (Kawaguchi So) 所属: 株式会社アイリッジ (自社サービス
FANSHIP 運用チームのエンジニア) 使用クラウド: AWS(一部GCP) Datadog 歴: ちょうど2年くらい 使ってる機能: • Dashboard • Monitor • APM • Logs • UX Monitoring 最近苦労した事: Datadog のプラン変更(主に事務作業)
2 主なログ保管場所 S3 (JSON file) CloudWatch Logs Datadog Logs コストが安い・高信頼性
AWS サービスと相性がいい UI がリッチ・設定が柔軟 閲覧がシェル芸 操作性が・・・ 連携方法が乏しかった
リッチなUI
4 リッチなUI
5 リッチなUI タイムレンジ • 右上のセレクトメニューで画面に表示するログの期間を絞れる。 • ⏪ ⏩ でタイムレンジを指定期間でスライドさせることができる。
6 リッチなUI ファセット • 左端のチェックボックスから用意された分類ごとに絞り込み条件 を絞ることができる。 • 設定した絞り込み条件は後述の検索に反映される • ファセットは手動で設定しているので適切に設定・用意されてい
ないログも存在する。
7 リッチなUI 検索 • 画面上部の入力欄からもフリーテキスト絞り込み条件が設定できる。 • 除外や AND/OR、ワイルドカードなど使用可能な書式は下記を参照 ◦ https://docs.datadoghq.com/ja/logs/search_syntax/
8 リッチなUI ログ一覧 • 絞り込み条件に一致したログの一覧が表示される • 右上 Options からカラム並び替え・削除などの表示を切り替えられる。
9 リッチなUI ログ詳細 • ログ一覧から各ログの詳細を表示することができる。 • 各項目を選択することで下記の機能が使用できる。 ◦ Search fo
~~~ ▪ 絞り込み条件に項目を追加できる。 ▪ 表示されない場合は後述のファセット追加 が必要。 ◦ Exclude ~~~ ▪ 絞り込みの除外条件に項目を追加できる。 ◦ Add column for ~~~ ▪ ログ一覧のカラムに項目を追加できる。 ◦ Create facets for ~~~ ▪ ファセットに項目を追加できる。 ◦ Create measure for ~~~ ▪ 値が数値の場合、レンジや大小比較で絞り 込みすることができるファセットを追加でき る。
10 リッチなUI 非エンジニアにも優しい、直感的に操作可能なUI -> 実際にサポートチームに共有している 資料をほぼそのままスライド転用
設定が柔軟
12 設定が柔軟 システム毎のログフォーマットの違いを パイプラインの強力なプロセッサーで吸収できる { "asctime": "2020-04-08 22:21:08,616" , "levelname":
"INFO", "message": "Request info" , "params": { "request_path" : "/aaa/bbb/ccc/" , "client_ip": "xxx.xxx.xxx.xxx" , } } { "msg": { "msg": "program finished." , "action_type" : "aaa" }, "level": "info", "time": "2020-08-24T22:28:47+09:00" , "timestamp": 1598275727000 } システムA システムB
13 設定が柔軟 Grok Parser
14 設定が柔軟 { "log": "{\"msg\": {...}, \"time\":\"2020-07-27T15:50:39+09:00 \", \"level\": \"info\"}",
"service": "fanship", "source": "stderr", "timestamp": 1595832639000 } ログフォーマットを吸収できた事例 (JSON in JSON) Datadog サポートの方に神速で教えていただきました
Datadog Logs への 連携経路
16 Datadog Logs への連携経路 以前は・・ • datadog-agent が直接ログを tail して
Datadog に送信までさせる方法 ◦ 詳しく語らないが、弊社で過去にトラブルが発生した • ECS Fargate は CloudWatch Logs を経由させる方法しかほぼ無かった ◦ 二重課税
17 Datadog Logs への連携経路 (ECS アプリログ) ECS Service Application Container
Datadog Output plugin Datadog Logs FireLens Log driver FireLens の登場と、いつの 間にか fluent-bit に追加され てた Datadog Output plugin でシンプルなログの連携が 可能になった
18 Datadog Logs への連携経路 (ELB アクセスログ) Datadog Logs ELB S3
Datadog Forwarder CloudFormation Access Logs Put Invoke Deploy • Datadog Forwarder という公式ツールを使って、ELBのアク セスログを Datadog Logs に連携できる • CFn テンプレートも公開されているのでデプロイも楽 • Lambda 時点のフィルタリング設定も可能
19 Datadog Logs への連携経路 (ELB アクセスログ) • パイプライン設定も公式 Library から設定するだけで
マッピングされる
20 まとめ • 非エンジニアでも使いやすいUI • 柔軟な設定でログの集約場所にしやすい • ログの連携経路に目途が立った
21 最後に https://iridge-tech.hatenablog.com/ Datadog に関する記事も公開予定です!