Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
導入から5年が経って見えた Datadog APM 運用の課題
Search
Atsushi Tanaka
March 13, 2024
Programming
3
1.2k
導入から5年が経って見えた Datadog APM 運用の課題
Japan Datadog User Group Meetup#3
https://datadog-jp.connpass.com/event/309899/
Atsushi Tanaka
March 13, 2024
Tweet
Share
More Decks by Atsushi Tanaka
See All by Atsushi Tanaka
ウォンテッドリーにおける Platform Engineering
bgpat
0
240
Wantedly での Datadog 活用事例
bgpat
2
4.4k
KubernetesでDatadogを飼うならオートディスカバリーを使わないと損
bgpat
2
660
マイクロサービス基盤にフルマネージドサービスではなくKubernetesを選択する理由
bgpat
12
3.1k
400万ユーザーに価値を届けるエンジニアを を支えるインフラ基盤
bgpat
3
400
Ruby製社内ツールのGo移行
bgpat
2
620
取っていてよかった Kubernetes のバックアップ
bgpat
1
680
Terraform と Kubernetes の共存による IaC の実践
bgpat
0
1.9k
Kubernetes Cluster Migration
bgpat
4
4.7k
Other Decks in Programming
See All in Programming
eBPF超入門「o11yに使える」とは (20250424_eBPF_o11y)
thousanda
1
120
Road to Ruby for A Linguistics Nerd
hayat01sh1da
PRO
0
290
私のRubyKaigi 2025 Kaigi Effect / My RubyKaigi 2025 Kaigi Effect
chobishiba
1
120
エンジニアが挑む、限界までの越境
nealle
1
330
In geheimer Mission: AI Agents entwickeln
joergneumann
0
110
一緒に働きたくなるプログラマの思想 #QiitaConference
mu_zaru
81
21k
ドメイン駆動設計とXPで支える子どもの未来 / Domain-Driven Design and XP Supporting Children's Future
nrslib
0
290
ウォンテッドリーの「ココロオドル」モバイル開発 / Wantedly's "kokoro odoru" mobile development
kubode
2
580
Browser and UI #2 HTML/ARIA
ken7253
2
180
データベースの技術選定を突き詰める ~複数事例から考える最適なデータベースの選び方~
nnaka2992
2
1.6k
今話題のMCPサーバーをFastAPIでサッと作ってみた
yuukis
0
130
Embracing Ruby magic
vinistock
2
250
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
41
2.6k
Faster Mobile Websites
deanohume
307
31k
RailsConf 2023
tenderlove
30
1.1k
The Cult of Friendly URLs
andyhume
78
6.3k
Practical Orchestrator
shlominoach
187
11k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
The Pragmatic Product Professional
lauravandoore
33
6.6k
The Invisible Side of Design
smashingmag
299
50k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Transcript
© 2024 Wantedly, Inc. 導⼊から5年が経って⾒えた Datadog APM 運⽤の課題 Japan Datadog
User Group Meetup#3 Mar. 13 2024 - Atsushi Tanaka @bgpat
© 2024 Wantedly, Inc. 過去の登壇資料 https://speakerdeck.com/bgpat/distributed-tracing-for-microservices
© 2024 Wantedly, Inc. 過去の登壇資料 https://speakerdeck.com/bgpat/opencensus-with-datadog-apm
© 2024 Wantedly, Inc. 今⽇伝えたいこと APM は導⼊後のメンテナンスが重要 • トレースが期待した状態になっているかの確認‧修正 ◦
気付いたら分断されていたり必要な値が⼊っていないことがある ◦ 負のループに陥らないように対応が必要 • 利⽤者への普及活動 ◦ とりあえず⼊れただけの状態で使ってくれる⼈は限られている ◦ 普段から慣れていないといざというときに使えない ◦ 勉強会や障害訓練等で利⽤を広げる活動も必要
© 2024 Wantedly, Inc. $ whoami @bgpat / Atsushi Tanaka
ウォンテッドリー株式会社 Infrastructure Engineer Kubernetes / Terraform SRE / Platform Engineering Datadog 歴 6〜7年くらい
© 2024 Wantedly, Inc. Wantedlyのマイクロサービス (5年前) • マイクロサービス70個以上 (社内サービスも含む)
© 2024 Wantedly, Inc. Wantedlyのマイクロサービス (5年前)
© 2024 Wantedly, Inc. そこで分散トレーシング (Datadog APM)
© 2024 Wantedly, Inc. を導⼊して5年が経過しました
© 2024 Wantedly, Inc. 導⼊時からの変化
© 2024 Wantedly, Inc. マイクロサービス化がさらに進んだ • マイクロサービス70個以上 (社内サービスも含む) →当時と同じ数え⽅で 150
サービス超 Service Catalog には 82 サービスが存在
© 2024 Wantedly, Inc. マイクロサービス化がさらに進んだ 分散トレーシングの価値は上がっている
© 2024 Wantedly, Inc. 5年が経過して⾒えた課題
© 2024 Wantedly, Inc. いつの間にか壊れるトレース 発⽣した問題 • トレースが分断されている • ⼊っていてほしい情報が抜け落ちている
◦ ユーザーID ◦ エラー情報 原因 • フレームワークの変更 • ライブラリのアップデート ◦ トレーシングライブラリを複数⼊れていると問題になりやすい
© 2024 Wantedly, Inc. いつの間にか壊れるトレース トレースが壊れる 使いづらい 利⽤者減 メンテされない
© 2024 Wantedly, Inc. 扱える⼈の2極化 普段からAPMを活⽤している⼈ vs 全く使わない⼈ 導⼊当時は勉強会を実施したがここ数年はしていない ↓
⼀番効果を発揮する障害対応で 何をすればいいか分からない⼈が増えた
© 2024 Wantedly, Inc. 扱える⼈の2極化 ←利⽤しているツールのアンケート結果 エンジニアの約3割は Datadog を使っていない
© 2024 Wantedly, Inc. 扱える⼈の2極化 障害訓練の振り返りから抜粋 • Datadog 操作なれてなくてやりたいことがぱっとできなかった ◦
env どこで指定するんだっけ • データドッグの使い⽅なんとなく理解した • 調査の⽅法が全然分からなかった ◦ どのツールを使えばいいか分からなかった ◦ Datadogの⾒⽅がパッと分からなかった • Datadog の⾒⽅に⼾惑ったのでチートシートなどがほしい • Datadog の trace がつながってなかった • Datadog の操作になれていない⼈が多かった印象が強い ◦ Datadog オペレーション講習会みたいなものをやると良さそう
© 2024 Wantedly, Inc. まとめ APM は導⼊後のメンテナンスが重要 • トレースが期待した状態になっているかの確認‧修正 ◦
気付いたら分断されていたり必要な値が⼊っていないことがある ◦ 負のループに陥らないように対応が必要 • 利⽤者への普及活動 ◦ とりあえず⼊れただけの状態で使ってくれる⼈は限られている ◦ 普段から慣れていないといざというときに使えない ◦ 勉強会や障害訓練等で利⽤を広げる活動も必要
© 2024 Wantedly, Inc. 詳しい話は懇親会 orカジュアル⾯談で https://www.wantedly.com/projects/522096