Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Datadog による 自己完結的アプリケーションモニタリング
Search
Recruit
PRO
March 13, 2024
Technology
4
410
Datadog による 自己完結的アプリケーションモニタリング
2024/03/13に、Japan Datadog User Group Meetup#3で発表した、小檜山の資料です。
Recruit
PRO
March 13, 2024
Tweet
Share
More Decks by Recruit
See All by Recruit
SIerでの経験が活きた!『SUUMO』『ゼクシィ』担当PdMの企画プロセスを紐解く〜プロデザ!〜
recruitengineers
PRO
0
68
事業目的とのプロトコル変換
recruitengineers
PRO
4
96
Boosting Hotel Profits: The Power of Enhanced Cancellation Predictions
recruitengineers
PRO
3
670
ヘルススコアの改善の過程で起きた嬉しい変化
recruitengineers
PRO
4
720
スクラム開発導入による 他組織を巻き込んだ開発生産性向上の取り込み
recruitengineers
PRO
3
380
大公開!SUUMOの裏側 -データ組織の取り組みLT会-
recruitengineers
PRO
4
120
FIFOキューで実現する Spring Bootの非同期処理とその性能評価方法
recruitengineers
PRO
5
160
組合せ最適化による問題解決の実践的アプローチ
recruitengineers
PRO
8
1.4k
社内のAI活用事例と活用促進のための取り組みを大公開!
recruitengineers
PRO
4
710
Other Decks in Technology
See All in Technology
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
270
Azure Pipelinesを使用したCICDベースラインアーキテクチャ実践
yuriemori
0
190
累計ダウンロード数1億8000万を超えるアプリケーションプラットフォームのレガシーシステム脱却とモダン化への道
kmitsuhashi
0
120
Classmethod流のPlatform Engineering / classmethod-platform-engineering-devio2024
tomoki10
0
470
Matterport を使ってクラスメソッド各拠点のバーチャルオフィスツアーを作成してみた
wakatsuki
0
160
What if...? 처음부터 다시 LLM 어플리케이션을 개발한다면
huffon
0
1k
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
Scaling Technical Excellence at 104: Evolution in AWS and Developer Empowerment
scotthsieh825
1
150
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
3
1.2k
ここがすごいよ! AWS Systems Manager!
saichan11
0
1.8k
Git 研修 Basic【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
310
ACRiルーム最新情報とAMD GPUサーバーのご紹介
anjn
0
150
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
784
250k
The Language of Interfaces
destraynor
151
23k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
23
1.9k
Building Better People: How to give real-time feedback that sticks.
wjessup
357
18k
Leading Effective Engineering Teams 2024
addyosmani
3
300
Typedesign – Prime Four
hannesfritz
37
2.2k
Speed Design
sergeychernyshev
9
270
Making Projects Easy
brettharned
111
5.7k
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
How to Ace a Technical Interview
jacobian
274
23k
Building Applications with DynamoDB
mza
89
5.8k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
19k
Transcript
#JDDUG Datadog による自己完結的アプリケーションモニタリング Datadog による 自己完結的アプリケーションモニタリング @mopp Japan Datadog User
Group Meetup#3
#JDDUG Datadog による自己完結的アプリケーションモニタリング Agenda | 00 01 03 04 About
me & us 自己完結的アプリケーションモニタリング Datadog 活用事例 まとめ
#JDDUG Datadog による自己完結的アプリケーションモニタリング About mopp • ミッション ◦ 技術的負債の解消 •
エディタ ◦ NeoVim • 好きな言語 ◦ C, Erlang/OTP • 最近ハマっていること ◦ 玉ねぎを飴色にすること
#JDDUG Datadog による自己完結的アプリケーションモニタリング About スタディサプリ 小中高 様々なスタディサプリの内 小中高向けのスタディサプリの お話をします
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的アプリケーションモニタリング 01
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的とは? 必要なものを必要なときに自分たちで用意できること
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的とは? • 弊組織の SRE により推進されています • 具体的には、設計、実装、QA、デプロイ、監視などの全てを
一貫してチームで行うこと • 今日は「監視」のための Datadog 利用事例を紹介します
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的アプリケーションモニタリングとは? • チームで ◦ 問題なく動作しているか?を知ることができる ◦ メトリクスやグラフなどを必要なときに追加できる
◦ 異常を即座に検知できる • 監視が出来ているってなに? ◦ 何が、どこで、どのくらい起きているか、を知ることができる
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的アプリケーションモニタリングのために こういうこと、ありがちですよね? 「要件も6割くらいが完了して順調だな〜 そろそろ Dashboard でも作ろうかな」
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的アプリケーションモニタリングのために
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的アプリケーションモニタリングのために Dashboard は初期から作ろう
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的アプリケーションモニタリングのために • 監視はアプリケーションと一緒に作っていこう ◦ 犬と共に歩んでください • そのために監視設定もタスクに入れてしまう
◦ Sprint Planning や Task Refinement で入れてしまう ◦ PR で一緒に追加、レビューで指摘する
#JDDUG Datadog による自己完結的アプリケーションモニタリング 自己完結的アプリケーションモニタリングのために • 監視も一緒に作るための Code - Test -
Monitor ステップ ◦ Code ▪ プロダクションコードとテストコードを書く ◦ Test ▪ 実際にアプリケーションを起動して動作確認する ◦ Monitor 🆕 ▪ 監視項目を追加する
#JDDUG Datadog による自己完結的アプリケーションモニタリング Datadog 活用事例 02
#JDDUG Datadog による自己完結的アプリケーションモニタリング 弊組織での Datadog 普及の道のり • Dashboard から利用が始まる •
SLO という概念の導入が推進される ◦ 各サービスに Monitor と SLO が設定される • APM が導入&推進される • 有識者が Notebook を使いこなし便利過ぎるとじわじわ話題に ※mopp 視点なので事実と異なる可能性があります
#JDDUG Datadog による自己完結的アプリケーションモニタリング Dashboard を使い込む • Datadog の基本は Dashboard だと考えています
◦ 日頃一番見るから ◦ 他の機能と連携するとより便利になるから ▪ SLO, Monitor, APM, Events など ◦ 何かあったときに見に行くから
#JDDUG Datadog による自己完結的アプリケーションモニタリング 使い込むために毎日見る • Daily Meeting で見てます ◦ 10分かからないくらい
• 異変を早めに検知するため ◦ 日頃の負荷の肌感をつけるため • Dashboard の土地勘をつけるため
#JDDUG Datadog による自己完結的アプリケーションモニタリング 使い込むために毎日見る • Kubernetes、SaaS、ドメイン固有の ものまで一つの Dashboard で見る ◦
ここを見ればこのサービスの 状態全てがわかる、が理想 • サービス1個につき1個の Dashboard ◦ 今は3つのサービスを見ている ◦ 4個以上だと大変なので 総合 Dashboard が欲しいかも
#JDDUG Datadog による自己完結的アプリケーションモニタリング Dashboard Tips: Percentile は基本 • p99, p90,
p50, avg あたりは基本なので見ましょう ◦ avg だけだとかなり当てにならない
#JDDUG Datadog による自己完結的アプリケーションモニタリング Dashboard Tips: しきい値を表示する • 例: t系なので CPU使用率が
20% を超えるなら見直しが必要 • Monitor でアラートするのも便利
#JDDUG Datadog による自己完結的アプリケーションモニタリング Dashboard Tips: 使用料金も見る • 最近、SRE によりAWS利用料金がサービス単位で可視化されました ◦
「うちらのサービス、思ったより高くね…?」となり改善に繋がる Text Widget で 説明が書いてあるのも易しくてよき 実は Powerpack 化されているので コピペですぐに使えて保守も簡単
#JDDUG Datadog による自己完結的アプリケーションモニタリング Dashboard Tips: 時間がないので箇条書き • Events のリストを表示する ◦
Kubernetes の Readiness Probe 失敗や OOM を見ている • Metrics Summary で何が表示できるか?を流し見する ◦ これ見たほうがいいかも、って案外なる ◦ Document のチェックも忘れずに • Pod数が多い CPU, Memory の使用量はヒートマップが便利
#JDDUG Datadog による自己完結的アプリケーションモニタリング custom metrics でバグ調査 • バグの調査に利用 if is_piyo_mismatch
# おかしいときの条件 tags = { user_id:, piyo_id:, platform:, browser:, version: } statsd.increment('hoge_namespace.piyo_mismatch.count', tags:) end • どのような状態か、頻度、発生時刻、などが Dashboard だと見やすい • たまにしか起きないバグ どのようなデータ分布なのかを調べたいとき、に便利 • NOTE: tags の組み合わせ数で課金されるので user_id を安直に入れるのは注意 ◦ 組織のメトリクス数が無限に増加し、請求に問題が発生します。
#JDDUG Datadog による自己完結的アプリケーションモニタリング monitor から Slack への通知 • サービスごとに専用の通知チャンネルを作成 ◦
チームだとサービス移譲のときに大変だし、混じって見づらい • 本番とそれ以外で分離 ◦ #hoge-service-prod-notifications ◦ #hoge-service-develop-notifications ◦ 初手のトリアージに便利 • チームにメンションをする ◦ IDを取るのが高難易度業務
#JDDUG Datadog による自己完結的アプリケーションモニタリング 培った Dashboard 力で調査する Notebook • グラフ弄りとメモ書きが同時にできる ◦
最高便利 • 共同編集もできる
#JDDUG Datadog による自己完結的アプリケーションモニタリング まとめ 03
#JDDUG Datadog による自己完結的アプリケーションモニタリング まとめ • 自分たちのアプリケーションは自分たちで手綱を握ろう • Code - Test
- Monitor で監視も共に育てよう • まずは Dashboard から使い尽くそう
#JDDUG Datadog による自己完結的アプリケーションモニタリング ご清聴ありがとうございました