Lock in $30 Savings on PRO—Offer Ends Soon! ⏳
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Observabilityとダッシュボードのベストプラクティス
Search
o11yfes
October 05, 2023
Technology
0
480
Observabilityとダッシュボードのベストプラクティス
o11yfes
October 05, 2023
Tweet
Share
More Decks by o11yfes
See All by o11yfes
Observabilityジャーニーを実現するためのAWSサービス:CloudWatch編
o11yfes2023
0
400
Observability はじめの一歩 CloudWatch Synthetics
o11yfes2023
0
270
Observabilityジャーニーを実現するためのAWSサービス:OSS編
o11yfes2023
1
330
AWS Observability ベストプラクティス 大紹介
o11yfes2023
0
440
AWS Observability 関連最新アップデート
o11yfes2023
0
250
Amazon CloudWatchはじめとしたObservabilityの最近のアップデート紹介
o11yfes2023
0
330
ECサイトのサーバ監視: コード化の取り組みとメリット
o11yfes2023
0
190
マイクロサービスのためのシステム運用を一瞬でラクにするオブザーバビリティ事例
o11yfes2023
1
420
Other Decks in Technology
See All in Technology
徹底解説!Microsoft 365 Copilot の拡張機能 / Complete guide to Microsoft 365 Copilot extensions
karamem0
1
750
クルマのサブスクを Next.jsで内製化した経験とその1年後
kintotechdev
2
320
KotlinユーザのためのJSpecify入門 / JSpecify 101 for Kotlin Devs
eller86
0
120
LINEヤフーにおけるPrerender技術の導入とその効果
narirou
3
3.5k
LINEヤフーにおける超大規模プラットフォーム実現への挑戦と学び / Challenges and Lessons in Building an Ultra-Large-Scale Platform at LY Corporation
hhiroshell
1
740
PFN Company Deck
pfn
PRO
1
110
SkiaとImpellerについて
moriya0130
0
220
RAMP2024
takeyukitamura
3
210
A Tour of Anti-patterns for Functional Programming
guvalif
0
2.3k
SAP Community and Developer Update
sygyzmundovych
0
350
241130紅白ぺぱ合戦LT「編集の技術」
toya524287
2
260
生成AIが変えるデータ分析の全体像
ishikawa_satoru
0
330
Featured
See All Featured
Building Adaptive Systems
keathley
38
2.3k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
390
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
47
2.1k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.8k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Designing Experiences People Love
moore
138
23k
Statistics for Hackers
jakevdp
796
220k
The Cost Of JavaScript in 2023
addyosmani
45
6.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
870
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
28
2k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
111
49k
Transcript
Observabilityと Dashboard Best Practice 2023/9/22 ソリューションアーキテクト 宮崎 友貴 © 2023,
Amazon Web Services, Inc. or its affiliates.
© 2023, Amazon Web Services, Inc. or its affiliates. 2
⾃⼰紹介 名前︓宮崎 友貴 所属︓技術統括本部 エンタープライズ技術本部 通信・メディアグループ 通信ソリューション第⼀部 担当アカウント︓通信業界のお客様 好きなAWSサービス︓CloudWatch / Lambda
© 2023, Amazon Web Services, Inc. or its affiliates. アジェンダ
1. Observability ベストプラクティス 2. ダッシュボード ベストプラクティス 3. CloudWatch Dashboard の活⽤
Observability ベストプラクティス
© 2023, Amazon Web Services, Inc. or its affiliates. Observability(可観測性)
視認性 迅速なトラブル シューティング 顧客体験
© 2023, Amazon Web Services, Inc. or its affiliates. Observability
ベストプラクティス 1. 成功の基準を明確にし、重要なものを監視する 2. システム全体の健全性の把握とツールの選定をする 3. ワークロードの全てのレイヤーからテレメトリーデータを収集する 4. データは重要だが、細部にとらわれすぎない 5. 最初からObservabilityを組み込む ワークロード︓クラウドアプリケーションを構成するリソースとコードのコレクション テレメトリーデータ︓メトリクス、ログ、トレースなどのシステムの状態を表すデータ AWS Observability Best Practices︓ https://aws-observability.github.io/observability-best-practices/guides/#best-practices-overview
© 2023, Amazon Web Services, Inc. or its affiliates. Observability
のサイクル インストルメンテーション* ログ、メトリクス、 トレース アラーム、 ダッシュボード 質問 運⽤の カイゼン *Instrumentation = ログ、メトリクス、トレースなどのデータを取得し 外部に送信できるようシステムに組み込むこと
© 2023, Amazon Web Services, Inc. or its affiliates. Amazonにおけるインシデントの対応例
ポストモーテム 様々なツール による分析 アラーム ダッシュボード メトリクス分析 ログ分析 ⽣ログ トレース 抽 象 度 ⾼ 低 インシデントによる影響から 再発防⽌策などをまとめた⽂書
© 2023, Amazon Web Services, Inc. or its affiliates. Amazonにおけるインシデントの対応例
ポストモーテム 様々なツール による分析 アラーム ダッシュボード メトリクス分析 ログ分析 ⽣ログ トレース 抽 象 度 ⾼ 低 インシデントによる影響から 再発防⽌策などをまとめた⽂書
ダッシュボード ベストプラクティス
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードベストプラクティス
1. ⽬的別ダッシュボードの構築 2. 適切な情報を適切な⽅法で表⽰するダッシュボードの設計 3. 常に改善と拡張を繰り返すダッシュボードのメンテナンス
© 2023, Amazon Web Services, Inc. or its affiliates. ⽬的別ダッシュボードの構築
ユーザー AWS Cloud API マイクロサービス EC2インスタンス データベース バックエンド マイクロサービス コンテナ Lambda バックエンド マイクロサービス
© 2023, Amazon Web Services, Inc. or its affiliates. インフラストラクチャ
ダッシュボード ⽬的別ダッシュボードの構築 ユーザー マイクロサービス ダッシュボード システム ダッシュボード カスタマーエクスペリエンス ダッシュボード 依存関係 ダッシュボード AWS Cloud API マイクロサービス EC2インスタンス データベース バックエンド マイクロサービス コンテナ Lambda バックエンド マイクロサービス 使⽤するユーザーおよび使⽤する理由に基づいて、 各ダッシュボードを作成することが重要 ⾼レベル ⾼レベル ビジネスオーナー サービスオペレーター あらゆる関係者 低レベル 低レベル 低レベル インフラ 運⽤担当 各サービス 主管/開発者 各サービス 主管/開発者 システム 運⽤担当
© 2023, Amazon Web Services, Inc. or its affiliates. 14
⾼レベル 低レベル ︓サービスレイヤー ︓インフラレイヤー カスタマーエクスペリエンスダッシュボード • Amazon で最も重要かつ広く使われている • 「影響を受ける顧客の数は︖」といった質問に答える • サービスの健全性や外型監視、RUM の情報など システムレベルでのダッシュボード • システムやエンドポイントが動作していることを確認 • ⼊⼒関連、処理関連、出⼒関連の情報を表⽰する キャパシティプランニングと予測ダッシュボード • サービス成⻑の視覚化により⻑期的な予測に役⽴てる 伝えたいメッセージを絞るため、 これらのダッシュボードでは情報の過多を避ける マイクロサービス固有のダッシュボード • サービスの実装に特化したデータを表⽰ • 運⽤メンバーはデータの異常を特定するのに活⽤ インフラストラクチャのダッシュボード • インフラのリソースを確認 依存関係のダッシュボード • 他チームのマイクロサービスと依存関係がある場合作成 • 依存関係に特化した専⽤のダッシュボードを⽤意する 各チームがリクエストに関する特定の処理を担当するので 1つ以上の専⽤マイクロサービスに特化した ダッシュボードを作成する ビジネスオーナー サービスオペレーター あらゆる関係者 各サービス主管/開発者 インフラ運⽤担当 使⽤するユーザーおよび使⽤する理由に基づいて、 各ダッシュボードを作成することが重要 ⽬的別ダッシュボードの構築
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
参照︓https://aws.amazon.com/builders-library/building-dashboards-for-operational-visibility/ 最重要なメトリクスは最上部に⼤きく表⽰ 想定しうる最⼩のディスプレイサイズにレイアウト 単⼀のタイムゾーン (例:UTC) を表⽰ エラー時だけメトリクス表⽰するような グラフには頼らない 最⼩の時間間隔とデータポイントピリオドを使⽤ ⾒る⼈がすぐに理解し使うことができることが 重要
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
同⼀の時間幅と分解能でデータを表⽰ アラームのしきい値でグラフに注釈を付ける 1 つのグラフ内で過多な情報表⽰を避ける 縮⼩表⽰によりデータポイントの範囲に合わせる 左と右の両⽅の y 軸をすでに表⽰しているグラフでは、 ⽔平ラインを追加表⽰しないかグラフを分ける データの範囲が⼤きく異なる複数のメトリクスでは、 過多な表⽰を避ける
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
設計書や⼿順書のリンクを挿⼊ グラフの説明⽂をテキストで表⽰ ユースケースによって、 メトリクスの最新値、アラームステータスを活⽤
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードのメンテナンス
新機能のデプロイ前 “ ダッシュボードに何か変更はありますか ? ” ポイント • 開発プロセスに組み込み、ダッシュボードを更新する • ステージング環境にも同様のダッシュボードを⽤意する • ダッシュボードのレイアウトに IaC を採⽤する ダッシュボードを更新する 常に改善と拡張を続けることが重要 ダッシュボードは⼀度作ったら終わりではない
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードのメンテナンス
ダッシュボードは⼀度作ったら終わりではない “ ダッシュボードはお客様への影響を明確にしましたか? ” “障害原因を明確にすることに貢献しましたか? ” “ 修復時間を短くすることの助けになりましたか? ” 常に改善と拡張を続けることが重要 ポイント • 根本原因をより早く特定できたか、平均復旧時間を短縮できたかどうかを検討する • 価値のなくなったグラフは積極的に削除する ダッシュボードを改良する 障害発⽣後
© 2023, Amazon Web Services, Inc. or its affiliates. 週次のオペレーション会議でレビュー
約15分のスロットで分割 参照︓https://aws.amazon.com/jp/blogs/opensource/the-wheel/
CloudWatch Dashboard の活用
© 2023, Amazon Web Services, Inc. or its affiliates. CloudWatch
Dashboard • 折れ線グラフ、数値、ゲージ、テキスト、ア ラーム、Lambdaによるカスタムウィジェット でお好みのダッシュボードを作成 • 異なるアカウント、異なるリージョンの リソースでも、ダッシュボード化が可能 • ⾃動更新間隔(10s, 1m, 2m, 5m, 15m)、 時間範囲、タイムゾーンの調整が可能 • 異なる時間範囲での⽐較が可能 • ⾃動⽣成ダッシュボードも活⽤可能 カスタマイズ可能なダッシュボードを作成 Amazon CloudWatch
Q&A
Thank you!