Observabilityとダッシュボードのベストプラクティス

Transcript

1. Observabilityと Dashboard Best Practice 2023/9/22 ソリューションアーキテクト 宮崎 友貴 © 2023, Amazon Web Services, Inc. or its affiliates.
2. © 2023, Amazon Web Services, Inc. or its affiliates. 2 ⾃⼰紹介 名前︓宮崎 友貴 所属︓技術統括本部 エンタープライズ技術本部 通信・メディアグループ 通信ソリューション第⼀部 担当アカウント︓通信業界のお客様 好きなAWSサービス︓CloudWatch / Lambda
3. © 2023, Amazon Web Services, Inc. or its affiliates. アジェンダ 1. Observability ベストプラクティス 2. ダッシュボード ベストプラクティス 3. CloudWatch Dashboard の活⽤
4. Observability ベストプラクティス
5. © 2023, Amazon Web Services, Inc. or its affiliates. Observability（可観測性） 視認性 迅速なトラブル シューティング 顧客体験
6. © 2023, Amazon Web Services, Inc. or its affiliates. Observability ベストプラクティス 1. 成功の基準を明確にし、重要なものを監視する 2. システム全体の健全性の把握とツールの選定をする 3. ワークロードの全てのレイヤーからテレメトリーデータを収集する 4. データは重要だが、細部にとらわれすぎない 5. 最初からObservabilityを組み込む ワークロード︓クラウドアプリケーションを構成するリソースとコードのコレクション テレメトリーデータ︓メトリクス、ログ、トレースなどのシステムの状態を表すデータ AWS Observability Best Practices︓ https://aws-observability.github.io/observability-best-practices/guides/#best-practices-overview
7. © 2023, Amazon Web Services, Inc. or its affiliates. Observability のサイクル インストルメンテーション* ログ、メトリクス、 トレース アラーム、 ダッシュボード 質問 運⽤の カイゼン *Instrumentation = ログ、メトリクス、トレースなどのデータを取得し 外部に送信できるようシステムに組み込むこと
8. © 2023, Amazon Web Services, Inc. or its affiliates. Amazonにおけるインシデントの対応例 ポストモーテム 様々なツール による分析 アラーム ダッシュボード メトリクス分析 ログ分析 ⽣ログ トレース 抽 象 度 ⾼ 低 インシデントによる影響から 再発防⽌策などをまとめた⽂書
9. © 2023, Amazon Web Services, Inc. or its affiliates. Amazonにおけるインシデントの対応例 ポストモーテム 様々なツール による分析 アラーム ダッシュボード メトリクス分析 ログ分析 ⽣ログ トレース 抽 象 度 ⾼ 低 インシデントによる影響から 再発防⽌策などをまとめた⽂書
10. ダッシュボード ベストプラクティス
11. © 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードベストプラクティス 1. ⽬的別ダッシュボードの構築 2. 適切な情報を適切な⽅法で表⽰するダッシュボードの設計 3. 常に改善と拡張を繰り返すダッシュボードのメンテナンス
12. © 2023, Amazon Web Services, Inc. or its affiliates. ⽬的別ダッシュボードの構築 ユーザー AWS Cloud API マイクロサービス EC2インスタンス データベース バックエンド マイクロサービス コンテナ Lambda バックエンド マイクロサービス
13. © 2023, Amazon Web Services, Inc. or its affiliates. インフラストラクチャ ダッシュボード ⽬的別ダッシュボードの構築 ユーザー マイクロサービス ダッシュボード システム ダッシュボード カスタマーエクスペリエンス ダッシュボード 依存関係 ダッシュボード AWS Cloud API マイクロサービス EC2インスタンス データベース バックエンド マイクロサービス コンテナ Lambda バックエンド マイクロサービス 使⽤するユーザーおよび使⽤する理由に基づいて、 各ダッシュボードを作成することが重要 ⾼レベル ⾼レベル ビジネスオーナー サービスオペレーター あらゆる関係者 低レベル 低レベル 低レベル インフラ 運⽤担当 各サービス 主管/開発者 各サービス 主管/開発者 システム 運⽤担当
14. © 2023, Amazon Web Services, Inc. or its affiliates. 14 ⾼レベル 低レベル ︓サービスレイヤー ︓インフラレイヤー カスタマーエクスペリエンスダッシュボード • Amazon で最も重要かつ広く使われている • 「影響を受ける顧客の数は︖」といった質問に答える • サービスの健全性や外型監視、RUM の情報など システムレベルでのダッシュボード • システムやエンドポイントが動作していることを確認 • ⼊⼒関連、処理関連、出⼒関連の情報を表⽰する キャパシティプランニングと予測ダッシュボード • サービス成⻑の視覚化により⻑期的な予測に役⽴てる 伝えたいメッセージを絞るため、 これらのダッシュボードでは情報の過多を避ける マイクロサービス固有のダッシュボード • サービスの実装に特化したデータを表⽰ • 運⽤メンバーはデータの異常を特定するのに活⽤ インフラストラクチャのダッシュボード • インフラのリソースを確認 依存関係のダッシュボード • 他チームのマイクロサービスと依存関係がある場合作成 • 依存関係に特化した専⽤のダッシュボードを⽤意する 各チームがリクエストに関する特定の処理を担当するので 1つ以上の専⽤マイクロサービスに特化した ダッシュボードを作成する ビジネスオーナー サービスオペレーター あらゆる関係者 各サービス主管/開発者 インフラ運⽤担当 使⽤するユーザーおよび使⽤する理由に基づいて、 各ダッシュボードを作成することが重要 ⽬的別ダッシュボードの構築
15. © 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計 参照︓https://aws.amazon.com/builders-library/building-dashboards-for-operational-visibility/ 最重要なメトリクスは最上部に⼤きく表⽰ 想定しうる最⼩のディスプレイサイズにレイアウト 単⼀のタイムゾーン (例：UTC) を表⽰ エラー時だけメトリクス表⽰するような グラフには頼らない 最⼩の時間間隔とデータポイントピリオドを使⽤ ⾒る⼈がすぐに理解し使うことができることが 重要
16. © 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計 同⼀の時間幅と分解能でデータを表⽰ アラームのしきい値でグラフに注釈を付ける 1 つのグラフ内で過多な情報表⽰を避ける 縮⼩表⽰によりデータポイントの範囲に合わせる 左と右の両⽅の y 軸をすでに表⽰しているグラフでは、 ⽔平ラインを追加表⽰しないかグラフを分ける データの範囲が⼤きく異なる複数のメトリクスでは、 過多な表⽰を避ける
17. © 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計 設計書や⼿順書のリンクを挿⼊ グラフの説明⽂をテキストで表⽰ ユースケースによって、 メトリクスの最新値、アラームステータスを活⽤
18. © 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードのメンテナンス 新機能のデプロイ前 “ ダッシュボードに何か変更はありますか ? ” ポイント • 開発プロセスに組み込み、ダッシュボードを更新する • ステージング環境にも同様のダッシュボードを⽤意する • ダッシュボードのレイアウトに IaC を採⽤する ダッシュボードを更新する 常に改善と拡張を続けることが重要 ダッシュボードは⼀度作ったら終わりではない
19. © 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードのメンテナンス ダッシュボードは⼀度作ったら終わりではない “ ダッシュボードはお客様への影響を明確にしましたか? ” “障害原因を明確にすることに貢献しましたか? ” “ 修復時間を短くすることの助けになりましたか? ” 常に改善と拡張を続けることが重要 ポイント • 根本原因をより早く特定できたか、平均復旧時間を短縮できたかどうかを検討する • 価値のなくなったグラフは積極的に削除する ダッシュボードを改良する 障害発⽣後
20. © 2023, Amazon Web Services, Inc. or its affiliates. 週次のオペレーション会議でレビュー 約15分のスロットで分割 参照︓https://aws.amazon.com/jp/blogs/opensource/the-wheel/
21. CloudWatch Dashboard の活用
22. © 2023, Amazon Web Services, Inc. or its affiliates. CloudWatch Dashboard • 折れ線グラフ、数値、ゲージ、テキスト、ア ラーム、Lambdaによるカスタムウィジェット でお好みのダッシュボードを作成 • 異なるアカウント、異なるリージョンの リソースでも、ダッシュボード化が可能 • ⾃動更新間隔(10s, 1m, 2m, 5m, 15m)、 時間範囲、タイムゾーンの調整が可能 • 異なる時間範囲での⽐較が可能 • ⾃動⽣成ダッシュボードも活⽤可能 カスタマイズ可能なダッシュボードを作成 Amazon CloudWatch
23. Q&A
24. Thank you!