Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Observabilityとダッシュボードのベストプラクティス
Search
o11yfes
October 05, 2023
Technology
0
420
Observabilityとダッシュボードのベストプラクティス
o11yfes
October 05, 2023
Tweet
Share
More Decks by o11yfes
See All by o11yfes
Observabilityジャーニーを実現するためのAWSサービス:CloudWatch編
o11yfes2023
0
280
Observability はじめの一歩 CloudWatch Synthetics
o11yfes2023
0
200
Observabilityジャーニーを実現するためのAWSサービス:OSS編
o11yfes2023
0
270
AWS Observability ベストプラクティス 大紹介
o11yfes2023
0
290
AWS Observability 関連最新アップデート
o11yfes2023
0
190
Amazon CloudWatchはじめとしたObservabilityの最近のアップデート紹介
o11yfes2023
0
300
ECサイトのサーバ監視: コード化の取り組みとメリット
o11yfes2023
0
160
マイクロサービスのためのシステム運用を一瞬でラクにするオブザーバビリティ事例
o11yfes2023
1
390
Other Decks in Technology
See All in Technology
手軽に始める? おうちサーバーのすゝめ
nyagasan
0
180
Namespace, Now and Then
tagomoris
0
170
FastlyとfalcoでNode.jsレスな Webサーバー構築 : IPTV版 ABEMAアプリインフラ刷新 / Building web server using Fastly and falco without Node.js for IPTV ABEMA app
nodaguti
0
240
APIのドキュメント化何使ってますか?
miu_crescent
2
160
エンジニアリングマネージャーが紐解く、事業視点から組織文化まで、包括的アプローチの探求 / READYFOR
9ma3r
13
2.2k
AWS IAM Identity Center議論会 〜 認証認可結合モデルと認証認可分離モデル / 20240827-jawsug-arch-iam_identity_center
opelab
3
320
ことばをそろえる / Bridging the Terminology Gap
amaotone
5
1k
Binary Authorizationと友達になろう / Let's be friends with Binary Authorization
iselegant
2
130
AWS版GitHub?Amazon CodeCatalystの全体像をまとめてみた
oshanqq
1
3.2k
Dify - LINE Bot連携 考え方と実用テクニック
uezo
5
1.1k
いまからでも遅くない! コンテナでWebアプリケーションを 動かしてみよう(1)Gitハンズオン
nomu
0
280
標準最高!標準はださくないぞ! at fukuoka.ts #1
yoiwamoto
0
150
Featured
See All Featured
What the flash - Photography Introduction
edds
67
11k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
41
6.4k
Code Review Best Practice
trishagee
62
16k
GraphQLの誤解/rethinking-graphql
sonatard
65
9.7k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
The Invisible Side of Design
smashingmag
295
50k
Creatively Recalculating Your Daily Design Routine
revolveconf
215
12k
Statistics for Hackers
jakevdp
793
220k
No one is an island. Learnings from fostering a developers community.
thoeni
18
2.9k
Designing with Data
zakiwarfel
98
5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
248
20k
How GitHub Uses GitHub to Build GitHub
holman
472
290k
Transcript
Observabilityと Dashboard Best Practice 2023/9/22 ソリューションアーキテクト 宮崎 友貴 © 2023,
Amazon Web Services, Inc. or its affiliates.
© 2023, Amazon Web Services, Inc. or its affiliates. 2
⾃⼰紹介 名前︓宮崎 友貴 所属︓技術統括本部 エンタープライズ技術本部 通信・メディアグループ 通信ソリューション第⼀部 担当アカウント︓通信業界のお客様 好きなAWSサービス︓CloudWatch / Lambda
© 2023, Amazon Web Services, Inc. or its affiliates. アジェンダ
1. Observability ベストプラクティス 2. ダッシュボード ベストプラクティス 3. CloudWatch Dashboard の活⽤
Observability ベストプラクティス
© 2023, Amazon Web Services, Inc. or its affiliates. Observability(可観測性)
視認性 迅速なトラブル シューティング 顧客体験
© 2023, Amazon Web Services, Inc. or its affiliates. Observability
ベストプラクティス 1. 成功の基準を明確にし、重要なものを監視する 2. システム全体の健全性の把握とツールの選定をする 3. ワークロードの全てのレイヤーからテレメトリーデータを収集する 4. データは重要だが、細部にとらわれすぎない 5. 最初からObservabilityを組み込む ワークロード︓クラウドアプリケーションを構成するリソースとコードのコレクション テレメトリーデータ︓メトリクス、ログ、トレースなどのシステムの状態を表すデータ AWS Observability Best Practices︓ https://aws-observability.github.io/observability-best-practices/guides/#best-practices-overview
© 2023, Amazon Web Services, Inc. or its affiliates. Observability
のサイクル インストルメンテーション* ログ、メトリクス、 トレース アラーム、 ダッシュボード 質問 運⽤の カイゼン *Instrumentation = ログ、メトリクス、トレースなどのデータを取得し 外部に送信できるようシステムに組み込むこと
© 2023, Amazon Web Services, Inc. or its affiliates. Amazonにおけるインシデントの対応例
ポストモーテム 様々なツール による分析 アラーム ダッシュボード メトリクス分析 ログ分析 ⽣ログ トレース 抽 象 度 ⾼ 低 インシデントによる影響から 再発防⽌策などをまとめた⽂書
© 2023, Amazon Web Services, Inc. or its affiliates. Amazonにおけるインシデントの対応例
ポストモーテム 様々なツール による分析 アラーム ダッシュボード メトリクス分析 ログ分析 ⽣ログ トレース 抽 象 度 ⾼ 低 インシデントによる影響から 再発防⽌策などをまとめた⽂書
ダッシュボード ベストプラクティス
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードベストプラクティス
1. ⽬的別ダッシュボードの構築 2. 適切な情報を適切な⽅法で表⽰するダッシュボードの設計 3. 常に改善と拡張を繰り返すダッシュボードのメンテナンス
© 2023, Amazon Web Services, Inc. or its affiliates. ⽬的別ダッシュボードの構築
ユーザー AWS Cloud API マイクロサービス EC2インスタンス データベース バックエンド マイクロサービス コンテナ Lambda バックエンド マイクロサービス
© 2023, Amazon Web Services, Inc. or its affiliates. インフラストラクチャ
ダッシュボード ⽬的別ダッシュボードの構築 ユーザー マイクロサービス ダッシュボード システム ダッシュボード カスタマーエクスペリエンス ダッシュボード 依存関係 ダッシュボード AWS Cloud API マイクロサービス EC2インスタンス データベース バックエンド マイクロサービス コンテナ Lambda バックエンド マイクロサービス 使⽤するユーザーおよび使⽤する理由に基づいて、 各ダッシュボードを作成することが重要 ⾼レベル ⾼レベル ビジネスオーナー サービスオペレーター あらゆる関係者 低レベル 低レベル 低レベル インフラ 運⽤担当 各サービス 主管/開発者 各サービス 主管/開発者 システム 運⽤担当
© 2023, Amazon Web Services, Inc. or its affiliates. 14
⾼レベル 低レベル ︓サービスレイヤー ︓インフラレイヤー カスタマーエクスペリエンスダッシュボード • Amazon で最も重要かつ広く使われている • 「影響を受ける顧客の数は︖」といった質問に答える • サービスの健全性や外型監視、RUM の情報など システムレベルでのダッシュボード • システムやエンドポイントが動作していることを確認 • ⼊⼒関連、処理関連、出⼒関連の情報を表⽰する キャパシティプランニングと予測ダッシュボード • サービス成⻑の視覚化により⻑期的な予測に役⽴てる 伝えたいメッセージを絞るため、 これらのダッシュボードでは情報の過多を避ける マイクロサービス固有のダッシュボード • サービスの実装に特化したデータを表⽰ • 運⽤メンバーはデータの異常を特定するのに活⽤ インフラストラクチャのダッシュボード • インフラのリソースを確認 依存関係のダッシュボード • 他チームのマイクロサービスと依存関係がある場合作成 • 依存関係に特化した専⽤のダッシュボードを⽤意する 各チームがリクエストに関する特定の処理を担当するので 1つ以上の専⽤マイクロサービスに特化した ダッシュボードを作成する ビジネスオーナー サービスオペレーター あらゆる関係者 各サービス主管/開発者 インフラ運⽤担当 使⽤するユーザーおよび使⽤する理由に基づいて、 各ダッシュボードを作成することが重要 ⽬的別ダッシュボードの構築
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
参照︓https://aws.amazon.com/builders-library/building-dashboards-for-operational-visibility/ 最重要なメトリクスは最上部に⼤きく表⽰ 想定しうる最⼩のディスプレイサイズにレイアウト 単⼀のタイムゾーン (例:UTC) を表⽰ エラー時だけメトリクス表⽰するような グラフには頼らない 最⼩の時間間隔とデータポイントピリオドを使⽤ ⾒る⼈がすぐに理解し使うことができることが 重要
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
同⼀の時間幅と分解能でデータを表⽰ アラームのしきい値でグラフに注釈を付ける 1 つのグラフ内で過多な情報表⽰を避ける 縮⼩表⽰によりデータポイントの範囲に合わせる 左と右の両⽅の y 軸をすでに表⽰しているグラフでは、 ⽔平ラインを追加表⽰しないかグラフを分ける データの範囲が⼤きく異なる複数のメトリクスでは、 過多な表⽰を避ける
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードの設計
設計書や⼿順書のリンクを挿⼊ グラフの説明⽂をテキストで表⽰ ユースケースによって、 メトリクスの最新値、アラームステータスを活⽤
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードのメンテナンス
新機能のデプロイ前 “ ダッシュボードに何か変更はありますか ? ” ポイント • 開発プロセスに組み込み、ダッシュボードを更新する • ステージング環境にも同様のダッシュボードを⽤意する • ダッシュボードのレイアウトに IaC を採⽤する ダッシュボードを更新する 常に改善と拡張を続けることが重要 ダッシュボードは⼀度作ったら終わりではない
© 2023, Amazon Web Services, Inc. or its affiliates. ダッシュボードのメンテナンス
ダッシュボードは⼀度作ったら終わりではない “ ダッシュボードはお客様への影響を明確にしましたか? ” “障害原因を明確にすることに貢献しましたか? ” “ 修復時間を短くすることの助けになりましたか? ” 常に改善と拡張を続けることが重要 ポイント • 根本原因をより早く特定できたか、平均復旧時間を短縮できたかどうかを検討する • 価値のなくなったグラフは積極的に削除する ダッシュボードを改良する 障害発⽣後
© 2023, Amazon Web Services, Inc. or its affiliates. 週次のオペレーション会議でレビュー
約15分のスロットで分割 参照︓https://aws.amazon.com/jp/blogs/opensource/the-wheel/
CloudWatch Dashboard の活用
© 2023, Amazon Web Services, Inc. or its affiliates. CloudWatch
Dashboard • 折れ線グラフ、数値、ゲージ、テキスト、ア ラーム、Lambdaによるカスタムウィジェット でお好みのダッシュボードを作成 • 異なるアカウント、異なるリージョンの リソースでも、ダッシュボード化が可能 • ⾃動更新間隔(10s, 1m, 2m, 5m, 15m)、 時間範囲、タイムゾーンの調整が可能 • 異なる時間範囲での⽐較が可能 • ⾃動⽣成ダッシュボードも活⽤可能 カスタマイズ可能なダッシュボードを作成 Amazon CloudWatch
Q&A
Thank you!