20250617_ガバクラ移行と共に考えるアプリケーションのオブザーバビリティ

© 2024, Amazon Web Services, Inc. or its affiliates. All
rights reserved. AWS Azuma Kenichi 2025/06/17 ガバクラ移⾏と共に考えるアプリケーションのオブザーバビリティガバメントクラウドワークショップ

rights reserved. 自己紹介 2 東健⼀（あずまけんいち） AWS ジャパンソリューションアーキテクト • 中央省庁のお客様を担当するSA ガバメントクラウド、医療DX案件を中⼼に対応 • Containers TFC Japan Lead 社内のコンテナサービスに関するコミュニティの ECS 領域の Japan Lead • AWS Summit で ECS のブースオーナー担当します︕ -> Harmonix (Platform Engineering), ECS MCP Server 等

rights reserved. • 本セッションはこれからガバメントクラウドを含め、クラウドにシステム移⾏する際に検討するべきアプリケーションのオブザーバビリティの観点をお話しいたします。 • なお、本セッションの中ではあまりAWSのサービスや技術のお話はしません。 • 今年の4⽉に開催された AWS 春の Observability 祭りの内容を中⼼に⾮常に参考となる資料があるため、そちらもご覧いただければと思います。 https://aws.amazon.com/jp/blogs/news/awsobservabilityfes2025spring/ はじめに 3

rights reserved. 今日に向けて読んだでいる本 4

rights reserved. • なぜオブザーバビリティが重要なのか • ガバクラにおける SLI/SLO・KPI/KGI を考える • オブザーバリティの実現に向けてのステップ • サンプルアプリケーションを⽤いたデモ • まとめ本日のアジェンダ 5

rights reserved. なぜオブザーバビリティが重要なのか 6

rights reserved. シンプルなシステムの場合ユーザー DB サーバ Web/AP サーバ 7

rights reserved. シンプルなシステムの場合ユーザー DB サーバ Web/AP サーバスケーリングはなく、⾃⾝の管理する特定のインフラストラクチャを利⽤し、閉域NW等、特定の経路を利⽤したシステムにおいてはログとメトリクスを中⼼にシステムの状態を確認可能 8 メトリクス • CPU使⽤率 • メモリ使⽤率 • ストレージ使⽤率ログ • アプリケーションログ • サーバログメトリクス • CPU使⽤率 • メモリ使⽤率 • ストレージ使⽤率ログ • DBMSログ • サーバログ

rights reserved. シンプルなシステムの場合ユーザー DB サーバ Web/AP サーバ 9 メトリクス • CPU使⽤率 • メモリ使⽤率 • ストレージ使⽤率ログ • アプリケーションログ • サーバログメトリクス • CPU使⽤率 • メモリ使⽤率 • ストレージ使⽤率ログ • DBMSログ • サーバログいつもよりちょっとサイトが重いな・・・運⽤者アクセスが集中してCPU使⽤率が⾼くなっているようです。それに伴い⼀部の処理が遅延していることがわかりました

rights reserved. ユーザーバックエンドAPI データベースシステムの構成要素が増えてきた場合 10 ロードバランサーフロントエンド

rights reserved. ユーザーロードバランサーバックエンドAPI フロントエンドデータベースシステムの構成要素が増えてきた場合ガバクラでもよく使われるコンテナやサーバレスは動的にスケールする前提かつ不特定多数のインフラストラクチャを利⽤また、さまざまなユーザのアクセス経路があり、トランザクション量も増加。以前よりも、システム全体の状態を把握することは難しい 11 ︖ いつもよりちょっとサイトが重いな・・・

rights reserved. オブザーバビリティの実現に向けて • 可観測性（オブザーバビリティ）を⾼めるため、オブザーバビリティの3本柱である以下のデータを収集する • メトリクス、ログ、トレース • メトリクス︓問題が起きているのか • ログ ︓なぜ問題が起きているのか • トレース ︓どこで問題が起きているのか

rights reserved. メトリクス、ログ、トレースメトリクスログトレース時間間隔で計測されたデータの数値表現傾向の把握、予測に役⽴つタイムスタンプが記録された、時間の経過とともに起こったイベントの記録予測不可能な振る舞いの発⾒に役⽴つリクエストの流れと構造の両⽅を可視化することで因果関係の追跡に役⽴つエンドツーエンドのリクエストフローの記録 13

rights reserved. ユーザーバックエンドAPI データベースオブザーバビリティの実現に向けて 14 メトリクス • リクエスト数 • 3XXコード • ProcessedBytes • Etc. ログ • アクセスログトレース • リクエスト情報メトリクス • CPU使⽤率 • メモリ使⽤率 • リクエスト数 • Etc. ログ • アプリケーションログトレース • リクエスト情報ロードバランサーフロントエンドメトリクス • CPU使⽤率 • メモリ使⽤率 • リクエスト数 • Etc. ログ • アプリケーションログトレース • リクエスト情報メトリクス • レイテンシー • Readリクエスト数 • Etc. ログ • クエリログトレース • リクエスト情報メトリクス、ログトレースを各サービスで収集する

rights reserved. オブザーバビリティの実現に向けて • 可観測性（オブザーバビリティ）を⾼めるため、オブザーバビリティの3本柱である以下のデータを収集する • メトリクス、ログ、トレース • メトリクス︓問題が起きているのか • ログ ︓なぜ問題が起きているのか • トレース ︓どこで問題が起きているのか • マネージドサービスを活⽤することで死活監視に関連するメトリクスやログの関⼼ごとは減らす

rights reserved. ユーザーバックエンドAPI DynamoDB オブザーバビリティの実現に向けて 16 メトリクス • リクエスト数 • 3XXコード • ProcessedBytes • Etc. ログ • アクセスログトレース • リクエスト情報メトリクス • CPU使⽤率 • メモリ使⽤率 • リクエスト数 • Etc. ログ • アプリケーションログトレース • リクエスト情報 ELB フロントエンドメトリクス • CPU使⽤率 • メモリ使⽤率 • リクエスト数 • Etc. ログ • アプリケーションログトレース • リクエスト情報メトリクス • レイテンシー • Readリクエスト数 • Etc. ログ • クエリログトレース • リクエスト情報 ELBやDynamoDBを利⽤し、 CPUやメモリなどのインフラ監視負荷を軽減

rights reserved. オブザーバビリティの実現に向けて • 可観測性（オブザーバビリティ）を⾼めるため、オブザーバビリティの3本柱である以下のデータを収集する • メトリクス、ログ、トレース • メトリクス︓問題が起きているのか • ログ ︓なぜ問題が起きているのか • トレース ︓どこで問題が起きているのか • マネージドサービスを活⽤することで死活監視に関連するメトリクスやログの関⼼ごとは減らす • ユーザー体験を中⼼とした計測を⾏うことも意識する

rights reserved. ユーザーバックエンドAPI データベースオブザーバビリティの実現に向けて 18 メトリクス • リクエスト数 • 3XXコード • ProcessedBytes • Etc. ログ • アクセスログトレース • リクエスト情報メトリクス • CPU使⽤率 • メモリ使⽤率 • リクエスト数 • Etc. ログ • アプリケーションログトレース • リクエスト情報ロードバランサーフロントエンドメトリクス • CPU使⽤率 • メモリ使⽤率 • リクエスト数 • Etc. ログ • アプリケーションログトレース • リクエスト情報メトリクス • レイテンシー • Readリクエスト数 • Etc. ログ • クエリログトレース • リクエスト情報 Synthetics メトリクス • 成功数 • 処理時間 • エラー数ログ・アーティファクト • スクリプト実⾏ログ • HARファイル • スクリーンショットトレース • リクエスト情報ユーザの⼀番の関⼼ごとはサービスが正常に動いているかどうか極端な話、内部のサービスがスケーリング有無には興味はない（はず）

rights reserved. 本章のまとめ • クラウドに移⾏することで必然的にシステムが複雑化、利⽤者やトランザクション量が増加する傾向にある。 • そのため、メトリクス、ログ、トレースをしっかりと取得することが重要裏を返すとクラウドでは簡単にテレメトリーが収集可能 • ユーザ⽬線での監視も⾮常に重要なため忘れないこと

rights reserved. 20 （参考）GCASにおける記載 https://guide.gcas.clo ud.go.jp/general/ove rview-explanation- chapter-06/

rights reserved. ガバクラにおける SLI/SLO・KPI/KGI を考える 21

rights reserved. はじめに • 調達仕様書の閲覧やお客様と会話していく中で、 SLA というキーワードは⾒る/聞くことが多い。 • ⼀⽅で（AWSという⽴場上、ディスカッションの機会がすくない、ご相談されないケースも多分にあるが）SLI (Service Level Indicator) やSLO (Service Level Objective) などはあまり議論にでない • 同様にKPI (Key Performance Indicator)/ KGI (Key Goal Indicator) についてもあまり聞く機会が少ない • どんなシステムでもユーザがいて、⽬的がある。どのような⽬標が⾃分たちのシステムにあるのか考えることが重要

rights reserved. （参考）GCASにおける定量的計測の考え⽅

rights reserved. マイナンバー関連システムの KGI/KPI の例マイナポータル KGI • マイナポータル経由の⾏政⼿続き電⼦化率を80%以上にする KPI︓ • ⽉間新規マイナンバーカード発⾏件数 • マイナポータル経由の電⼦申請件数マイナンバー保険証（オンライン資格確認等システム） KGI • マイナ保険証の利⽤率を2025年度末までに70%以上にする KPI • マイナンバー保険証を利⽤した医療機関での資格確認件数

rights reserved. マイナンバー関連システムの SLI/SLO の例マイナポータル KGI • マイナポータル経由の⾏政⼿続き電⼦化率を80%以上にする KPI • ⽉間新規マイナンバーカード発⾏件数 • マイナポータル経由の電⼦申請件数 SLO • マイナポータルの⽉間稼働率99.95%以上 • エラー発⽣率0.05%未満 SLI • 実際の稼働率 • 実際のエラー発⽣率

rights reserved. SLI / SLO とは︖ 優れた SLI は、ユーザーの視点 (ユーザージャーニー) から計測 -> システムメトリクスではないユーザーがサービスに期待する性能品質を⽰す指標 SLI 良いイベント／時間全イベント／時間 = 例1: チケットの予約にかかる時間（レイテンシー） 500ms 以内のレスポンス数全レスポンス数例2: 予約ページにアクセス可能な時間（可⽤性）アクセス可能な期間計測期間サービスレベル指標 (Service Level Indicator) 26

rights reserved. SLI / SLO とは︖ ⽬指すべき SLI の⽬標値サービスレベル⽬標 (Service Level Objective) SLI/SLOの設定例: SLI: チケットの予約にかかる時間（レイテンシー） 500ms 以内で完了したリクエストの割合 SLO: 500ms 以内で完了したリクエストの割合が 28 ⽇間で 99 % SLI SLO 27 SLO

rights reserved. （参考）NewRelic社資料 - SLIの定義 28

rights reserved. （参考）NewRelic社資料 - SLIの計測 29

rights reserved. エラーバジェットによる評価エラーバジェットエラーバジェット: 許容できる異常系の量 100 % - SLO SLI SLO 例: 500ms 以内で完了したリクエストの割合例: 500ms 以内で完了したリクエストの割合が 28 ⽇間で 99 % SLOが99パーセントだとすると、1パーセントがエラーバジェット -> この量の消費状況・速度を⾒ることが重要。まさに予算

rights reserved. SLO/SLIの⾒直しの流れ（⼀例）⾒直しが必要⾒直しが不要 SLO/SLIの定期的な⾒直し（エラーバジェット等の確認）ユーザに沿ったSLOの再設定 SLIの再実装追加機能開発原因分析・原因特定機能修正・機能追加これらの実現のためにもオブザーバビリティが必要︕

rights reserved. オブザーバリティの実現に向けてのステップ 32

rights reserved. AWS オブザーバビリティ成熟度モデル 33

rights reserved. AWS オブザーバビリティ成熟度モデル 34 ステップ1はガバクラ移⾏でクリアしているケースが多いネクストステップ

rights reserved. 35 ネクストステップに向けてアプリで取得するテレメトリデータを⼿動で計装する作業コスト収集したテレメトリデータの統合ダッシュボードの構築と効果的な分析の難しさ Challenges SLO 計算とアラートの⼤変さ

rights reserved. 36 ネクストステップに向けてアプリで取得するテレメトリデータを⼿動で計装する作業コスト収集したテレメトリデータの統合ダッシュボードの構築と効果的な分析の難しさ Challenges SLO 計算とアラートの⼤変さ極⼒実装のコストはかけたくない

rights reserved. 37 ネクストステップに向けてアプリで取得するテレメトリデータを⼿動で計装する作業コスト収集したテレメトリデータの統合ダッシュボードの構築と効果的な分析の難しさ Challenges SLO 計算とアラートの⼤変さ Application Signals • テレメトリデータを“⾃動で”⽣成・収集 • ”⾃動で”トポロジーの抽出、可視化 • ⼀般的によく利⽤されるメトリクスを含む事前作成のダッシュボード提供 • 簡単に設定できる SLO モニタリング

rights reserved. 38 Application Signals による⾃動計装・収集 CloudWatch AWS X-Ray メトリクス・トレースの収集・転送を担う・EC2: インストール・ECS: タスク定義に追加可能・EKS: アドオンで有効化可能・Lambda: コンソールで収集機能を有効化可能 CloudWatch Agent ADOT Auto Instrumentation によってコード変更なくメトリクス・トレースを生成する EC2 ECS EKS Lambda ⾃動計装収集保存⾔語の対応バージョン https://docs.aws.amazon.com/AmazonCloudWatch/latest/moni toring/CloudWatch-Application-Signals-supportmatrix.html Java Python Node.js .NET

rights reserved. 39 トポロジー抽出と可視化 CloudWatch AWS X-Ray アプリケーションのトポロジーを発⾒し可視化健全性を評価するための事前構築されたダッシュボード各テレメトリ、Synthetics、 RUMを相関付け Application Signals

rights reserved. ⾃動構築済みのダッシュボード ※必ず利⽤しなければならないわけではありません Services dashboard SLO dashboard Service map Service diagnostics Synthetic canaries Real user monitoring Resources ※ ※ Metrics + traces + logs 1. Understand the whole picture 2. Diagnose and resolve 3. Expand perspectives

rights reserved. 41 SLO モニタリング Services Dashboard SLO Dashboard

rights reserved. さらなる機能拡張や運⽤の最適化が必要な場合 • Application Signalsを使いつつ、よりビジネスメトリクス（KGI、KPI）にフォーカスしたい場合はオリジナルのカスタムダッシュボードの作成を検討する • Application Signalsは裏側でADOTの⾃動計測を利⽤しているため、さらに細かくテレメトリーを取りたい場合はADOT・X-Ray等の⼿動計測を検討する。 • X-Ray、CloudWatch以外に連携したい場合もApplication Signalsではなく、直接ADOT等の利⽤を検討する

rights reserved. Application Signals デモ 43

rights reserved. アンケートシステムを⽤いたデモ

rights reserved. アンケートシステムを⽤いたデモ Amazon CloudFront Amazon Cognito Amazon S3 Application Load Balancer ECS/Fargate Amazon DynamoDB 一般ユーザ管理者 Synthetics Application Signals（ADOT）

rights reserved. ECS/Fargate with Application Signals の構成 46 Amazon ECS ECS Service ECS Task NodeJS サイドカーコンテナ (cloudwatch-agent) アプリケーションコンテナ aws- opentelemetry -agent OpenTelemetryに基づいてメトリクス送信

rights reserved. CloudWatch Agent サイドカー 47

rights reserved. まとめ 48

rights reserved. まとめ • マネージドサービスの利⽤等によりシステム構成は以前ほどシンプルな構成ではなくなっているため、オブザーバビリティの重要性が⾼まっている。 • システムの設計・開発〜運⽤をしていくなかでKPI/KGIとSLI/SLOは適切に設定するべきであり、かつ定期的な⾒直しが重要 • まずはスモールスタートするためにApplication Signals等が活⽤可能 • フェーズ等に応じてカスタマイズしていくことでステップバイステップで始めていく • 本⽇ご紹介したApplication Signals以外にも多数の機能がCloudWatchにはあるのでぜひお試しください。

rights reserved. ご清聴ありがとうございました 50

20250617_ガバクラ移行と共に考えるアプリケーションのオブザーバビリティ

20250617_ガバクラ移行と共に考えるアプリケーションのオブザーバビリティ

More Decks by kenicazu

Featured

Transcript