Google Cloud のモニタリング製品を徹底活用してみた

Google Cloud Next Tokyo 2023

https://cloudonair.withgoogle.com/events/next-tokyo

Transcript

1. Proprietary Google Cloud のモニタリング製 品を徹底活用してみた
2. Proprietary Google Cloud Next Tokyo ’23 唐澤弘明 dinii, inc. VP of Technology Google Cloud Champion Innovator • Databases • Modern Architecture • Serverless App Development
3. Proprietary Google Cloud Next Tokyo ’23 株式会社 dinii にて Google Cloud の 各種 モニタリング製品 を活用している話 本日の話
4. Proprietary Google Cloud Next Tokyo ’23 1. 単一の Google Cloud プロジェクトの利用を想定しています 2. プロジェクトをまたぐモニタリングも可能だがあまり詳しくない 󰢛 3. プロジェクトをまたぐのであれば Google Cloud 以外のモニタリング製品 を活用するのもアリ 💡 前提
5. Proprietary Google Cloud Next Tokyo ’23 目次 01 Cloud Logging 02 Metrics Explorer 03 Log-based Metrics 04 Alerting 05 Dashboard 06 Uptime checks 07 Synthetic Monitoring 08 Cloud Trace
6. Proprietary Google Cloud Next Tokyo ’23 01 Cloud Logging まずはデータの入り口から
7. Proprietary Google Cloud Next Tokyo ’23 Google Cloud のあらゆるログデータ がここに集約される Log Storage • Logs Explorer で使える！ BigQuery dataset • 長期間保存！安い！ Cloud Logging
8. Proprietary Google Cloud Next Tokyo ’23 おすすめの設定項目 message ◦ 一覧で JSON ログが見やすく labels ◦ ログのメタデータ的に使える trace ◦ 複数のログを流れに沿って可視化 構造化ログをカスタマイズ 先頭のリクエストログに紐づくログが一覧 化
9. Proprietary Google Cloud Next Tokyo ’23 Cloud Logging コストの最適化 ストレージとしてみたときの値段 Cloud Logging • $0.50/GiB = $500/TiB → 8TiB で ¥600,000 ($1 = ¥150) Cloud Storage • Standard Storage = $0.023/GB → 約 1/20 程度 ※ Cloud Storage は参照にもコストがかかる一方で Cloud Logging は参照は無料
10. Proprietary Google Cloud Next Tokyo ’23 1. Log Router でフィルタ _Default Bucket への転送ルールは変更可 Cloud Logging コストの最適化 アクセスの多い特定のエンドポイント へのログを確率で排除 どうやって効率よくログを減らす？
11. Proprietary Google Cloud Next Tokyo ’23 logs 最もボリュームの大きい dinii-self-backend-dp-production サービスを減らそう！
12. Proprietary Google Cloud Next Tokyo ’23 2. BigQuery データセットに転送 1. 保存だけだと Cloud Logging Bucket の 1/20 のコスト BigQuery で発生するクエリコストが Cloud Logging では発生しない 2. 保存期間も長期に設定可能 エラーログやリクエストログを雑に保存しておく 3. アプリケーション固有の操作ログなどを Audit として保存 アプリケーション側で特定のフォーマットで操作ログを出力するようにしておく アプリケーション側は標準出力に出すだけなので何のセットアップも要らず手軽 Cloud Logging コストの最適化
13. Proprietary Google Cloud Next Tokyo ’23 02 Metrics Explorer カスタム指標を使いこなそう
14. Proprietary Google Cloud Next Tokyo ’23 Metrics Explorer Google Cloud サービスは 標準利用できる指標がたくさん とりあえず眺めるだけで勉強になる
15. Proprietary Google Cloud Next Tokyo ’23 可視化方法も豊富 二種類の系列を 同時 に表示したり 二種類の系列の 割合 を表示したり
16. Proprietary Google Cloud Next Tokyo ’23 お気に入りを紹介
17. Proprietary Google Cloud Next Tokyo ’23
18. Proprietary Google Cloud Next Tokyo ’23 見やすくなった！
19. Proprietary Google Cloud Next Tokyo ’23 03 Log-based Metrics メトリクスは足りないなら作れば良い
20. Proprietary Google Cloud Next Tokyo ’23 Log-based Metrics デフォルト メトリクスの注意点 1. 基本的にサンプリングされているので全数集計はできない 1 分に 1 度なので 1 分幅で見るとただのランダム サンプリング （ある程度長期であれば傾向も見えてくるが…） 2. 当然だがアプリケーションロジックの可視化はできない → GraphQL はアプリケーションレイヤーのプロトコルなので苦手
21. Proprietary Google Cloud Next Tokyo ’23 実はこれも GraphQL リクエスト
22. Proprietary Google Cloud Next Tokyo ’23 独自のメトリクスを作成 1. メトリクスを作りたい対象のログを Cloud Logging の形式でフィルタ 2. 回数を数えたいだけなら Counter 値に意味がある場合は Distribution で作成 3. ラベルは後でフィルタやグルーピングに使えるので付けるだけ付けておく
23. Proprietary Google Cloud Next Tokyo ’23 GraphQL リクエストのメトリクス化 1. アプリケーション上でレスポンスを返却する際に operation と latency のセットを出力 2. Log-based Metrics を作成
24. Proprietary Google Cloud Next Tokyo ’23 実際に独自で定義しているメトリクス 1. AlloyDB にメンテナンスが入ったときのログの Count 指標 → 経験上、エラーが上昇することが分かっている 2. 「未印刷伝票のデータの総数」の Distribution 指標 → 経験上、深刻な障害が発生している場合が多い
25. Proprietary Google Cloud Next Tokyo ’23 Alerting 数は絞ってエンドユーザーの行動を表すも のにする。オンコールは何のサービス使っ てる？ Dashboard 緊急時用（短期）と振り返り用（長期）を 作っておく。 Uptime Checks アプリケーション側でヘルスチェック用のエ ンドポイントを作っておく。 残りは Ask the Expert コーナーで！
26. Proprietary Google Cloud Next Tokyo ’23 Synthetic Monitoring まだ使ってない！ 使ってる方の情報求む！ Cloud Trace ボトルネックが一目瞭然！ あと意外と安い。 残りは Ask the Expert コーナーで！
27. Thank you Proprietary