Share
Embed
Transcript
27 slides
-
システム監視入門 whoami Wataru Tsuda / gr1m0h SWE, SRE at Topotal,
inc. Waroom: インシデントマネジメントSaaS SRE as a Service(SREの技術支援) 竹原市で生まれ育ち、広島市在住 広島商船高専 -> 東京 -> 2023年にUターン 2026/07/26 SRE Lounge Hiroshima #2 2 -
システム監視入門 監視には4つの目的がある 目的 内容 障害の早期検知 人間より先にシステムが教えてくれる状態を作る 障害の未然防止 止まってから気づくのでは遅い。予兆段階で対応する 安定稼働の維持 「稼働している」を定義し、数値で測り続ける
セキュリティ 意図しないアクセスや動作を見逃さない ポイント: 目的が違えば手法も違う Discussion: この4つ、みなさんの監視はどこまでカバーしていますか? 2026/07/26 SRE Lounge Hiroshima #2 6 -
システム監視入門 迷ったらまず 4 Golden Signals シグナル 何を見るか 例 Latency リクエストの処理時間
レスポンスタイム Traffic 需要の量 リクエスト数/秒 Errors 失敗のレート 5xxの割合 Saturation リソースの飽和度 CPU・メモリ・キューの詰まり 「4つだけ計測するなら、まずこの4つ」 出典: Beyer et al. "Site Reliability Engineering" ch.6 (O'Reilly, 2016) 2026/07/26 SRE Lounge Hiroshima #2 7 -
システム監視入門 USEとRED — 見る対象で切り口を変える USE 対象 インフラリソース 見るも Utilization /
Saturation / Errors の 向く場 サーバー・ネットワークのリソース分 面 析 RED リクエスト駆動サービス Rate / Errors / Duration マイクロサービスのリクエスト分 析 出典: Brendan Gregg "The USE Method" (2012) / Tom Wilkie "The RED Method" (2015) Discussion: 何を測るか・しきい値をどこにするか、どうやって決めていますか? 2026/07/26 SRE Lounge Hiroshima #2 8 -
システム監視入門 オブザーバビリティ = 「なぜ起きたか」を探り出す 能力 システムの内部状態を把握するためのデータを取得し、関連付けて保持する 事前に想定していなかった原因でも、データを横断して特定できる 監視が不要になるわけではない — 両者は補完関係
2026/07/26 SRE Lounge Hiroshima #2 13 -
システム監視入門 3本柱 — ただし関連付いて初めて意味がある 柱 役割 メトリクス 数値の集計。「何が起きているか」を秒単位で検知 ログ 根本原因究明の入り口。構造化すると検索性が上がる
トレース 「どこで問題が起きたか」を突き止める。分散システムでは不可欠 メトリクスで検知 → トレースで追跡 → ログで特定 バラバラに持つだけでは従来の監視と変わらない Discussion: ログにトレースIDは入っていますか? 2026/07/26 SRE Lounge Hiroshima #2 14 -
システム監視入門 3本柱 + 変更イベントで「何によって」まで辿る メトリクス・ログ・トレースはあくまで 「結果」のデータ デプロイ・設定変更・フィーチャーフラグなどの変更イベントを重ねる 「レイテンシ悪化と同時刻にデプロイ」→ 原因の仮説に直結する Discussion:
メトリクスのグラフに、デプロイのタイミングは見えますか? 2026/07/26 SRE Lounge Hiroshima #2 15 -
システム監視入門 実例: 「決済が遅い」と苦情が来たら 計装がないと わかる 「どこかが遅い」だけ こと 動き方 各チームに問い合わせて回 る
原因特定に時間がかかり影 影響 響が長引く 計装があれば フロント 200ms → 認証 500ms → 決済API 6.5秒 → DB 500ms 決済APIが原因だと即特定 ロールバック・改修の判断がすぐできる ※ 計装 (instrumentation) = 追跡データを取得する仕組みをコードやインフラに仕込むこ と 2026/07/26 SRE Lounge Hiroshima #2 16 -
システム監視入門 監視でよくある課題 課題 状況 アラートが多すぎて無視される 「また鳴ってる」で誰も見ない しきい値が勘 前任者の設定のまま、根拠は不明 ユーザーからの連絡で気づく 監視より先にお問い合わせが来る
ダッシュボードが形骸化 作ったきり、障害時に誰も開かない Discussion: 鳴っても誰も見ないアラート、ありませんか? 2026/07/26 SRE Lounge Hiroshima #2 17 -
システム監視入門 アラートを減らす定石 症状ベースでアラートする — ユーザー影響が出ているものを最優先 鳴ったら必ず行動するものだけに絞る (actionable) 今すぐ対応が不要なものはチケットや日次レビューに回す 出典: Beyer
et al. "Site Reliability Engineering" ch.6 (O'Reilly, 2016) Discussion: そのアラート、鳴ったら「何をするか」決まっていますか? 2026/07/26 SRE Lounge Hiroshima #2 18 -
システム監視入門 明日からできる3つのこと 1. 自分のサービスの「稼働している」を定義する 測るものは目的から決まる 2. 迷ったら 4 Golden Signals
から始める 3. データが関連付いているか確認する ログにトレースIDは入っている?グラフにデプロイは重なっている? この確認だけなら、今夜ダッシュボードを開けばできる 2026/07/26 SRE Lounge Hiroshima #2 19 -
システム監視入門 まとめ 1. 監視には複数の目的がある — 目的から設計する 2. 何を測るかはフレームワークで抜け漏れを減らす — 4
Golden Signals / USE / RED 3. オブザーバビリティ = 想定外の「なぜ」を探れる能力 — 3本柱 + 変更イベントを関連 付ける 監視は「何が」、オブザーバビリティは「なぜ」 2026/07/26 SRE Lounge Hiroshima #2 20 -
システム監視入門 参考 書籍 『SRE サイトリライアビリティエンジニアリング』ch.6(Google / O'Reilly) https://sre.google/sre-book/monitoring-distributed-systems/ Web The
USE Method / Brendan Gregg The RED Method: How to Instrument Your Services / Grafana Labs (2018) 2026/07/26 SRE Lounge Hiroshima #2 21 -
システム監視入門 外形監視と内部監視 システムを「外から」と「中から」見る 種類 見方 用途 外形監視 (ブラックボック ユーザーと同じ経路でアクセス ユーザー影響の検知
ス) する 内部監視 (ホワイトボック メトリクス・ログなど内部デー 原因調査・トレンド分 ス) タ 析 ポイント: アラートは症状ベース = ユーザー体験に近い外形監視側を重視する 参考: Site Reliability Engineering ch.6 2026/07/26 SRE Lounge Hiroshima #2 23 -
システム監視入門 SLI・SLO・エラーバジェット 「稼働している」を数値で定義する道具 用語 意味 SLI サービスの状態を測る指標(例: 成功リクエストの割合) SLO SLIの目標値(例:
30日間で99.9%) エラーバジェット SLOまでの余裕。開発スピードと信頼性のバランスの判断材料 ポイント: 本編の「『稼働している』を定義する」を実践する枠組み 出典: Beyer et al. "Site Reliability Engineering" ch.4 (O'Reilly, 2016) 2026/07/26 SRE Lounge Hiroshima #2 24 -
システム監視入門 ツールの選び方 今日の話はツール非依存。選定基準は2つ 3本柱を関連付けて横断調査できるか 変更イベントを重ねられるか 分類 例 OSS OpenTelemetry +
Prometheus / Grafana / Loki / Tempo SaaS Datadog / New Relic など 2026/07/26 SRE Lounge Hiroshima #2 25 -
システム監視入門 計装はどこから手を付けるか OpenTelemetry の自動計装 (auto-instrumentation) なら Java・Python・Node.js などはコード変更ほぼなしで始められる まずユーザー影響が最も大きいクリティカルパス(決済など) 1本に絞って計装するのがおすすめ
3本柱を全部揃えることが目的ではない → バラバラの3本柱より、関連付いたメトリクス + ログの2つの方が「なぜ」に辿り着 ける 2026/07/26 SRE Lounge Hiroshima #2 26 -
システム監視入門 補足: 「3本柱」という整理への批判 3本柱はあくまでデータの種類の話 — 集めるだけでは「なぜ」に答えられない ツールが柱ごとにサイロ化し、同じ事象を3回保存してコストが増えるという指摘 幅広い構造化イベントを単一の情報源に持つ「Observability 2.0」という議論も ポイント:
批判の方向は共通 — 「柱をバラバラに持つな、関連付けろ」 出典: Ben Sigelman "Three Pillars with Zero Answers" (Lightstep, 2018) / Charity Majors "Observability 2.0" (Honeycomb, 2024) 2026/07/26 SRE Lounge Hiroshima #2 27