Custom Prometheus Exporterによる オブザーバビリティ拡張 / Extending observability with Custom Prometheus Exporter

大LT 2025 春 in Aizu
https://zli.connpass.com/event/351157/

1. ©MIXI Custom Prometheus Exporterによる オブザーバビリティ拡張 2025/05/10 大LT 2025 春 in Aizu 株式会社MIXI みてね事業本部 みてねプラットフォーム部 SREグループ 杉本浩平
2. ©MIXI 2 お話しすること • “オブザーバビリティ ” • Prometheus • Prometheus Exporter • Custom Prometheus Exporterの実装
3. ©MIXI 3 “オブザーバビリティ ” システムの出力を調査することによって内部の状態を測定する能力のこと ※1 4つの主要なデータタイプ（ MELT） Metrics • システムのパフォーマンスやリソース使用状況を定量的に示す数値データ Events • システム内で発生した特定の事象や状態変化を記録するデータ Logs • システムやアプリケーションの動作に関する詳細なテキスト記録 Traces • 分散システムにおけるリクエストの流れを追跡し、各サービス間のやり取りや処理時間を可視化するデー タ ※1 https://www.splunk.com/ja_jp/blog/devops/observability.html
4. ©MIXI 4 Prometheus Prometheus collects and stores its metrics as time series data. メトリクスを時系列データとして収集＆保存する ※1 主なコンポーネント Prometheus Server • ターゲットからMetricsを収集して保存（他いろいろ） Service Discovery • ターゲットを自動的に検出 Exporter • システムやアプリケーションのMetricsをPrometheus Serverが収集できる形式で提供 Pushgateway • ライフサイクルが短いジョブからMetricsをプッシュ Alertmanager • Prometheus Serverから送信されるアラートを処理 ※1より引用 ※1 https://prometheus.io/docs/introduction/overview
5. ©MIXI 5 Prometheus Exporter • いわゆる監視エージェントの役割 • 特定のシステムやアプリケーションをターゲットとし、メトリクスを収集し、 HTTPエンドポイントで公開 • 公式ドキュメントに記載されているだけでも200ほど • DBやクラウドサービスなど、あらゆるシステムやサービスに対応したPrometheus公式またはサードパーティ製 どのようなときに欲しくなる？ 1. 利用しているソフトウェアがPrometheus形式のメトリクスを提供していない （例）MySQL server exporter, Redis exporter, 2. ホストマシンのシステムメトリクスを取得したい （例）Node/system metrics exporter, Windows exporter 3. ネットワーク機器や外部サービスを監視したい （例）SNMP exporter, Blackbox exporter 4. 独自アプリケーションやサービスを監視したい （例）クライアントライブラリで Expoterを自作 https://prometheus.io/docs/instrumenting/clientlibs/
6. ©MIXI 6 Prometheusのメトリクス形式 1行目：# HELP メトリクスの説明文 2行目：# TYPE メトリクスの種類 3行目：メトリクス この例では「HTTPメソッド x レスポンスコードごとのリクエスト数の変化を時系列的に追跡する」 ことが可能になる Prometheusのメトリクス形式でレスポンスを返却するエンドポイントを公開さえできれば ありとあらゆるシステムやアプリケーションの可視化や分析が可能になる
7. ©MIXI 7 Custom Prometheus ExporterのRuby実装例（without client library） Prometheusのメトリクス形式の出力であればいい ので シンプルな実装でカスタムメトリクスを公開可能 1. メトリクスデータを Hash.new で初期化 2. ダミーデータを作成 • metrics += 1 で定期的に加算 3. webrickサーバーを起動 4. /metrics へのリクエストに、Prometheusのメトリクス形式のテ キストをレスポンス • # HELP を追加 • # TYPE を追加 • Hashのkey/valueを追加 ⬆ メトリクスの種類が増えただけ対応する必要がある
8. ©MIXI 8 Custom Prometheus ExporterのRuby実装例（with client library） クライアントライブラリを使用すると簡単に作成可能 公式にはGo / Java or Scala / Python / Ruby / Rustをサポート 1. Rubyのclientライブラリを使用 https://github.com/prometheus/client_ruby 2. レジストリを作成して、メトリクスを管理（in-memory） Counterメトリクスを定義 • GaugeやHistogramなどタイプがある https://prometheus.io/docs/concepts/metric_types 3. レジストリにCounterメトリクスを登録 4. ダミーデータを作成 • counter.increment で定期的に加算 5. webrickサーバーを起動 6. /metrics へのリクエストに、Prometheusのメトリクス形式のテ キストをレスポンス • クライアントライブラリが組み立ててくれる
9. ©MIXI 9 業務で見ているもの（一部）
10. ©MIXI “オブザーバビリティ ”に 思いを馳せてみるのもよいかも？
11. ©MIXI