Share
Embed
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
Open Source Conference 2025 Hokkaido での発表資料です
---
スライド中のURL
- https://mackerel.io/
- https://opentelemetry.io/docs/collector/custom-collector/
- https://github.com/open-telemetry/opentelemetry-collector/tree/main/cmd/builder
- https://github.com/sacloud/sacloud-otel-collector
FUJIWARA Shunichiro
July 05, 2025
Transcript
20 slides
-
自己紹介 @fujiwara (X, GitHub, Bluesky) @sfujiwara (hatena, mixi2) 2011〜2024 面白法人カヤック
2025-02〜 さくらインターネット ISUCON 優勝4回 / 運営(出題)4回 github.com/kayac/ecspresso github.com/fujiwara/lambroll -
さくらのIaaS基盤 さくらのクラウド 仮想サーバー(VM)基盤 データプレーンは OSS を活用 Linux, QEMU, KVM, LVM,
Open-iSCSI, etc... コントロールプレーンは自社開発のソフトウェア + OSS nginx, Apache httpd, PHP, Perl, Go, MySQL, RabbitMQ, etc... -
さくらのIaaS基盤のアーキテクチャ(初期: 2011〜2020年頃まで) モノリシックなAPIサーバー + script群 PHP(API) + Perl + Shell
例: VM起動の流れ(レガシー) 1. ユーザーがAPIサーバーにリクエスト 2. APIサーバーが具体的な起動方法を決定 DBの情報を見てVM起動ホストを選択 実行するためのコマンドラインを生成 (Perl / Shell でQEMU, KVM を操作) 3. リモートでコマンドを実行してVMを起動 ストレージ(iSCSI target/initiator)やネットワークも同様に操作 -
例: VM起動の流れ(レガシー) 物理ホスト群 batch API リモート実⾏ ユーザー VM 起動処理 ホスト選択
コマンド⽣成 DB 情報収集バッチ ホスト1 ホスト2 ホスト3 -
さくらのIaaS基盤のアーキテクチャ(2020年頃〜) 新しいアーキテクチャに段階的に移行 モノリシックなAPIサーバーからマイクロサービスへ API: PHP (将来的には Python+Django?) 各コンポーネントの具体的な責務をAPIから分離(マイクロサービス化) 例: VMを起動するべきホストの選択,
起動コマンドライン生成 Goで書かれたマイクロサービスに対してAPIからはgRPCでリクエスト VM, ストレージ, ネットワークなどの各コンポーネントをマイクロサービス化 -
物理ホスト群 API ホスト3 ホスト2 ホスト1 gRPC boot status status status
VM bridge ホスト選択 ユーザー VM 起動処理 VM agent VM agent VM agent -
さくらのIaaS基盤のモニタリング ホスト(物理サーバー)やネットワーク機器のモニタリングは以前から Zabbix を利用 マイクロサービス化に伴いマイクロサービスやミドルウェアのモニタリングも必要に Prometheus + Grafana を導入 各マイクロサービス:
prometheus exporter を実装 /metrics エンドポイントを実装しメトリクスをエクスポート Prometheus: マイクロサービスのメトリクス収集 Grafana: 可視化 -
さくらのIaaS基盤のモニタリングの課題 Prometheus + Grafana を入れたものの…… ダッシュボードの整備が大変 アラートは未設定 (Prometheus Alertmanager) 集めることは集めたが、メトリクスをあまり有効に使える状態ではなかった
監視基盤を OSS で整備し続けるのはそれなりに大変(運用コスト) -
Mackerel + OpenTelemetry を導入 Mackerel 株式会社はてなが提供するサーバー監視、オブザーバビリティSaaS mackerel.io Mackerel で取得できるメトリクスは3種類 サーバーにインストールしたagentが取得するメトリクス(host
metrics) サーバーに紐付かないメトリクス (service metrics) ラベル付きメトリクス (OpenTelemetry互換) OpenTelemetry ログ、メトリクス、トレースを統一的に収集・送信するための OSSの観測可能性フレームワーク -
Mackerel + OpenTelemetry を導入 要求 prometheus exporter はそのまま使いたい Mackerel にメトリクスを送信したい
解決策 otel-collector (OpenTelemetry Collector) を利用 1. prometheus receiver でメトリクスを収集(scrape) 2. (必要に応じて) processor でメトリクスを加工 3. otlp exporter で Mackerel に送信 これで prometheus の資産を生かしつつ同時に Mackerel にもメトリクスを送信できる -
Mackerel OpenTelemetry Collector scrape scrape scrape VM 管理サービス /metrics ストレージ管理サービス
/metrics ネットワーク管理サービス /metrics prometheus receiver processors otlp exporter otlp endpoint -
OpenTelemetry Collector を用意する otel-collector は OpenTelemetry のメトリクス、ログ、トレースを収集・加工・転送する ためGo製のOSS 構成要素 receiver:
収集 prometheus, otlp, jaeger, fluentdforward, hostmetrics... processor: 加工 batch, memory_limiter, transform... exporter: 転送 otlp, prometheusremotewrite, file, debug... extension: 追加機能 health_check, pprof... -
OpenTelemetry Collector をどう用意するか 実際には receiver, processor, exporter から必要なものを組み合わせて使う あらかじめ公式で用意されたdistribution OpenTelemetry
Collector ("otelcol") OpenTelemetry Collector Contrib ("otelcol-contrib") OpenTelemetry Collector for Kubernetes ("otelcol-k8s") OpenTelemetry Collector OTLP ("otelcol-otlp") OpenTelemetry Collector eBPF Profiler ("otelcol-ebpf-profiler") 全部入り = contrib -
OpenTelemetry Collector をどう用意するか 公式の distribution を使うのが簡単だが… 提供されているものでは欲しい機能が足りないことがある 全部入りの contrib は大きい(バイナリが300MB以上)
不要なコンポーネントによるセキュリティリスクなども → 必要なコンポーネントだけを組み合わせてビルドするのが推奨 https://opentelemetry.io/docs/collector/custom-collector/ -
OpenTelemetry Collector を自分でビルドする 公式に用意された ocb (OpenTelemetry Collector Builder) を使えば簡単 https://github.com/open-telemetry/opentelemetry-collector/tree/main/cmd/builder
dist: name: otelcol-custom description: Local OpenTelemetry Collector binary output_path: /tmp/dist exporters: - gomod: github.com/open-telemetry/opentelemetry-collector-contrib/exporter/alibabacloudlogserviceexporter v0.109.0 - gomod: go.opentelemetry.io/collector/exporter/debugexporter v0.109.0 receivers: - gomod: go.opentelemetry.io/collector/receiver/otlpreceiver v0.109.0 processors: - gomod: go.opentelemetry.io/collector/processor/batchprocessor v0.109.0 providers: - gomod: go.opentelemetry.io/collector/confmap/provider/envprovider v1.15.0 - gomod: go.opentelemetry.io/collector/confmap/provider/fileprovider v1.15.0 - gomod: go.opentelemetry.io/collector/confmap/provider/httpprovider v0.109.0 - gomod: go.opentelemetry.io/collector/confmap/provider/httpsprovider v0.109.0 - gomod: go.opentelemetry.io/collector/confmap/provider/yamlprovider v0.109.0 -
sacloud-otel-collector さくらのクラウド向けに OpenTelemetry Collector を用意しました(OSS) https://github.com/sacloud/sacloud-otel-collector 用意した理由 さくらのクラウド内部、外部ともに OpenTelemetry エコシステムを採用
モニタリングスイート(β)を提供している 利用者が独自のログやメトリクスを送信する 他のマネージドサービス(AppRun, Database Appliance...)からメトリクスやロ グを送信する VMのメトリクス(CPU, メモリ, ディスク, ネットワークなど) を送信する 公式ビルドを用意して手軽に使ってもらいたい -
sacloud-otel-collector の今後 現在は一般的に利用できるコンポーネントを組み合わせてビルドしたものを提供中 リリースバイナリ (linux/amd64,arm64) Dockerイメージ (linux/amd64,arm64) ghcr.io/sacloud/sacloud-otel-collector 今後は さくらのクラウドのマネージドサービス用の
receiver, exporter VM 上で起動した場合にモニタリングスイートの認証情報を自動設定 など、さくらのクラウド向けに特化した機能を追加していきたい -
まとめ IaaS基盤のモニタリングを Mackerel + OpenTelemetry で再整備中 OpenTelemetry Collector を使って Mackerel
にメトリクスを送信 sacloud-otel-collector を OSS として公開しました 今後はさくらのクラウド向けに特化した機能を追加していく予定