Google Cloud における Managed OTel Collector へのディープダイブ / deepdive-google-cloud-managed-otel-collector

Jagu'e'r x Kubernetes Novice のコラボイベントにおける登壇スライドです。
https://jaguer-o11y-sre.connpass.com/event/383793/

Transcript

1. Google Cloud における Managed OTel Collector へのディープダイブ (仮) 逆井(さかさい) @ k6s4i53rx #o11y_jaguer #k8snovice
2. 出るしかない！ ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 2024/12/10 @ k8snovice 2025/10/03 @ Jagu'e'r O11y
3. ということで ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 最近出た、GKE にデプロイできる Google Cloud Managed な OTel Collector にディープダイブ(仮)
4. ということで ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 最近出た、 GKE にデプロイできる Google Cloud Managed な OTel Collector にディープダイブ (仮) k8snovice Jagu'e'r O11y
5. 浅瀬でした ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー ディープダイブ (仮)
6. この浅瀬ッションで話したいコト ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 「K8sオブザーバビリティの第一歩」を踏み出すために、 • OTel Collector はなんなのか • なぜ、Managed な OTel Collector が必要なのか ◦ そもそも何が Managed なのか • Google Cloud OTel Collector の実態（マニアック） • 若干発展的な内容と考察
7. 自己紹介 ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 逆 井 啓 佑 さかさい Bio • Datadog Japan で働いています • 幾つかのコミュニティに所属してます ◦ OpenTelemetry Meetup ◦ Google Developer Experts ◦ Observability Conference ◦ #〆のラーメンまである倶楽部 という謎の団体メンバー ひとこと • 明日の朝から福岡に行きます。今日は 〆 のラーメンはしません
8. OpenTelemetry ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー OpenTelemetry とは • Cloud Native Computing Foundation(CNCF) の Incubating プロジェクト ◦ cncf/toc には Graduation に向けた Issue が既に立っている #1271 • テレメトリー（Primary Signals）のデータモデルや送信プロトコルの標準仕様（OTLP）策定 • 様々な言語向けに計装ライブラリの提供 ◦ Go、Java、Python、C++、JavaScript、... https://opentelemetry.io/docs/instrumentation/ ◦ 言語によっては（コードに手を加えないで計装できる）ゼロコード計装ツールも提供 • OpenTelemetry Collector の仕様策定、開発 Ref: https://opentelemetry.io/
9. OpenTelemetry ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー OpenTelemetry とは • Cloud Native Computing Foundation(CNCF) の Incubating プロジェクト ◦ cncf/toc には Graduation に向けた Issue が既に立っている #1271 • テレメトリー（Primary Signals）のデータモデルや送信プロトコルの標準仕様（OTLP）策定 • 様々な言語向けに計装ライブラリの提供 ◦ Go、Java、Python、C++、JavaScript、... https://opentelemetry.io/docs/instrumentation/ ◦ 言語によっては（コードに手を加えないで計装できる）ゼロコード計装ツールも提供 • OpenTelemetry Collector の仕様策定、開発 Ref: https://opentelemetry.io/ Novice とはいえさすがに履修済みとします 🔰 （ Jagu'e'r O11y 人格として ）
10. OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー https://opentelemetry.io/docs/collector/ テレメトリーの受信・送信・処理を行うエージェント • レシーバー、プロセッサー、エクスポーター、コネクターなどのコンポーネントで構成されている
11. OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー https://opentelemetry.io/docs/collector/ レシーバー ・テレメトリーを受信するコンポーネント ・e.g. OTLP Receiver、Kafka Receiver、... テレメトリーの受信・送信・処理を行うエージェント • レシーバー、プロセッサー、エクスポーター、コネクターなどのコンポーネントで構成されている
12. OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー https://opentelemetry.io/docs/collector/ レシーバー ・テレメトリーを受信するコンポーネント ・e.g. OTLP Receiver、Kafka Receiver、... テレメトリーの受信・送信・処理を行うエージェント • レシーバー、プロセッサー、エクスポーター、コネクターなどのコンポーネントで構成されている プロセッサー ・テレメトリーを処理するコンポーネント ・e.g. Batch Processor、Attribute Processor、...
13. OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー https://opentelemetry.io/docs/collector/ レシーバー ・テレメトリーを受信するコンポーネント ・e.g. OTLP Receiver、Kafka Receiver、... エクスポーター ・テレメトリーを送信するコンポーネント ・e.g. OTLP Exporter、Debug Exporter、... テレメトリーの受信・送信・処理を行うエージェント • レシーバー、プロセッサー、エクスポーター、コネクターなどのコンポーネントで構成されている プロセッサー ・テレメトリーを処理するコンポーネント ・e.g. Batch Processor、Attribute Processor、...
14. OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー https://opentelemetry.io/docs/collector/ レシーバー ・テレメトリーを受信するコンポーネント ・e.g. OTLP Receiver、Kafka Receiver、... エクスポーター ・テレメトリーを送信するコンポーネント ・e.g. OTLP Exporter、Debug Exporter、... テレメトリーの受信・送信・処理を行うエージェント • レシーバー、プロセッサー、エクスポーター、コネクターなどのコンポーネントで構成されている プロセッサー ・テレメトリーを処理するコンポーネント ・e.g. Batch Processor、Attribute Processor、... コネクター ・異なるテレメトリーパイプラインを繋ぐ ・e.g. Count Connector、Span Metrics Connector、...
15. OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー テレメトリーの受信・送信・処理を行うエージェント • レシーバー、プロセッサー、エクスポーター、コネクターなどのコンポーネントで構成されている 著：@IT 「OpenTelemetry」とは――「Observability」（可観測性：オブザーバビリティ）とテレメトリーの基礎知識 より Processor Exporter Receiver Collector モニタリング サービス B C A テレメトリー ラベリング サンプリング etc… by Attribute Processor event_name: "novice x Jaguar" OTLP by Tail Sampling Processor 600 ms > のみサンプリング
16. OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー receivers: otlp: protocols: grpc: endpoint: 0.0.0.0:4317 http: endpoint: 0.0.0.0:4318 processors: batch: exporters: otlp: endpoint: o11y-backend:4317 service: pipelines: traces: receivers: [otlp] processors: [batch] exporters: [otlp] metrics: ... logs: ... config.yaml 設定（config） を与え、OTel Collector を起動 Batch Processor OTLP Exporter OTLP Receiver Collector Trace Pipeline ./otelcol --config=config.yaml OTel Collector のバイナリ。 ここに含まれていないコンポーネントを config で指定した場合はエラーが発生
17. なるほど、OTel Collector は いろんなコンポーネントで構成されているのか
18. OpenTelemetry Collector は 公式にいくつかのディストリビューションが配布 されている ・ コアディストリビューション （core） 　　　　　　　.......................... OTel Collector のコアとなるコンポーネント を含む distro ・ コントリビューションディストリビューション （contrib） 　　　　　　　.......................... ベンダーコンポーネントなど、全てのコンポーネント を含む distro ・ Kubernetes ディストリビューション （otelcol-k8s） 　　　　　　　.......................... Kubernetes 環境に特化したコンポーネント を含む distro ・ OTLP ディストリビューション （otelcol-otlp） 　　　　　　　.......................... OTLP コンポーネントのみ を含む最小構成の distro OTel Collector にはディストリビューションがある ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー
19. 全部入り contrib を使えばええんちゃう？ ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 商用利用では カスタム OTel Collector が推奨 • contrib の商用利用はイメージサイズやアタックサーフェースの観点で非推奨 • contrib のみに含まれるコンポーネントを使いたい場合はカスタムビルドが必要 • OTel では ocb（OpenTelemetry Collector Builder）というビルドツールを使用
21. というコトで、、、 ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 各ツールに適切なコンポーネントが プリセットで入ったコレクターが配布されているパターンが多いです 。 • ADOT ( AWS Distribution OTel Collector ) • DDOT ( Datadog Distribution OTel Collector ) • Grafana Alloy • Google Cloud Managed OTel Collector (プレビュー) <- NEW!! などなど、他にもたくさん
22. Google Cloud の Managed OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 構成してる中身のコンポーネントを見てみましょう！ ※ ここからは明日から使えないマニアックな内容も含まれます。
23. Google Cloud の Managed OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー https://github.com/GoogleCloudPlatform/otlp-k8s-ingest/blob/main/config/collector.yaml
24. Google Cloud の Managed OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー Exporter （送信部品） googlecloud Cloud Logging へのログ送信 googlemanagedprometheus GMP へのメトリクス送信 otlphttp Cloud Trace へのトレース送信 Processor （処理, 加工部品) resourcedetection Google Cloud ホストメタデータの付与 transform/collision メタデータの名前を（いい感じに）変更 transform/aco-gke GKE のメタデータの付与 resource/gcp_project_id Google Cloud Project ID メタデータの付与 Extentions (拡張機能) googleclientauth データ送信時の認証機能（要するに ADC ） Google Cloud 由来の部品のみ列挙
25. Google Cloud の Managed OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 中身を読み解くと、なんてコトない、GKE で使いやすく設定された OTel Collector • GKE で使いたくなるコンポーネントはデフォルトで設定されていてヨシ • OTel で推奨されているコンポーネント もデフォルトで設定されている ◦ batch processor, healthcheck extensions など • テレメトリーデータのメタデータに対するエンリッチが豊富に含まれる ◦ Google Cloud 上で解析性を向上させるため
26. Google Cloud の Managed OTel Collector ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー 中身を読み解くと、なんてコトない、GKE で使いやすく設定された OTel Collector • GKE で使いたくなるコンポーネントはデフォルトで設定されていてヨシ • OTel で推奨されているコンポーネント もデフォルトで設定されている ◦ batch processor, healthcheck extension など • テレメトリーデータのメタデータに対するエンリッチが豊富に含まれる ◦ Google Cloud 上で解析性を向上させるため トレースサンプリングは？自分で設定書いてやる必要がある？ （AI アプリ時代、テレメトリーデータも爆増します。データサンプリングは重要です。それとも金で殴りますか？ ）
27. FYI: Google Cloud のテレメトリーシグナルサンプリング ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー https://www.googlecloudevents.com/next-vegas/session/3913094/unified-management-plane-for-otel-server-side-data-control-and-processing
28. まとめ ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー • Google Cloud Managed OTel Collector についての浅瀬で、 「オブザーバビリティの第一歩」 を踏み出しました • 今回は「テレメトリーデータの収集」 にフォーカスをしました • この後の発表は「テレメトリーデータの活用」 についての話があるので楽しみです
29. 宣伝: 逆井も「テレメトリデータの活用」にフォーカスしたセッションがあります ー 2026-06-30 【K8s Noviceコラボ】 Jagu'e'r O11y分科会 K8s/GKE O11yの第一歩 ー Developer Stage @ Cloud Next’26 in 󰏦
30. 記載されている会社名、商品名、 またはサービス名は、各社の商標登録または商標です。