OpenTelemetryのこれまでとこれから / OpenTelemetry: past and future

Observability Conference 2022 で発表した資料です
https://cloudnativedays.jp/o11y2022

Transcript

1. Confidential & Proprietary OpenTelemetryのこれまでとこれから Observability Conference 2022 by CloudNative Tokyo Track B 16:05-16:45 March 11th, 2022 山口能迪 (@ymotongpoo) bit.ly/20220311-o11yconf-otel
2. 山口 能迪（やまぐちよしふみ） Developer Advocate @ Google Cloud • オブザーバビリティ ◦ Cloud Operations, OpenTelemetry • SRE • Go 自己紹介 @ymotongpoo @ymotongpoo
3. 本日お話すること • OpenTelemetryとは • OpenTelemetry以前 ◦ 分散トレース ◦ メトリクス • OpenTelemetry発足後と現状 • OpenTelemetry仕様概要 • OpenTelemetryエコシステム • OpenTelemetryの今後
4. OpenTelemetryとは
5. テレメトリーをどのように取得するか システム (関数, サービス) 入力 出力 （ログ、処理時間、メモリ使用量、 CPU使用率...） 実装しなければ得られない テレメトリー
6. インスツルメンテーション（計装）が必要 システム (関数, サービス) 入力 出力 テレメトリー インスツルメンテーション（計装） （ログ、処理時間、メモリ使用量、 CPU使用率...）
7. テレメトリーの送信も重要 システム (関数, サービス) 入力 出力 テレメトリー エクスポート ダッシュボード
8. テレメトリーの関心事 2つの大きなテーマ • インスツルメンテーション • エクスポート 3つのテレメトリー • ログ • メトリクス • 分散トレース
9. これまで起こっていたこと 2つの大きなテーマ • インスツルメンテーション • エクスポート 3つのテレメトリー • ログ • メトリクス • 分散トレース これらの仕様は？実装方法は？各々の互換性は？
11. OpenTelemetryの問題領域 github.com/open-telemetry/community/blob/main/mission-vision-values.md opentelemetry.io/docs/concepts/what-is-opentelemetry
12. OpenTelemetryとは ログ、トレース、メトリクス の計装と送信の標準仕様 およびライブラリー群とエージェント を提供するプロジェクト
13. OpenTelemetryとは ログ、トレース、メトリクス の計装と送信の標準仕様 およびライブラリー群とエージェント を提供するプロジェクト オブザーバビリティの主要3テレメトリーをカバー
14. OpenTelemetryとは ログ、トレース、メトリクス の計装と送信の標準仕様 およびライブラリー群とエージェント を提供するプロジェクト ベンダー非依存なデータモデルと処理方式が定 義されている
15. OpenTelemetryとは ログ、トレース、メトリクス の計装と送信の標準仕様 およびライブラリー群とエージェント を提供するプロジェクト 仕様に基づいて各言語向けライブラリが実装されているので複数 言語において同様の計装となる。 エージェントも設定ファイルで制御フロー変更可能。
16. OpenTelemetry以前（分散トレース）
17. 分散トレースの需要
18. Dapper (2010) Google社内で使われている分散トレース基盤 research.google/pubs/pub36356/ • "Trace" • "Span" • "Context" • "Sampling"
19. OSS分散トレースバックエンド OpenZipkin (2012) Jaeger (2017)
20. OSS計装ライブラリ OpenTracing (2015年末) OpenCensus (2018)
21. トレースヘッダーの標準化 W3C Trace Context の策定が開始 (2018) www.w3.org/TR/trace-context-1/
22. OpenTracingとOpenCensusのマージの発表 まだOpenTelemetryという名前は存在せず (2019年3月) medium.com/opentracing/merging-opentracing-and-opencensus-f0fe9c7ca6f0
23. OpenTelemetryがCNCF sandboxプロジェクトに 正式名称決定と同時にCNCFへの加入 (2019年5月) www.cncf.io/blog/2019/05/21/a-brief-history-of-opentelemetry-so-far/
24. OpenTelemetry以前（メトリクス）
25. パブリッククラウド以前 www.zabbix.com/release_notes munin-monitoring.org システムメトリクス監視が主流 • 2001年: Cacti • 2002年: Zabbix、Nagios • 2004年: Munin • 2005年: collectd • 2008年: Graphite • 2011年: sensu • 2012年: statsd • モニタリングSaaSベンダー企業が続々と設立
26. 大規模監視システムの需要 research.google/pubs/pub49065/
27. Borgmon Google社内のモニタリングシステム sre.google/sre-book/practical-alerting/
28. Prometheus (2012) prometheus.io/docs/introduction/overview/
29. OpenMetrics (2017) prometheus.io/docs/introduction/overview/
30. OpenTelemetry発足後と現状
31. OpenTelemetry発足後からの流れ • 2019年5月: OpenTracingとOpenCensusの統合開始（トレース） • 2020年4月: ログの仕様が承認される • 2021年1月: StanzaがOpenTelemetryに寄贈される • 2021年2月: トレースの仕様が安定版に • 2021年8月: CNCF Incubating Projectに • 2022年3月: メトリクスの仕様はfeature freezeで、リリースまでタスク はあと4つ github.com/open-telemetry/opentelemetry-specification/milestone/15 www.cncf.io/blog/2021/08/26/opentelemetry-becomes-a-cncf-incubating-project/ github.com/open-telemetry/oteps/pull/92 github.com/open-telemetry/community/issues/605
32. OpenTelemetry開発の流れ 1. OTEPで仕様の提案をする 2. 4人のレビューワーがapproveすると承認される 3. 承認されると仕様に統合される 4. 統合された仕様を元に各レポジトリで実装が行われる github.com/open-telemetry/oteps
33. OpenTelemetryプロジェクトのステータス (spec) Trace Metrics Logs API stable feature-freeze stable draft SDK stable feature-freeze draft OTLP stable stable beta 2022年3月4日現在 opentelemetry.io/status/
34. OpenTelemetryプロジェクトのステータス (lang) 2022年3月7日現在 Java Go Python JS C# Ruby PHP Erlang Elixir Rust C/C++ Trace stable stable stable stable stable stable alpha stable beta stable Metrics beta alpha beta beta beta beta alpha beta beta beta Log alpha frozen alpha planned alpha n/a n/a alpha n/a alpha ※ MetricsとLogsはそもそも仕様が安定版になっていない
35. OpenTelemetry仕様概要
36. Collectorは？ Collector全体の仕様はない 設計書はある 詳細はこちらのセッションで github.com/open-telemetry/opentelemetry-collector/tree/main/docs
37. OpenTelemetry Traceの概要 github.com/open-telemetry/oteps TracerProvider • Sampler • Resource • SpanProcessor • IdGenerator • SpanLimits etc… Tracer SpanExporter Span • SpanContext • Attributes • Event • SpanKind • Link • Status etc. Span • SpanContext • Attributes • Event • SpanKind • Link • Status etc. Span • SpanContext • Attributes • Event • SpanKind • Link • Status etc. 利用手順 1. Exporter作成 2. TracerProvider作成 3. Tracer取得 4. Span作成 TextMapPropagator
38. root child A child B child C child D service Y service X service Z context context Backend Tracer Span SpanExporter Propagator
39. OpenTelemetry Metricsの概要 opentelemetry.io/docs/reference/specification/metrics/ MeterProvider Meter • name 利用手順 1. Exporter作成 2. MeterProvider作成 3. Meter作成 4. Instrument作成 5. Measurement記録 Instrument • name • kind • unit • description Measurement • Value • Attribute Measurement • Value • Attribute Measurement • Value • Attribute Measurement • Value • Attribute Meter • name Instrument • name • kind • unit • description Instrument • name • kind • unit • description Exporter
40. awesome.app request.count (Counter) db.num_conn (Guage) time time 1 2 3 1 4 2 Meter Instrument Measurement Event 1
41. 結構実装する部分がある Trace 1. Exporter作成 2. TracerProvider作成 3. Tracer取得 4. Span作成 Metrics 1. Exporter作成 2. MeterProvider作成 3. Meter作成 4. Instrument作成 5. Measurement記録
42. OpenTelemetryエコシステム
43. 自動インスツルメンターの需要 Trace 1. Exporter作成 2. TracerProvider作成 3. Tracer取得 4. Span作成 Metrics 1. Exporter作成 2. MeterProvider作成 3. Meter作成 4. Instrument作成 5. Measurement記録 各製品の典型パターンに対して各計装を自動で差し込む 例: APIエンドポイントにおける SpanとCounter
44. 自動インスツルメンターの充実 多くの製品がauto instrumentation対応を進めている • ミドルウェア • データベース • フレームワーク... 少ない変更で計装が完了することも opentelemetry.io/registry/
45. Exporterの実装 Trace 1. Exporter作成 2. TracerProvider作成 3. Tracer取得 4. Span作成 Metrics 1. Exporter作成 2. MeterProvider作成 3. Meter作成 4. Instrument作成 5. Measurement記録 Exporterは直接ExporterとCollector経由がある
46. Exporterの実装 • Jaeger, Prometheus, OTLPは必ずコアで参照実装される • その他各個別製品向けのものは contrib レポジトリか各ベンダーのレ ポジトリで公開 • Collector経由にするとGo版だけ実装すれば良いので、そちらを推奨し ている App Backend App Collector Backend OTLP 全言語対応は大変 Go版だけ対応すればよい
47. OpenTelemetryの今後
48. 今後のマイルストーン（〜 1年） • メトリクスの仕様の決定 • メトリクスの主要言語でのAPIとSDKの実装完了 • ログの仕様決定 github.com/open-telemetry/oteps
49. OpenTelemetry Logsの概要 github.com/open-telemetry/opentelemetry-specification/blob/main/specification/logs/overview.md Log Record • Timestamp • ObservedTimestamp • TraceId • SpanId • TraceFlags • SeverityText • SeverityNumber • Body • Resource • InstrumentationScope • Attributes via OTLP
50. OpenTelemetry Day on Google OpenSource Live opensourcelive.withgoogle.com/events/opentelemetry-day-2022 4月8日開催！ 登録お願いします！
51. オブザーバビリティ ≠三本柱
52. opentelemetry.io opensource.google