otelcol receiver 自作RTA / Pepabo Tech Conference #22 春のSREまつり

https://pepabo.connpass.com/event/314411/

その場でOpenTelemetry CollectorのReceiverをライブコーディングして自作し、ビルドして動作確認するところまでをやります。OpenTelemetry Collectorのエコシステムの登場人物や開発の流れがゆるふわに伝われば幸いです。

Transcript

1. otelcol receiver 自作RTA id:arthur-1 株式会社はてな 2024-05-09 Pepabo Tech Conference #22 春のSREまつり LT 1
2. Arthurと申します 株式会社はてな アプリケーションエンジニア ポケカの練習仲間が欲しい 𝕏: @Arthur1__ 2
3. Mackerel作ってます 3 OTel対応もやってます
4. 時間がないので早速 4
5. レギュレーション • OpenTelemetry CollectorのReceiver（Scraper）を作る ◦ Scraper: 一定間隔でデータを取りに行く • sample.ultimate_answerという名前で、常に42という値を持つ メトリックを作る ◦ configで渡したsample.answererを属性として持つ • 任意のexporterでメトリックが確認できたらタイマーストップ • LTの時間だと少々無理があるのでつくりおきOK ◦ RTAというより3分クッキング 5
6. チャート • metadata.ymlを記述 • mdatagenでコード生成 • configを実装 • scraperを実装 • factoryを実装 • debug exporterと組み合わせてbuildして動作確認 6
7. 以降の資料は投影しません Xの #pepabotech で 投稿したものをご参照ください 7
8. ディレクトリの準備 8 Componentごと階層を切る習慣がある sampleという名前の自作Receiverを作るなら receiver/samplereceiver という感じ $ mkdir receiver/samplereceiver $ go mod init samplereceiver
9. mdatagenのインストール mdatagen: メタデータを記述したYAMLからCollectorに関する コード生成をしてくれるCLIツール v0.100.0現在、通常のgo install・go runが失敗する（#9281） ため、ソースコードを手元に用意してinstallしよう 9 $ git clone git@github.com:open-telemetry/opentelemetry-collector.git $ cd opentelemetry-collector/cmd/mdatagen $ go install . $ mdatagen -h
10. metadata.yaml 10 type: sample status: class: receiver stability: development: [metrics] codeowners: active: [Arthur1] attributes: sample.answerer.name: type: string description: Answerer name metrics: sample.ultimate_answer: enabled: true description: Ultimate Answer unit: 1 gauge: value_type: double attributes: [sample.answerer.name] レギュレーションに書かれていた 内容を大体ここで定義している
11. metadata.yamlのスキーマ 11 （少なくとも私の環境では）GCP Blueprint Metadataファイル だと誤検知されて、エラーが出まくって困る
12. metadata.yamlのスキーマ 12 otelcolのリポジトリでオレオレフォーマットのスキーマは公開されている が、これではエディタの支援を受けられなくて困る そこで、自家製JSON Schemaをつくりおきしておきました https://github.com/Arthur1/otelcol-metadata-schema
13. コード生成 13 generate.goを作成してコマンドを記述 go generate ./… でコード生成 直接mdatagenを叩くと生成コードのpackage名が定まらないから かエラーになる package samplereceiver //go:generate mdatagen metadata.yaml
14. 生成結果 14 テストコード内でNewFactoryがないよと怒られる → これを自分で実装しないといけない
15. NewFactoryには何が必要か 15 こういう依存関係なので、まずConfigから作ろう NewFactory create MetricsReceiver Config Scraper
16. Configの実装 16 要はotelcolのconfigファイルに何を書かせてどう読むかという定義 structを定義して、Default Configを生成する関数を作る type config struct { scraperhelper.ControllerConfig `mapstructure:",squash"` metadata.MetricsBuilderConfig `mapstructure:",squash"` AnswererName string `mapstructure:"answerer_name"` } func defaultConfig() component.Config { cc := scraperhelper.NewDefaultControllerConfig() mbc := metadata.DefaultMetricsBuilderConfig() return &config{ ControllerConfig: cc, MetricsBuilderConfig: mbc, AnswererName: "", } }
17. Scraperの実装 17 type sampleScraper struct { cfg *config mb *metadata.MetricsBuilder } func newScraper(cfg *config, settings receiver.CreateSettings) *sampleScraper { return &sampleScraper{ cfg: cfg, mb: metadata.NewMetricsBuilder(cfg.MetricsBuilderConfig, settings), } } func (s *sampleScraper) scrape(ctx context.Context) (pmetric.Metrics, error) { ts := pcommon.NewTimestampFromTime(time.Now()) s.mb.RecordSampleUltimateAnswerDataPoint(ts, float64(42), s.cfg.AnswererName) return s.mb.Emit(), nil } metadata.yamlから生成したコードに 特定のメトリックを作る関数が含まれている
18. createMetricsReceiverの実装 18 receiver.CreateMetricsFuncという型を満たす関数を作る 先ほど作ったScraperをwrapするイメージ func createMetricsReceiver( _ context.Context, settings receiver.CreateSettings, cfg component.Config, consumer consumer.Metrics, ) (receiver.Metrics, error) { c, ok := cfg.(*config) if !ok { return nil, fmt.Errorf("error") } s := newScraper(c, settings) scraper, err := scraperhelper.NewScraper(metadata.Type.String(), s.scrape) if err != nil { return nil, err } return scraperhelper.NewScraperControllerReceiver( &c.ControllerConfig, settings, consumer, scraperhelper.AddScraper(scraper), ) }
19. NewFactoryの実装 19 ようやく当初の目的のNewFactoryにたどり着いた func NewFactory() receiver.Factory { return receiver.NewFactory( metadata.Type, defaultConfig, receiver.WithMetrics( createMetricsReceiver, metadata.MetricsStability, ), ) } ここまでできたら、生成されたテストコードを動かして 通ることを確認しよう ✅
20. ocbのインストール 20 Receiverの実装はこれにて完結 次はOTel Collectorに作ったReceiverを混ぜてビルドしていく ocb (builder): OTel CollectorをビルドするためのCLIツール YAMLを書いてコード&バイナリ生成 $ go install go.opentelemetry.io/collector/cmd/builder@latest $ builder version # コマンドの名前がデカすぎて固定資産税かかりそうだな！ ocb version v0.100.0
21. ocbのYAMLを書く 21 dist: module: my-opentelemetry-collector output_path: ./ version: 0.0.0 receivers: - gomod: samplereceiver v0.0.0 exporters: - gomod: go.opentelemetry.io/collector/exporter/debugexporter v0.100.0 replaces: - samplereceiver => ./receiver/samplereceiver receiverに先ほど作ったpackageを、exporterにdebugexporterを指定 ローカルのコードを参照するのでreplaces（go.modのreplaceディレク ティブに相当）を忘れずに
22. ビルド go.modやmain.goなどがコード生成され、 最終的にotelcol-customというバイナリができる 22 $ # Receiverのコーディングはもう終わってるのでプロジェクトのルートに戻る $ test -d receiver/samplereceiver $ builder --config ./builder-config.yaml 2024-05-07T09:56:29.124+0900 INFO internal/command.go:125 OpenTelemetry Collector Builder {"version": "", "date": "unknown"} … $ test -f ./otelcol-custom
23. 実行 ここまで来たらもう少し （残りは利用者目線） otelcolのconfigを書いて 実行しよう 23 receivers: sample: answerer_name: arthur-1 collection_interval: 30s exporters: debug: verbosity: detailed service: pipelines: metrics: receivers: [sample] exporters: [debug] $ ./otelcol-custom --config otelcol-config.yaml
24. 実行結果 24 debugexporterは、メトリックの中身をログに出力してくれる
25. ここでタイマーストップ 25
26. 完走した感想を話す 26
27. これまで作った自作receiver https://github.com/Arthur1/opentelemetry-collector- arthur1 リポジトリで公開中 • runnreceiver ◦ runnで実行したシナリオテストの結果をメトリック として送る • cloudflaremetricsreceiver ◦ Cloudflareの分析メトリック（ゾーンへのHTTPリク エスト数とか）を収集する 27
28. THE END 28 最後までご清聴いただき ありがとうございました