クラウドへのOpenTelemetry導入のハマりどころ

2024年2月のOpenTelemetry Meetup LT1人目で話した内容です。
https://opentelemetry.connpass.com/event/306904/
以下のブログ記事が元となっています。
https://dev.henry.jp/entry/cloud-native-opentelemetry

Transcript

1. Copyrights(c) Henry, Inc. All rights reserved. クラウドへの OpenTelemetry導入の ハマりどころ
2. Copyrights(c) Henry, Inc. All rights reserved. 自己紹介 @sumiren_t （発音：すみれん） • プロダクトエンジニア @ 株式会社ヘンリー • 技術顧問 / SWE / SRE @ フリーランス副業 数社様 1
3. Copyrights(c) Henry, Inc. All rights reserved. 会社名 株式会社ヘンリー 事業概要 電子カルテ／レセプト会計システム “Henry” を開発・販売及び、 コンサルティング事業 所在地 東京都品川区東五反田２丁目９ −５ サウスウィング東五反田 3F 創業 2018年5月 代表者 逆瀬川 光人、林 太郎 社員数 50名（正社員）+業務委託 認証取得 ISMS 国際規格「ISO 27001」 医療ISAC規定認証 Mission 社会課題を解決し続け、より良いセカイを創る Service 電子カルテ / レセプト会計システム「Henry」 株式会社ヘンリー ｜社会課題の解決を目的に設立 2
4. Copyrights(c) Henry, Inc. All rights reserved. 3 • 〜2023/08：ログとメトリクスのみ活用 • 2023/09〜：OpenTelemetry導入 • 2023/12〜：Datadog導入 Henryのオブザーバビリティ推移
5. Copyrights(c) Henry, Inc. All rights reserved. アジェンダ 1. クラウドによるOpenTelemetryへの干渉に注意する 2. クラウドにあわせてOpenTelemetryで取り扱うシグナルを決める 4 https://dev.henry.jp/entry/cloud-native-opentelemetry
6. Copyrights(c) Henry, Inc. All rights reserved. アジェンダ 1. クラウドによるOpenTelemetryへの干渉に注意する 2. クラウドにあわせてOpenTelemetryで取り扱うシグナルを決める 5 https://dev.henry.jp/entry/cloud-native-opentelemetry
7. Copyrights(c) Henry, Inc. All rights reserved. Google Cloud上で動かしているHenryとオブザーバビリティの構成。クラウド上だ とスパンが途切れてしまう課題があり、調査が難航した 6
8. Copyrights(c) Henry, Inc. All rights reserved. Cloud RunがContext Propagationに干渉して、独自にSpanを差し込んでCloud Traceに流していた。この機能の挙動に問題があり、トレースのツリー構造が壊れ てしまっていた 7
9. Copyrights(c) Henry, Inc. All rights reserved. 8 • アプリ間に挟まっているクラウドの振る舞いを意識する ◦ 標準化されたHTTPヘッダを見たり書き換えたりしがち • 早めにクラウドにデプロイして動かす ◦ クライアント側だからといって安心してはいけない 学び
10. Copyrights(c) Henry, Inc. All rights reserved. アジェンダ 1. クラウドによるOpenTelemetryへの干渉に注意する 2. クラウドにあわせてOpenTelemetryで取り扱うシグナルを決める https://dev.henry.jp/entry/cloud-native-opentelemetry 9
11. Copyrights(c) Henry, Inc. All rights reserved. OpenTelemetry導入前のオブザーバビリティアーキテクチャと、当初想定していた 導入後のアーキテクチャ 10
12. Copyrights(c) Henry, Inc. All rights reserved. 当初想定していたアーキテクチャではログに課題 1. Cloud Logging目線、Cloud Runとログの紐づけが取れ なくなり、管理画面の機能が劣化 a. アプリ側（エージェント等含む）でログにメタデータ付 与すればおそらく治る 2. OpenTelemetry Collectorのメモリも逼迫 11
13. Copyrights(c) Henry, Inc. All rights reserved. 課題を踏まえ、ログはCloud Run / Cloud Logging間のマネージドな振る舞いを 活用するアーキテクチャに変更した 12
14. Copyrights(c) Henry, Inc. All rights reserved. 13 • 全てのシグナルをOpenTelemetryに乗せればいいわけではない • クラウドの機能とOpenTelemetryの両方を活かす 学び
15. Copyrights(c) Henry, Inc. All rights reserved. 14 クラウドドリブンで OpenTelemetryを考えていきましょう まとめ
16. Copyrights(c) Henry, Inc. All rights reserved. Thank you We are hiring!! https://henry.jp/ https://dev.henry.jp/ 技術ブログやってます