結局オブザーバビリティってなんやねん / So, what the heck is observability anyway?

2025/04/26
【IT系・LT会＆交流会】ココカラ勉強会 @大阪
https://kokokara.connpass.com/event/351672/

結局オブザーバビリティってなんやねん

古屋 啓介
ソフトウェアエンジニア

Transcript

1. 結局オブザーバビリティってなんやねん ココカラ勉強会 LT&グループトーク
2. 自己紹介 - 名前: 古屋 啓介 - 所属: 株式会社カミナシ - ロール: Embedded SWE - その他: - AWS Community Builders (since 2023) - JAWS-UG SRE支部運営 - ドラム叩きます - ジーコさんとこの前一緒にライブしました
3. 会社 & プロダクト紹介 日常はITに溢れているのに、仕事場は紙ばかりで非効率。 今日も作業現場で働く人たちは、十分に才覚を発揮できていない。 そんな3,900万人の埋もれたエネルギーを、私たちが解き放つ。 誰もが享受するべき当たり前を、すべての現場の人たちに届けたい。 効率的な作業、見事な成果、腕のなる仕事、豊かな人生。 これらはきっとつながっているから。 ノンデスクワーカーの 才能を解き放つ Mission
4. for 品質管理 (20年〜) for 現場総務 (24年8月〜) ID for ID管理・認証 (23年〜) 共通ポータルから 各サービスにアクセス 4 for 教育・研修管理　　 (25年2月〜)　 for 設備保全　　　 (25年2月〜）　　　 サービスラインナップ
5. 挙手おねがいします（1/2） アプリケーション・サービス作ってますか？
6. 挙手おねがいします（2/2） 監視、してますか？
7. - Dickersonの信頼性の階層構造でも最初にくる、監視 - SRE文脈ですが、運用においてダイジな順 監視、ダイジですよね モニタリング/オブザーバビリティ インシデントレスポンス インシデント後のレビュー テスト/リリース キャパシティ/スケール 開発 UX
8. 監視してればOK？ - こんなとき、どうしますか？ - あるお客様から「最近エラー多いよね」みたいなことを言われた - 全体としてエラーが増えている様子はない（アラートも鳴っていない） - 他のお客様は特に問題なく使えていそう
9. 監視してればOK？ - こんなとき、どうしますか？ - あるお客様から「最近エラー多いよね」みたいなことを言われた - 全体としてエラーが増えている様子はない（アラートも鳴っていない） - 他のお客様は特に問題なく使えていそう その探索を助けるのが 「オブザーバビリティ」らしい
10. オブザーバビリティとは - 最近よく聞くけど、なんなん？ - 新しいコードをデプロイする必要がなく、どんな斬新な状態でも理解できる - オブザーバビリティツールでは、チーム内の最高のデバッガーは、通常、 もっとも好奇心の強いエンジニアです。
11. よく言われる（？）オブザーバビリティ - 3本柱だ！ - ログ - トレース - メトリクス - でも、これがあればほんとに「オブザーバビリティ」があるの？ - 新しいコードをデプロイする必要がなく、どんな斬新な状態でも理解できる
12. 本をもうちょっと読んでみると - オブザーバビリティ・エンジニアリングにおける「3本柱」 - オブザーバビリティは「3本柱」のテレメトリーデータがある場合に達成さ れると誤解されることが多いのですが、私達はそのようなモデルの支持者で はありません。もしオブザーバビリティの3本柱を持たなければならないと したら、それは高いカーディナリティ、高いディメンジョン、そして探索可 能性をサポートするツールであるべきでしょう。
13. 本をもうちょっと読んでみると - オブザーバビリティ・エンジニアリングにおける「3本柱」 - オブザーバビリティは「3本柱」のテレメトリーデータがある場合に達成さ れると誤解されることが多いのですが、私達はそのようなモデルの支持者で はありません。もしオブザーバビリティの3本柱を持たなければならないと したら、それは高いカーディナリティ、高いディメンジョン、そして探索可 能性をサポートするツールであるべきでしょう。 全然ちゃうやん
14. じゃあどうなったらオブザーバビリティを備えているの？ - これもまた本から。たとえば - アプリケーションの予期せぬ挙動を体験したすべてのユーザーに共通する属 性を正確に特定するために、任意かつ適当なグループのユーザーリクエスト を比較できるか？ - どのシステムユーザーがもっとも負荷を生成している（そして、それによっ てアプリケーションパフォーマンスをもっとも低下させている）かを特定で きるか？また、2番目、3番目、または100番目に負荷を発生させているユー ザーを特定できるか？ - 上記のようなアプリケーションに関する質問に、このような問題を今まで見 たりデバッグしたりしたことがなくても、答えられるか？
15. つまり... - そのような質問に答えられる状態になる必要がある - ログ、トレース、メトリクスはそのために必要な要素 - たとえば - さっきの例（特定のお客様だけエラー）の切り分け - iOSバージョン、アプリバージョン、エンドポイントがXXXのときのみ発生 - が - 新たにログを仕込むことなし - 勘に頼らず（新人でも） - できればよさそう
16. 必要そうなもの - 各リクエストに対して考えられうるすべての情報が付与されている - ユーザID、レイテンシ、OS、サーバ名etc… - それらを適切にグルーピングなどして探索できるツール
17. 必要そうなもの - 各リクエストに対して考えられうるすべての情報が付与されている - ユーザID、レイテンシ、OS、サーバ名etc… - それらを適切にグルーピングなどして探索できるツール - 高いカーディナリティ、高いディメンジョン、 そして探索可能性をサポートするツール すなわち
18. ほんまにできるんか？ - 高いカーディナリティ＆高いディメンジョンを持つデータ - （お金が）高そう... - 探索可能性をサポートするツール - XXXXX（お好きな製品名）でできるのか？
19. カミナシ（のうちのチーム）の場合 - Datadog - APMやログを起点に似たようなことができないか模索中... - APMに情報（ユーザIDなど）をトッピングしてディメンジョンを増やす - 自由に探索はまだ難しいけど、まず使えそうな切り口を作っておく
20. 例：ダッシュボード - - - - - Datadog - - でもまだ監視の域を出てない気がする... - 事前に用意したやつしか見れない - 好きな切り口でシュッと調べられないとダメそう
21. 余談：Honeycombだとできるらしい - Honeycomb - オブザーバビリティ・エンジニアリング著者の会社が提供 - （そりゃそうだけど）本に書いてあるようなことができるっぽい - BubbleUpとかよさそう - https://www.honeycomb.io/bubbleup
22. まとめ - オブザーバビリティって - なんか問題が起こったとき（起こらなくてもだけど） - システムがどのような状態か（どこでどれくらい影響があるのかなど） - 勘に頼らず探索できる能力 - オブザーバビリティ模索中 - なんかいい事例があれば教えて下さい - （特にDatadogとかSentryとか）
23. ありがとうございました We are hiring! エンジニアブログ 採用情報