Honeycomb で劇的改善デバッグ作業

Honeycomb で劇的改善デバッグ作業 Findy Tools 感謝祭 - Tomonori Hayashi 1

Tomonori Hayashi • NTT コミュニケーションズ ◦ ノーコード AI ツール「Node-AI」の開発/運用 ◦
ソフトウェアエンジニア ▪ Front：TypeScript - React/Next.js ▪ Infra：Google Cloud • Google Cloud Partner Top Engineer 2024 - 2025 • Google Cloud Partner Tech Blog Challenge 2024 個人カテゴリ優秀ブログ • Google Cloud All Certiﬁcations • コミュニティ ◦ Google Cloud 公式ユーザーコミュニティ「 Jagu’e’r」 ▪ オブザーバビリティ分科会運営 ▪ エバンジェリスト 2 @pHaya72 @t_hayashi

オブザーバビリティバックエンドとして Honeycomb を試験的に採用した話です “Honeycomb はすべてのテレメトリー信号を 1箇所に保存することで、本番環境で実際に何が起こっているかについての唯一の信頼できる情報源を提供します。 ” 引用：https://www.honeycomb.io/platform

チームが直面している課題サービスに異常が発生したことを的確に検知することができない過去の経験からアラートを仕掛けるが発生する異常はアラートで検知できず発見が遅れる異常が発見しても歴戦の戦士しか発生箇所を見極められない何かあればひたすらログを眺めるが歴戦の戦士がいないと異常を発見しづらく対応が遅れる検知や対応が遅れれば
ユーザーが満足に利用できない事態を招く

Honeycomb の導入後のプロセスの変化 5 バーンレートアラートをきっかけにドリルダウンによる分析 • 導入前：人力での異常を発見からログのみを漁って原因を分析 • 導入後：バーンレートアラートにより異常を自動検知、原因分析にトレースやログを利用
→ これらが Honeycomb 上で完結するのが嬉しいポイント！

→ これらが Honeycomb 上で完結するのが嬉しいポイント！ SLI/SLO を決めることで算出できるエラーバジェットの消費速度が規定の数値を超えたらアラートで通知

→ これらが Honeycomb 上で完結するのが嬉しいポイント！特に分析のプロセスが改善！！数クリックで知りたい情報に辿り着ける

Honeycomb のココが良き！① 8 BubbleUp 機能により失敗イベントと成功イベントの間で違いを特定 /endpoint/path

Honeycomb のココが良き！① 9 BubbleUp 機能により失敗イベントと成功イベントの間で違いを特定 /endpoint/path 失敗イベントが発生しているエンドポイントを瞬時に知ることができる

Honeycomb のココが良き！② 10 失敗イベントからトレースを特定しエラースパンに紐ずくログを確認 /endpoint/path

Honeycomb のココが良き！② 11 失敗イベントからトレースを特定しエラースパンに紐ずくログを確認 /endpoint/path 失敗イベントのスパンをすぐに検索できてスパンに紐づくログも右ウィンドウで確認できる

異常検知から原因特定までのスピードは劇的に短縮 • そもそも見過ごしていた異常が発見できるようになった • Honeycomb 上の数クリックで原因（もしくは近しい情報）を得られるようになったログの紐付けが一部未対応であったり、文化の醸成も • スパンにログが紐づいていないとスパン ID
をもとに別ツールから検索する必要がある • 特定の開発者のみしかツールを扱えず、チームとして文化になるまでは道半ばまとめ

CREDITS: This presentation template was created by Slidesgo, and includes
icons by Flaticon, and infographics & images by Freepik Thanks! 13 @pHaya72 @t_hayashi

Honeycomb で劇的改善デバッグ作業

Honeycomb で劇的改善デバッグ作業

Tomonori Hayashi

More Decks by Tomonori Hayashi

Featured

Transcript