Datadog Error Tracking & Claude Code Action で アプリケーションエラーを(半)自動修正 / Datadog Error Tracking & Claude Code Action (semi-)auto-correct application errors

3-shake SRE Tech Talk #14 オンサイト
https://3-shake.connpass.com/event/373259/

Transcript

1. 2025/12/19 3-shake SRE Tech Talk #14 Copyright © 3-shake, Inc. All Rights Reserved. Datadog Error Tracking & Claude Code Action で アプリケーションエラーを (半)自動修正 Takumi Kadowaki (@nomadblacky)
2. 自己紹介 門脇 拓巳 Takumi Kadowaki 株式会社スリーシェイク Reckoner 事業部 エンジニア Scala エンジニアとしてスリーシェイクに入社 最近は SRE にシフトチェンジ 特にオブザーバビリティに興味あり 趣味はゲームとランニング X: @nomadblacky GitHub: NomadBlacky Copyright © 3-shake, Inc. All Rights Reserved.
3. Reckoner について Copyright © 3-shake, Inc. All Rights Reserved. https://reckoner.io/
4. 直感的な UI で複雑なデータ操作 Copyright © 3-shake, Inc. All Rights Reserved.
5. 多種多様なデータ連携先 Copyright © 3-shake, Inc. All Rights Reserved.
6. ここから本題 … Copyright © 3-shake, Inc. All Rights Reserved. 連携先が多種多様であることによる問題は …
7. ここから本題 … Copyright © 3-shake, Inc. All Rights Reserved. 連携先ごとに実装があるので アプリケーションエラーも多種多様！！ ・アプリケーションロジックの誤り ・連携先 API 特有のエラー ・ユーザーのワークフロー設定誤り etc...
8. 大量に積まれていく調査タスク … その結果…
9. 大量のエラーを調査して … 必要があれば修正して … とても捌ききれない … とはいえすべて放置するわけには … どうにか負担を減らせないか … そういえば …
10. Copyright © 3-shake, Inc. All Rights Reserved. 直近で Claude Code Action が導入され活用が進み始めていた
11. Copyright © 3-shake, Inc. All Rights Reserved. アプリケーションエラーは Datadog に蓄積されている 詳細は→を参照 https://x.gd/GuRgr OpenTelemetry でトレースを Datadog 送信 Datadog Error Tracking でエラーを集計
12. Copyright © 3-shake, Inc. All Rights Reserved. アプリケーションエラーは Datadog に蓄積されている 詳細は→を参照 https://x.gd/GuRgr Datadog に報告されたエラーを Claude Code に解析させよう！
13. Copyright © 3-shake, Inc. All Rights Reserved. Datadog で新規のエラーが報告されたら GitHub に Issue を作成する Datadog Workflow Automation を作成 アラートなどのイベントに応じて 運用プロセスを自動化するサービス
14. Copyright © 3-shake, Inc. All Rights Reserved. アラートにメンションをつけて ワークフローをトリガー
15. Copyright © 3-shake, Inc. All Rights Reserved. アラートに紐づいた Error Tracking の issue_id から エラーのスパンを検索 トレース全体を取得 スタックトレースと トレース全体の情報を含んだ Issue を GitHub に作成 ※スパン: 分散トレーシングにおける処理の単位 ※トレース : スパンの集合、一連の処理の流れ
16. 本文のメンションで Claude Code Action をトリガー ワークフロー実行で Issue が作成
17. Claude Code Action により エラーの分析結果がコメントされる 修正の必要があれば 「Create PR →」から PR作成
18. バグを即修正！ エラーの調査工数が削減！
19. 導入してみた成果 ✅ 運用後、何件か実装エラーを検知・修正している • 導入後１ヶ月ほどで約５０件のエラーを解析 • うち５件の修正を取り込んだ ✅ 調査時間の削減 • 体感の調査時間は半分以下に • ゼロから調べるより楽、調査の出発点として有用
20. 課題と今後の展望 ⚠ Claude Code の分析結果は必ずしも正しいとは限らない • 分析結果を確認して Issue を捌く工数はまだ必要 🤔 (即修正とはいったものの ) 一発でマージできる実装にはならないことも • 実装が微妙・ユニットテストが不足している etc. • チームで Claude Code を育てていく必要がある 🤔 マージまで自動でできたらかっこいいが … • 修正の精度も運用体制もまだまだ課題が多い • 段階的に自動化範囲を拡大していきたい
21. 最後に Reckoner ではエンジニアを募集しています！ - https://jobs-3-shake.com/