Upgrade to Pro — share decks privately, control downloads, hide ads and more …

New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話

Gaku07jp
November 19, 2026

New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話

Gaku07jp

November 19, 2026

Transcript

26 slides
  1. 家族アルバム みてね(2/2) 2015年のリリースから、7言語・175の国と地域で3,000万人以上の方にご利用いただいています。 世界累計利用者数の推移 100万 2017年2月 300万 2018年7月 500万 2019年6月

    800万 2020年8月 1,500万 1,000万 2021年3月 2,000万 2,500万 3,000万人 2022年8月 2023年11月 2025年1月 2026年5月 ※ iOS・Android アプリ登録者数とブラウザ版登録者数の合計。海外ユーザーが4割超 出典: MIXI プレスリリース「「家族アルバム みてね」世界累計利用者数が3,000万人突破!」(2026-05-07) ©MIXI 4
  2. 全体像 エラー発生 Slack に通知 マージ 収集・issue 化 ノイズが減る 承認 →

    draft PR /nr-promote /nr-collect 毎朝まわる 指摘あり 差分レビュー /nr-review ©MIXI AI(Claude Code)が実行 人が判断・承認 ローカルで直してから、 PR を出す 調査・修正 /nr-fix 調査・修正・レビューはローカルで完結 人間が承認したものだけ push して draft PR にする ここまでローカル 8
  3. 4つのコマンド コマンド /nr-collect /nr-fix /nr-review /nr-promote やること Slack の通知を読み、New Relic

    API で詳細を取得して issue を作る issue を 1 件選んで原因調査とトリアージ。直せるものはローカルで修正・テスト・コミットまで 修正の差分を difit で開き、人間のレビューを手伝う 人間が承認した issue だけ GitHub に push し、draft PR を作る 調査の結果は fixable / wontfix / needs-decision の 3 種類に振り分ける(次のページ) ©MIXI 9
  4. トリアージの判断基準 判定 fixable wontfix needs-decision 基準 サーバー側の小さな変更で、例外を出さずに 同じ(または妥当な)レスポンスを返せる アプリケーションに届いていない または、直す価値が低い

    仕様・セキュリティ・トランザクション設計の判断が要る または、クライアント側の修正が本命 その後 AI が修正まで進める 直さない理由を issue に残す 選択肢と推奨をコメントし、 人間の判断を待つ 調査結果には、発生箇所をファイルと行番号で示した根拠を必ず付けさせる 裏が取れていないことは「推定」と明記させる 修正の途中でテストが通せない、方針が定まらないときは needs-decision に切り替える ©MIXI 10
  5. 例: 1 件が直るまで(1/2) 1 2 3 4 5 6 段階

    通知 収集 調査 修正 レビュー PR 起きること Slack に ActiveRecord::RecordNotFound の通知が届く 同じエラーグループの issue が無いか確認して issue 化。発生回数・URL・HTTP ステータスを API で取得 「見つからないと例外 → 共通の例外処理で 404。ユーザーへの応答は正しく、通知だけが出ている」→ fixable worktree でテスト → 修正 → Lint → ローカルコミット。結果を issue に記録 人間が差分を見て、問題なければ approved ラベルを付ける 人間の承認を得たものだけ push して draft PR に ※ よくあるパターンを単純化した例 ©MIXI 11
  6. 例: 1 件が直るまで(2/2) 応答は 404 のまま変えず、例外だけを出さないようにする 修正前 見つからないと例外が発生し 共通の例外処理が を返す

    # # 404 item = Item.find(params[:id]) 修正後 item = Item.find_by(id: params[:id]) return not_found if item.nil? テストは「404 を返すこと」に加えて「例外を投げないこと」を確認する 挙動が変わらない根拠は、コミットメッセージに書かせる ※ コードは説明用に単純化したもので、実際のコードではありません ©MIXI 12
  7. ② 作業はすべてローカルで完結させる issue 管理もローカルで動かす チームの場を汚さない。承認前の issue が増えると、調査だけでもノイズになる 放置されれば、そのまま負債になる 試行錯誤がしやすい issue

    に書くのはエラーのメタ情報と結果だけ。コードや差分は貼らない 修正は 1 件ごとに git worktree を作って、その中で行う push の前に、コミットメッセージに内部情報(issue 番号など)が混ざっていないか検査する 秘密情報はパスワードマネージャーから都度取得し、会話やログに出さない ©MIXI 15
  8. ③ 役割分担と TDD 役割 オーケストレーター 調査 実装 担当 メインの会話 サブエージェント

    サブエージェント やること issue 選択、ラベル操作、差分の検証、最終判断 発生箇所と原因の特定、トリアージ案(コードは変更しない) 指定された worktree の中だけで修正 実装は必ず 失敗するテストを書く → 最小の修正 → テストが通る → Lint の順で進める サブエージェントは会話の文脈を持たないので、前提知識は毎回プロンプトに埋め込む ©MIXI 16
  9. ④ 毎朝の自動実行 Claude Code の cron で毎朝自動実行 まず /nr-collect (直近の通知を

    issue 化) 続けて /nr-fix (未トリアージの issue を 1 件処理) 人間は出社したら、レビュー待ちの差分を見て承認するだけ /nr-promote は当面、手動で実行している ©MIXI 17
  10. 結果 トリアージ fixable wontfix needs-decision 集約・未判定 合計 件数 57 36

    3 5 101 fixable 57 件は、すべて修正を作成済み 順次レビュー・マージ中 wontfix 36 件は、直さない理由を issue に記録 ※ 2026-09-02〜2026-10-14 に検知したエラーグループが対象。2026-10-15 時点の社内集計 ©MIXI 20
  11. どんなエラーが多かったか fixable に多かった例外 ActiveRecord::RecordNotUnique ActiveRecord::RecordNotFound wontfix に多かった例外 ActionController::BadRequest リクエストパラメータのバリデーションエラー NoMethodError

    ActionController::UnknownFormat ArgumentError ユーザー影響はないが通知のノイズになっていた例外を、挙動を変えずに消す修正が多かった 不正なリクエストなど、アプリケーションに届いていないものは wontfix として根拠を残す ©MIXI 21
  12. 運用しながら足した集約ルール 再発しても issue を作り直さない エラーグループの ID で重複を判定する。閉じた issue も対象にする 同時刻に出たインフラ系のエラーは

    1 件にまとめる 原因は明確なので、個別に対応しない ID だけが違う「類似エラー」は既存の issue に寄せる 同じ修正で一緒に直るので、個別の issue を作らない アプリケーションに届かない不正なリクエストは集約 issue に追記する 続くようなら、New Relic 側で「想定内のエラー」として扱う設定を提案させる issue が増えすぎると、今度は issue がノイズになる ©MIXI 22
  13. つまずいたところ つまずき API ではスタックトレースが取れない テストが先に失敗してくれない worktree だけではテストが動かない 内部の情報が外に出そうになる AI が説明コメントを書きすぎる

    ©MIXI 対処 発生箇所は、トランザクション名と URL から特定させる 例外が 4xx 応答に変換されるため。変換を切って例外の有無を検証する Git 管理外の生成物が無い。準備の手順をコマンドに書き足した ブランチ名に issue 番号を使わず、エラーグループ ID の先頭 8 桁にした Why が必要な場合だけ書く。それ以外の不要なコメントは書かせない 23
  14. ご清聴ありがとうございました New Relic は New Relic, Inc. の、Slack は Slack

    Technologies, LLC の、GitHub は GitHub, Inc. の、 Claude および Claude Code は Anthropic, PBC の商標または登録商標です。 Android は Google LLC の商標です。IOS は Cisco の米国その他の国における商標または登録商標であり、ライセンスに基づき使用されています。 その他、記載の会社名・製品名は各社の商標または登録商標です。 ©MIXI 26

Other Decks in Technology