AIレビュアーをスケールさせるには / Scaling AI Reviewers

Transcript

1. AIレビュアーをスケールさせるには レビュー観点を増やしても速度と精度が落ちない仕組みの実現 株式会社グロービス 大沼和也 1
2. 目指したもの：スケールの二大要素 レビュー観点を増やしても 1. 速度が落ちない 2. 精度が落ちない 2
3. Devinでの試験導入(2025年1月頃) 成果 人間の見落としを補完する有機的レビュー 直面した課題 Knowledge増加による性能低下 出力の不安定性 コントロールの難しさ コストが高い 3
4. Roo Codeでの改善(2025年4月頃) 技術的ブレイクスルー Subtask(Boomerang Tasks)によるコンテキスト分離 LLMの仕事をTestable化 手元での検証容易性 残された課題 CI統合の困難さ 非同期実行不可による速度限界 4
5. Claude Code Actionによる解決(2025年6月頃) 二大条件のクリア Subagents機能 + 非同期実行 精度と速度の両立を実現 運用面での改善 CI完全統合 デバッグの容易化 CIでも手元でも、同じレビューを実行可能 5
6. Claude Code Action によるレビューで起きていること 機能開発をしているバックエンドエンジニア（SRE,FEなど）以外からの機能追加 やちょっとした修正をするためのPRが増加 文言修正レベルであればPOからもPRが出る 慣れていない開発者でも、レビュー後のちょっとした修正まで一気通貫でClaude Code Actionが対応 6
7. 実装事例1：Dependabot PR レビューの自動化 Before 膨大な依存関係の更新を人手でレビュー リリースノートの確認作業が手間 潜在的な問題の見落としリスク After パッケージアップデートの共通作業をAIに委譲 自動でリリースノート翻訳・issue検索など情報収集 →人間が集まった情報をもとにリスク評価を実施 7
8. Dependabotレビュー の実際の動作 AIが自動で実行すること リリースノートを日本語で要約 破壊的変更の検出 セキュリティ修正の確認 アップグレード後のIssue調査 8
9. 関連Issue・PRの自動調査 人によってやるやらがブレてい た作業を自動化 リリース後に作成されたIssueを検出 既知の問題やバグの事前把握 9
10. DevExチームの工夫と評価 工夫したポイント リリースノートの日本語翻訳でマークダウン形式を維持 GitHub CLI利用を指定してWebSearchより確実な検索 AIだけでなく、人間が見てもわかるような手順書のように指示を書いている 不具合発見ができる可能性が高まる「行動」をAIに指示 良いところや感想 新規メンバーの学習にも活用可能 パッケージアップデートの標準化: 組織全体で200件/月程度のPR量 カバレッジ90%のCIはやはり大事 10
11. 実装事例2：Subagent を活用したレビュー レビューの分散並列処理 非同期実行で速度問題を解決 コンテキストを適切に分離して精 度向上 モード別に特化したレビュー コード責務特化 FlakyTests特化 機密情報特化 見落としがちなパターン特化 11
12. Subagents の詳細 Orchestratorによる制御 PRの内容を分析 自動的にSubagentを選定し依頼 Subagentsからの結果を統合してレビューを返却 開発時の強み ローカルでもコマンドでレビュー実行可能 CIと同じレビューを手元で事前確認 高速なフィードバックループの実現 12
13. サブエージェントのデ バッグ容易性 GHAログをもとに手元で Task単位でのデバッグ可能 Task Parameters subagent_type description prompt Result 詳細なレビュー結果 問題点と良い点の明記 13
14. AIレビューの精度測定 とテスタビリティ 定量的な精度測定の実現 PRコメント単位での採用率を測 定 →レビュー精度向上につなげる 14
15. 精度測定システムの特徴 採用率のモニタリング カテゴリ別の強み・弱みの可視化 継続的な改善サイクル 実装の容易さ この測定自体もClaude Codeで簡単に構築可能 15
16. まとめ：スケールするAIレビュアーの実現 達成したこと 速度と精度の両立を実現 人間とAIの協働モデルの確立 継続的改善のサイクル構築 今後の展望 さらなる精度向上 ドメイン特化型レビュアーの開発 全チーム展開に向けて準備中 16
17. ご清聴ありがとうございました 17