Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIレビュアーをスケールさせるには / Scaling AI Reviewers
Search
technuma
August 19, 2025
Programming
2
280
AIレビュアーをスケールさせるには / Scaling AI Reviewers
technuma
August 19, 2025
Tweet
Share
More Decks by technuma
See All by technuma
エンジニアの仕事を機械の番人から仕組み設計者へ / From Machine Keeper to System Designer
technuma
0
190
Devinにファーストレビューをさせ、コードレビューを効率化するには / Using Devin to Make Code Reviews More Efficient
technuma
3
2.3k
開発生産性を計測し、開発組織の当たり前基準を上げる
technuma
2
560
Other Decks in Programming
See All in Programming
Go Conference 2025: Goで体感するMultipath TCP ― Go 1.24 時代の MPTCP Listener を理解する
takehaya
7
1.5k
Let's Write a Train Tracking Algorithm
twocentstudios
0
220
育てるアーキテクチャ:戦い抜くPythonマイクロサービスの設計と進化戦略
fujidomoe
1
150
Back to the Future: Let me tell you about the ACP protocol
terhechte
0
120
複雑化したリポジトリをなんとかした話 pipenvからuvによるモノレポ構成への移行
satoshi256kbyte
1
720
iOSエンジニア向けの英語学習アプリを作る!
yukawashouhei
0
150
麻雀点数計算問題生成タスクから学ぶ Single Agentの限界と Agentic Workflowの底力
po3rin
5
2k
ネイティブ製ガントチャートUIを作って学ぶUICollectionViewLayoutの威力
jrsaruo
0
120
AccessorySetupKitで実現するシームレスなペアリング体験 / Seamless pairing with AccessorySetupKit
nekowen
0
210
CI_CD「健康診断」のススメ。現場でのボトルネック特定から、健康診断を通じた組織的な改善手法
teamlab
PRO
0
160
Model Pollution
hschwentner
1
180
気づいて!アプリからのSOS 〜App Store Connect APIで始めるパフォーマンス健康診断〜
waka12
0
260
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
A Modern Web Designer's Workflow
chriscoyier
697
190k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
Gamification - CAS2011
davidbonilla
81
5.5k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
Code Review Best Practice
trishagee
72
19k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Agile that works and the tools we love
rasmusluckow
331
21k
Transcript
AIレビュアーをスケールさせるには レビュー観点を増やしても速度と精度が落ちない仕組みの実現 株式会社グロービス 大沼和也 1
目指したもの:スケールの二大要素 レビュー観点を増やしても 1. 速度が落ちない 2. 精度が落ちない 2
Devinでの試験導入(2025年1月頃) 成果 人間の見落としを補完する有機的レビュー 直面した課題 Knowledge増加による性能低下 出力の不安定性 コントロールの難しさ コストが高い 3
Roo Codeでの改善(2025年4月頃) 技術的ブレイクスルー Subtask(Boomerang Tasks)によるコンテキスト分離 LLMの仕事をTestable化 手元での検証容易性 残された課題 CI統合の困難さ 非同期実行不可による速度限界
4
Claude Code Actionによる解決(2025年6月頃) 二大条件のクリア Subagents機能 + 非同期実行 精度と速度の両立を実現 運用面での改善 CI完全統合
デバッグの容易化 CIでも手元でも、同じレビューを実行可能 5
Claude Code Action によるレビューで起きていること 機能開発をしているバックエンドエンジニア(SRE,FEなど)以外からの機能追加 やちょっとした修正をするためのPRが増加 文言修正レベルであればPOからもPRが出る 慣れていない開発者でも、レビュー後のちょっとした修正まで一気通貫でClaude Code Actionが対応
6
実装事例1:Dependabot PR レビューの自動化 Before 膨大な依存関係の更新を人手でレビュー リリースノートの確認作業が手間 潜在的な問題の見落としリスク After パッケージアップデートの共通作業をAIに委譲 自動でリリースノート翻訳・issue検索など情報収集
→人間が集まった情報をもとにリスク評価を実施 7
Dependabotレビュー の実際の動作 AIが自動で実行すること リリースノートを日本語で要約 破壊的変更の検出 セキュリティ修正の確認 アップグレード後のIssue調査 8
関連Issue・PRの自動調査 人によってやるやらがブレてい た作業を自動化 リリース後に作成されたIssueを検出 既知の問題やバグの事前把握 9
DevExチームの工夫と評価 工夫したポイント リリースノートの日本語翻訳でマークダウン形式を維持 GitHub CLI利用を指定してWebSearchより確実な検索 AIだけでなく、人間が見てもわかるような手順書のように指示を書いている 不具合発見ができる可能性が高まる「行動」をAIに指示 良いところや感想 新規メンバーの学習にも活用可能 パッケージアップデートの標準化:
組織全体で200件/月程度のPR量 カバレッジ90%のCIはやはり大事 10
実装事例2:Subagent を活用したレビュー レビューの分散並列処理 非同期実行で速度問題を解決 コンテキストを適切に分離して精 度向上 モード別に特化したレビュー コード責務特化 FlakyTests特化 機密情報特化
見落としがちなパターン特化 11
Subagents の詳細 Orchestratorによる制御 PRの内容を分析 自動的にSubagentを選定し依頼 Subagentsからの結果を統合してレビューを返却 開発時の強み ローカルでもコマンドでレビュー実行可能 CIと同じレビューを手元で事前確認 高速なフィードバックループの実現
12
サブエージェントのデ バッグ容易性 GHAログをもとに手元で Task単位でのデバッグ可能 Task Parameters subagent_type description prompt Result
詳細なレビュー結果 問題点と良い点の明記 13
AIレビューの精度測定 とテスタビリティ 定量的な精度測定の実現 PRコメント単位での採用率を測 定 →レビュー精度向上につなげる 14
精度測定システムの特徴 採用率のモニタリング カテゴリ別の強み・弱みの可視化 継続的な改善サイクル 実装の容易さ この測定自体もClaude Codeで簡単に構築可能 15
まとめ:スケールするAIレビュアーの実現 達成したこと 速度と精度の両立を実現 人間とAIの協働モデルの確立 継続的改善のサイクル構築 今後の展望 さらなる精度向上 ドメイン特化型レビュアーの開発 全チーム展開に向けて準備中 16
ご清聴ありがとうございました 17