$30 off During Our Annual Pro Sale. View Details »
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIレビュアーをスケールさせるには / Scaling AI Reviewers
Search
technuma
August 19, 2025
Programming
2
370
AIレビュアーをスケールさせるには / Scaling AI Reviewers
technuma
August 19, 2025
Tweet
Share
More Decks by technuma
See All by technuma
GitHubでAIレビューを組み込む 〜Claude Code Actionデモ&AIエージェントの設計方針〜 / Claude Code Action for beginners
technuma
0
48
品質は設計でつくり込む / design in quality
technuma
32
15k
エンジニアの仕事を機械の番人から仕組み設計者へ / From Machine Keeper to System Designer
technuma
2
250
Devinにファーストレビューをさせ、コードレビューを効率化するには / Using Devin to Make Code Reviews More Efficient
technuma
3
2.3k
開発生産性を計測し、開発組織の当たり前基準を上げる
technuma
2
600
Other Decks in Programming
See All in Programming
全員アーキテクトで挑む、 巨大で高密度なドメインの紐解き方
agatan
8
18k
sbt 2
xuwei_k
0
190
目的で駆動する、AI時代のアーキテクチャ設計 / purpose-driven-architecture
minodriven
11
3.9k
CloudNative Days Winter 2025: 一週間で作る低レイヤコンテナランタイム
ternbusty
7
1.9k
TVerのWeb内製化 - 開発スピードと品質を両立させるまでの道のり
techtver
PRO
3
1.4k
30分でDoctrineの仕組みと使い方を完全にマスターする / phpconkagawa 2025 Doctrine
ttskch
3
730
【CA.ai #3】ワークフローから見直すAIエージェント — 必要な場面と“選ばない”判断
satoaoaka
0
210
Querying Design System デザインシステムの意思決定を支える構造検索
ikumatadokoro
1
1.2k
俺流レスポンシブコーディング 2025
tak_dcxi
13
7.7k
CSC305 Lecture 17
javiergs
PRO
0
270
CSC509 Lecture 14
javiergs
PRO
0
220
All(?) About Point Sets
hole
0
260
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
514
110k
Designing for Performance
lara
610
69k
Leading Effective Engineering Teams in the AI Era
addyosmani
8
1.2k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
17k
Git: the NoSQL Database
bkeepers
PRO
432
66k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
31
3k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
The World Runs on Bad Software
bkeepers
PRO
72
12k
Code Review Best Practice
trishagee
73
19k
Thoughts on Productivity
jonyablonski
73
5k
GraphQLとの向き合い方2022年版
quramy
50
14k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Transcript
AIレビュアーをスケールさせるには レビュー観点を増やしても速度と精度が落ちない仕組みの実現 株式会社グロービス 大沼和也 1
目指したもの:スケールの二大要素 レビュー観点を増やしても 1. 速度が落ちない 2. 精度が落ちない 2
Devinでの試験導入(2025年1月頃) 成果 人間の見落としを補完する有機的レビュー 直面した課題 Knowledge増加による性能低下 出力の不安定性 コントロールの難しさ コストが高い 3
Roo Codeでの改善(2025年4月頃) 技術的ブレイクスルー Subtask(Boomerang Tasks)によるコンテキスト分離 LLMの仕事をTestable化 手元での検証容易性 残された課題 CI統合の困難さ 非同期実行不可による速度限界
4
Claude Code Actionによる解決(2025年6月頃) 二大条件のクリア Subagents機能 + 非同期実行 精度と速度の両立を実現 運用面での改善 CI完全統合
デバッグの容易化 CIでも手元でも、同じレビューを実行可能 5
Claude Code Action によるレビューで起きていること 機能開発をしているバックエンドエンジニア(SRE,FEなど)以外からの機能追加 やちょっとした修正をするためのPRが増加 文言修正レベルであればPOからもPRが出る 慣れていない開発者でも、レビュー後のちょっとした修正まで一気通貫でClaude Code Actionが対応
6
実装事例1:Dependabot PR レビューの自動化 Before 膨大な依存関係の更新を人手でレビュー リリースノートの確認作業が手間 潜在的な問題の見落としリスク After パッケージアップデートの共通作業をAIに委譲 自動でリリースノート翻訳・issue検索など情報収集
→人間が集まった情報をもとにリスク評価を実施 7
Dependabotレビュー の実際の動作 AIが自動で実行すること リリースノートを日本語で要約 破壊的変更の検出 セキュリティ修正の確認 アップグレード後のIssue調査 8
関連Issue・PRの自動調査 人によってやるやらがブレてい た作業を自動化 リリース後に作成されたIssueを検出 既知の問題やバグの事前把握 9
DevExチームの工夫と評価 工夫したポイント リリースノートの日本語翻訳でマークダウン形式を維持 GitHub CLI利用を指定してWebSearchより確実な検索 AIだけでなく、人間が見てもわかるような手順書のように指示を書いている 不具合発見ができる可能性が高まる「行動」をAIに指示 良いところや感想 新規メンバーの学習にも活用可能 パッケージアップデートの標準化:
組織全体で200件/月程度のPR量 カバレッジ90%のCIはやはり大事 10
実装事例2:Subagent を活用したレビュー レビューの分散並列処理 非同期実行で速度問題を解決 コンテキストを適切に分離して精 度向上 モード別に特化したレビュー コード責務特化 FlakyTests特化 機密情報特化
見落としがちなパターン特化 11
Subagents の詳細 Orchestratorによる制御 PRの内容を分析 自動的にSubagentを選定し依頼 Subagentsからの結果を統合してレビューを返却 開発時の強み ローカルでもコマンドでレビュー実行可能 CIと同じレビューを手元で事前確認 高速なフィードバックループの実現
12
サブエージェントのデ バッグ容易性 GHAログをもとに手元で Task単位でのデバッグ可能 Task Parameters subagent_type description prompt Result
詳細なレビュー結果 問題点と良い点の明記 13
AIレビューの精度測定 とテスタビリティ 定量的な精度測定の実現 PRコメント単位での採用率を測 定 →レビュー精度向上につなげる 14
精度測定システムの特徴 採用率のモニタリング カテゴリ別の強み・弱みの可視化 継続的な改善サイクル 実装の容易さ この測定自体もClaude Codeで簡単に構築可能 15
まとめ:スケールするAIレビュアーの実現 達成したこと 速度と精度の両立を実現 人間とAIの協働モデルの確立 継続的改善のサイクル構築 今後の展望 さらなる精度向上 ドメイン特化型レビュアーの開発 全チーム展開に向けて準備中 16
ご清聴ありがとうございました 17