全自動コードレビューの夢 〜実際に活用されるAIコードレビューの実現に向けて〜

AIコードレビュー実践事例3選
https://findy.connpass.com/event/364624/

Transcript

1. 全自動コードレビューの夢 実際に活用される AI コードレビューの実現に向けて shibutani / @s_k_526 2025 年 8 月 20 日 AI コードレビュー実践事例 3 選
2. 自己紹介 shibutani / @s_k_526 株式会社 LayerX Platform Engineering 部 Enabling チーム 2024 年に SecHack365 やセキュリティキャンプ ネクストに参加 最近は猫よりも犬がすき © LayerX Inc. 2
3. 背景
4. 背景 弊社では PR-Agent をリリース当初（2023 年）から導入していた PR-Agent を使って Pull Request を AI レビューしてみた。（日本語対応もしてみた） モデルの精度は遥かに向上しているはずだが、多くのチームで PR-Agent のレビューが活用されていない。 © LayerX Inc. 4
5. 活用できていなかった理由 © LayerX Inc. チームごとのコーディング規約に準拠していない プロダクト知識を理解していない 汎用的なレビューがほとんどで nits が多く、ノイズになっている etc... 5
6. 今回の内容 形だけの導入ではなく、実際に活用される AI コードレビューを実現するためのツール選定と、弊社で導入後 に行なっている浸透に向けた取り組みについてお話しします © LayerX Inc. 6
7. ツール選定
8. 比較対象 © LayerX Inc. PR-Agent AI コードレビューの先駆け的存在 無料版（OpenAI API Key を利用）と有料版（クラウド版）が存在 GitHub Copilot code review GitHub Copilot エージェントの機能の一つとして提供 8
9. 比較対象 Greptile コードレビューツールとしては新米のツール 基本料金の中に学習機能やコードベースの Indexing が含まれる © LayerX Inc. 9
10. 選定基準 © LayerX Inc. 妥当なコストか カスタム指示によりプロダクト知識を与えられるか コードベース全体を考慮したレビューが可能か 学習によってレビュー能力が向上するか ロックインされないか 10
11. 妥当なコストか © LayerX Inc. レビューという開発の 1 プロセスの改善のため、多額のコストを費やすことはできない 無料プランの存在など、ツール導入時のコストを抑えることができるか ユーザー単位の課金によって、小さなチームから展開できるかどうか 11
12. 妥当なコストか ツール 対応状況 備考 Greptile △ ユーザー単位課金（1 ユーザーあたり 30 ドルから） 無料プランが存在しない PR-Agent ◎ ユーザー単位課金（1 ユーザーあたり 30 ドルから） OpenAI API Key を利用する無料プランが存在 Copilot ⚪︎ ユーザー単位課金（Copilot の料金に含まれる） Copilot を利用している企業では試しやすい © LayerX Inc. 12
13. カスタム指示によりプロダクト知識を与えられるか © LayerX Inc. チームのコーディング規約やプロダクトの歴史的経緯に合わせたレビューを行いたい ex) 歴史的経緯で Vue の Script Setup ではなく、Options API を利用する必要がある プロジェクト特性に合わせたレビューを行いたい ex) お金を扱う正確性が求められるプロジェクトであればバリデーションの厳密さ、パフォーマンスが求められ るプロジェクトであればアルゴリズムの適切さを重視 13
14. カスタム指示によりプロダクト知識を与えられるか ツール 対応状況 備考 Greptile ◎ すべてのプランでカスタム指示が利用可能 PR-Agent ◎ 無料プランを含むすべてのプランでカスタム指示が利用可能 Copilot ⚪︎ Copilot Business プラン以上においてカスタム指示が利用可能 © LayerX Inc. 14
15. コードベース全体を考慮したレビューが可能か © LayerX Inc. コードベース全体で一貫したコーディングを実現したい ex) 似た関数名の処理は同じようなシグネチャとしたいなど 変更部分だけを見ると不適切に見える実装が、コードベース全体では適切である場合が 存在 ex) 大域脱出を前提とした実装となっており、各関数での個別の例外処理を省略するなど 15
16. コードベース全体を考慮したレビューが可能か ツール 対応 状況 備考 Greptile ◎ コードベース全体を考慮したレビューが実行される 依存関係をグラフ構造として表現、レビュー実行時にクエリを行う PR- Agent × Enterprise プランにおいてはコードベース全体に対する RAG をサポートしている が、コードレビュー機能においては利用できない（2025 年 8 月現在） Copilot × ドキュメントに言及はない（2025 年 8 月現在） © LayerX Inc. 16
17. 学習によってレビュー能力が向上するか © LayerX Inc. ルールの作成とメンテナンスコストを抑えたい すべてのルールをあらかじめ言語化することは難しい プロジェクトの成長に応じてレビュー基準は変化するため、人間が手動でルールのメンテナンスをし続けること は難しい 17
18. 学習によってレビュー能力が向上するか ツール 対応状況 備考 Greptile ◎ / といった明示的なリアクションに基づいたユーザー嗜好の強化学習 最終コミットと最初のコミットの差分に基づいたユーザー嗜好の自己学習 学習基準が明記されている （3 回以上無視され、なおかつクリティカルでないレビューは出現回数を抑制） PR-Agent ⚪︎ 強化学習および自己学習は存在するが、学習の基準は明記されていない Copilot △ 自己学習的な機能は用意されていない © LayerX Inc. 18
19. ロックインされないか © LayerX Inc. AI コードレビューツールの発展や新しいツールの登場の恩恵を受けたい AI コードレビューツールは発展途上であり、今後も優れたツールが出現する可能性が高い 学習した知識やルールを Export できず、新しい技術に乗り換えることができないのは高いリスク 19
20. ロックインされないか ツール 対応状況 備考 Greptile ◎ 学習によって自動生成されたルールを UI 上で確認・管理可能 PR-Agent ◎ Auto best practices 機能により、GitHub の Wiki 上にルールを自動生成 Copilot × フィードバックにより学習した結果にユーザーはアクセスできない © LayerX Inc. 20
21. 選定結果 Greptile を採用 © LayerX Inc. 4/5 の選定基準で最も高い評価 特に下記の機能が優れている コードベース全体の Indexing により依存関係を考慮したレビュー 学習機能によるレビュールールの自動生成 コストについては小さく試し、必要なメンバーとチームに展開していくことでカバー 検証と評価を繰り返しながら展開することで、コストを最小限に抑える LayerX の「技術をまず試す」という文化が後押し 21
22. 浸透に向けた取り組み
23. 「Greptile のドキュメントを全て読む会」の実施 © LayerX Inc. 機能を体系的に理解するために、ドキュメントを読む会を実施 それによって各プロダクトチームの Greptile 大臣が Best Practice を発信するきっかけ に Greptile は他ツールと比べ、Indexing や学習の仕組みなど技術的詳細がドキュメント に記載されており、よりツールへの信頼感を高めることができた 23
24. Greptile のレビューに対する抵抗感を減らす © LayerX Inc. カスタム指示を使って日本語化することや、Greptile のレビュー閾値を調整し、Noisy なレビューを減らすことによって、AI レビューに対する抵抗感を減らすことができた 24
25. Greptile に対するフィードバックの推奨 © LayerX Inc. 学習機能を活用するために積極的に Greptile のレビューにコメントとリアクションをす ることをルール化 それによって継続的に AI レビューが進化し、信頼性が高まっていく 「AI レビューツールは全員で育てる」 25
26. さいごに © LayerX Inc. LLM が進化し、AI コードレビューの精度も向上しているが、人間のレビュアーに比べる と着眼点や思考力、過去のコンテキストの理解の観点で劣っている部分も否めない しかし、ベースとなっている LLM は日進月歩で進化する そのような中でコードレビューにおける AI の活用基盤や活用事例を社内で整備してい くことは進化の恩恵を受ける上で重要なアクション LayerX では継続的に開発における AI 活用に取り組んでいく 26