チームにCodeRabbitが仲間入りしたらレビュー体験が改善し兎なしではいられなくなった

Transcript

1. © estie Inc. レビュー、どこまでAIに任せられる？ - AI コードレビューツールの選択肢と実践 チームに CodeRabbit が仲間入りしたら レビュー体験が改善し なしではいられなくなった 0
2. © estie Inc. 自己紹介 1 2025/09 株式会社estie 入社 - 商業用不動産市場の DX 化を進めるスタートアップ - ソフトウェアエンジニア Sadahiro Inoue / 井上真嘉 - ホラー作品、ちいかわ、タコスを好むエンジニア 2025/08 以前 - 大手製造業 → 製造業向けSaaSスタートアップ - 画像処理、機械学習を活用したソフトウェア開発 - 人の作業負荷を減らすことに情熱を持つ（現在も） https://x.com/rebonire_itame
3. © estie Inc. 株式会社estieについて 2
4. © estie Inc. estie 3
5. © estie Inc. 本日のおはなし 4
6. © estie Inc. 5 1. ボトルネックとなったレビュー作業 2. なぜ CodeRabbit を入れたのか 3. CodeRabbit の良いところ 4. どのように運用しているか（Claude Code との使い分け） 5. 入れてどう変わったか 話す内容
7. © estie Inc. 開発現場で起きていたこと 6 2025 年後半から AI Agent を本格活用 嬉しい変化 • 実装スピードが上がった（並列作業が可能） • 毎日 Pull Request が以前よりも多く作られるようになった しかし • 人間レビューのキャパは急に増えるわけもなく、レビューが追いつかない状態に AI による実装速度の向上に対して、レビューがボトルネックになっていた
8. © estie Inc. 方針を決めた 7 コードの初回レビューを AI に肩代わりさせる • 人間が担うのは、複雑なドメイン知識と設計判断 • 初回レビューを AI に任せ、人が見落としがちな細かい部分を先に拾ってもらう • レビュアーが別作業をしていても、先にフィードバックが返っている状態を作る そこで、この最初のレビュー担当者に選んだのが… 余談: うさぎのキャラクターネームは Hoppy らしい
9. © estie Inc. なぜ CodeRabbit ?? 8 前職で CodeRabbit を使っていて、レビュー体験の良さを知っていた 良い！と感じていた点 • 小さいミスをいっぱい拾ってくれるので、本質ではない指摘に人が時間を割く必要なし • PR の内容をシーケンス図等で可視化し、レビューに着手するハードルが下がる • 巨大な PR には爆盛りレビューコメントがつき、自然と PR 粒度を意識するようになる • 謎のポエムが添えられる（好き嫌いは個人差） CodeRabbit の良さを伝えるため、2週間のトライアル導入を実施！
10. © estie Inc. トライアル後のアンケート結果（2026-02） 9 短期間で試して、チーム全員が「導入は有益」と判断！ 4 5 4 5 4 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 PR内容の理解 心理的ハードル レビュー時間 セルフチェック効果 レビュワー負担軽減 レビュー体験スコア（5点満点） 自分にない観点の指摘があった、明らかなバグや考慮漏れを先に拾ってくれる、 何度でも気軽に依頼できて心理的に楽、といったポジティブなコメントが多かった。
11. © estie Inc. CodeRabbit の良いところ① 10 最初のレビュー担当者として、人が見る前に問題候補を幅広く拾ってくれる。 裏付けとして、AI コードレビューツールをベンチマークする Code Review Bench では 評価指標 意味 順位 Recall 直すべき問題をどれだけ漏れなく見つけたか 1位（49.1%, 2位とは 4pt 差） Precision 出した指摘がどれだけ実際に直すべきものだったか 15位（51.7%） F1 Score 見逃さず、余計なことも言わない総合力 3位（50.4%） 出典: Code Review Bench / Martian (https://codereview.withmartian.com/) 集計期間 2026-01-01 ~ 2026-06-30 ノイズ指摘はあるものの、見逃しの少なさは16ツール中トップの性能
12. © estie Inc. CodeRabbit の良いところ② 11 設定で社内・プロジェクトのナレッジを渡すほど、リポジトリ特化のレビューになる！ 汎用 AI ではなく、生息するリポジトリのレビュアーとして育てられる 設定項目 内容 Tone Instructions レビュコメントの規約を指定。 結論先出しや、AIっぽい定型句の禁止リスト明文化、口調など。 High Level Summary サマリーの観点を指定。 Mermaid 図の出力指定も可能。 Path Instructions パス別（FE, BE, インフラなど粒度自由）のレビュー観点を指定。 Code Guidelines 規約ファイルを参照できる。 CLAUDE.md ももちろん OK。 Linked Repositories 依存する他リポジトリの文脈を与えられる。
13. © estie Inc. CodeRabbit の良いところ③ 12 Chat Agent としても、質問したらちゃんと教えてくれる！ • @coderabbitai メンションすると PR 文脈に沿って回答してくれる。 • 指摘を受け取るだけではなく、 チームでのナレッジ共有にも有効。
14. © estie Inc. CodeRabbit の良いところ④ 13 人間レビュアーに優しいレビュー画面が最近登場した！ • 表示するファイル順序を 対人間に説明する順の論理レイヤー に再構築してくれる。 • データ構造、ロジック、 呼び出し元、テストの順。 • 大きい PR ほど理解進む。 • シンボルの定義・参照もできる。 • もちろん、コメントは GitHub と同期される。
15. © estie Inc. CodeRabbit で困ったことと、割り切り 14 困り 今の割り切り、対応など ノイズ指摘がある 指摘の採否は人が判断。繰り返す誤指摘は設定ファイルに反映。 また、現在 Opt Out を有効にしているので、レビュアーとの議論を学習す るモードに更新することで、ノイズを減らすことができる想定。 PR 上でレビュー結果が 返ってくるのが遅め 変更内容に対してしっかりとチェックをしてくれている（ゆえに Recall の 性能が高い）のだと考え、生暖かく見守っている。 設定ファイルが育つほど メンテが要る 観点の変更も PR でレビューする。実際の誤指摘・見逃しを起点に更新。 ローカルのセルフチェックの中では、Claude Code が必要に応じて設定 ファイルを更新してくれる。
16. © estie Inc. 今の運用状態について 15 実装 人間レビュー PR 作成 AI レビュー AI レビュー AI コードレビューは PR 前後の二段構え PR 前（ローカル） • Claude Code がレビューしつつ CodeRabbit CLI も実行。 • 仕様との整合や、diff 外への影響チェックなどする Skill となっている。 PR 後（GitHub） • CodeRabbit が自動でサマリー生成 & レビューを行う。 詳細はこちらのブログで！
17. © estie Inc. Claude Code との併用について 16 Claude Code もレビューができるはずで、CodeRabbit との差はあるのか？と気になり ６つの PR に対して両者を独立にレビューさせて確かめてみた。（2026-03 時点） 評価指標 Claude Code CodeRabbit 具体性（ファイル名、行番号） 96% 100% 実行可能性（修正案） 41% 90% 誤検知率 0% 10% diff 外への指摘 あり（全 PR で実施） なし（diff 内に特化） 得意領域が異なるからこそ、相補的に使い網羅率をあげることにした Claude Code 側の結果は Skill 構成に依存する。
18. © estie Inc. 導入後の効果（所属チームプロダクトの開発フェーズ） 17 デプロイ頻度 レビュー待ち時間 AI コードレビュー開始 導入後、レビュー待ち時間は減り続けた！ 2025-11 をベースラインとしたとき • レビュー待ち時間 約70%減 • デプロイ頻度 約2.8倍 これらの変化がすべて AI コードレビュー だけによるものだとは言い切れないが、 少なくとも効果はあった！
19. © estie Inc. まとめ 18 正式導入から４ヶ月経過し、チームメンバーに改めて聞いた • 導入は有益だった？ → 8割が YES !! • 使えなくなったら困る？ → 8割が YES !! • 人間レビューが設計・ドメインに集中できるようになった？ → 全員が YES !! CodeRabbit が初回レビューを補助 ✓ 人間が確認する前に明らかな問題点を先に指摘 PR前の AI レビューでコード品質改善 ✓ ローカルで Claude Code + CodeRabbit CLI で 品質を上げてから PR 作成 設計判断・ドメイン知識は人間が担う ✓ 複雑な部分はしっかり人間が介入するべき（HITL的） 人間は本当に見るべきポイントに集中 ✓ ノイズが減り、レビューの心理ハードルと往復回数低減
20. © estie Inc. 19 CodeRabbit 導入したら なしではいられなくなったかも！