AI駆動開発とRAGプロダクトへの挑戦の軌跡 - 弁護士ドットコムでの学びから -

Developers Summit 2026における、CTO 田中・リーガルブレイン開発部 西野による登壇資料です。

【Developers Summit 2026】
https://event.shoeisha.jp/devsumi/20260218/session/6455

■ 弁護士ドットコム株式会社プロダクト組織について
https://docs.google.com/presentation/d/e/2PACX-1vTU9deZRyvMZDDrTgGC5Ns349IysFMwoGvJdAbIrrmDJ78Dbcfv8z0f2tjAG4M2E-Mn7YOdRlhb5Rt0/embed

■ 採用情報
https://hrmos.co/pages/bengo4/jobs

■ テックブログ：弁護士ドットコム CREATORS’ BLOG
https://creators.bengo4.com/

■ X(Twitter)：弁護士ドットコム CREATORS
https://x.com/bengo4_creators

Transcript

1. AI駆動開発と RAGプロダクトへの 挑戦の軌跡 弁護士ドットコムでの学びから Be the Professional-Tech Company.
2. Be the Professional-Tech Company. Bengo4.com,Inc. 2 全体の構成 CTO 田中 (@stanaka) 弁護士ドットコム全体での AI活用 (AI駆動開発 と 業務/プロダクトへの応用)について 前半 西野 (@nishino_hiroki) 後半 Legal Brain エージェントでのAI活用とRAGプロダクト開発の戦術について
3. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 3 田中 慎司 弁護士ドットコム CTO NTT研究所 はてな CTO メルカリ VP (󰏅UK /󰏦 JP / 󰑔US) 弁護士ドットコム Career
4. 4 運営サービス 4 2023 Join! 2024 Join! 設立 2005年 代表者 元榮 太一郎 （弁護士） 企業概要 　Missionー 「プロフェッショナル・テック」で、次の常識をつくる Bengo4.com, Inc. 4
5. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 5 弁護士ドットコムの開発組織 エンジニア人数： 全体で160名程度 各事業の開発部 SRE室・エンジニアリングオフィス Tech stack PHP / Go Vue.js / Nuxt / React / Next.js AWS (& すこしだけGCP) GitHub / DataDog などなど
6. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 6 開発での活用 (AI駆動開発) Claude Codeなどの利用基盤整備 複数LLMを集約するLiteLLM基盤 各エンジニア / チームでの試行錯誤 成功事例の収集/ノウハウの社内蓄積 AIツールの成功事例 AIを前提とした開発プロセス再構築へ 業務/プロダクトでの活用 障害報告書作成 問合せへの自動回答生成 プロダクトへの応用 例：Legal Brain エージェント (広義のRAGプロダクト) → 後半にて詳しく 弁護士ドットコムにおけるAIの活用
7. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 弁護士ドットコムにおけるAIの活用の実態 2026年1月のアンケート(N=66)より 1番人気のツール Claude Code AIに書かせたコードの比率 80% 生産性向上の体感値が50%以上 54.7% 7 (master/mainにmergeされたコードの内)
8. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 過去(2025/6, N=89)と今回(2026/1, N=66)の比較 前回 今回 1番人気のツール Claude Code Cursor AIに書かせたコードの比率 80% 40% 生産性向上の体感値が50%以上 54.7% 25.3% 弁護士ドットコムにおけるAIの活用の実態 8 (master/mainにmergeされたコードの内)
9. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 2024年まではGitHub Copilotが主体 Code Rabbit(コードレビュー)も利用 2024年末から調査開始、予算調整 2025年 4月から本格活用 7月 LiteLLM基盤稼動 今 (2026年) 主要ツールは一通り利用できるように → Cursor, Claude Code, Codex, Devinなど 定額プランと従量プランのハイブリッドで使い出し易さと ROI最大化を両立 MCP活用 → 内製MCPサーバーも AIツール基盤整備の時系列 9
10. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 開発系AIツールを活用可能な環境 (現状) 利用可能なツール群 利用可能なモデル GitHub Copilot Claude Code Codex Cursor Devin Anthropic OpenAI ChatGPT Google Gemini LiteLLM LLM Proxy その他基盤 Dify / n8n 10
11. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 11 整備されたAIツール基盤の上で試行錯誤を推奨 → 各所で様々なノウハウが生まれる Claude.mdの育て方 / Sub-agent / Skills の使い方 仕様駆動開発のトライ (claude-code-spec-workflow) コードレビューへの利用 (Code Rabbit / Claude Code GitHub Actions) 一方で、徐々に生まれる課題感 使いこなしに個人差が大きい → うまく使える人/まだそこまでは試せていない人 利用量にもバラツキが大きい 活用ノウハウが個人/チーム/開発部に閉じている 100名規模の組織に浸透させていくには ?? 各エンジニア / チームでの試行錯誤
12. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 外部知見の取り込み t-wadaさん社内講演 AWS AI-DLC Unicorn Gym 社内勉強会 時限的にAIツールに特化 AIツールのノウハウ共有と外部知見の取り込み 12
13. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 13 チーム状況 → 1名チーム (一人ベンチャー時代から) ドメインエキスパート(弁護士)兼プロダクトオーナー兼エンジニア AIツール活用以前 手を動かすスピードが完全にボトルネック エンジニアを増やそうとするも、コミュニケーションがボトルネック AIツール活用登場 AIをフル活用 → AI予算を事実上無制限に ドメインエキスパート兼プロダクトオーナー兼エンジニアが一人の脳内で完結することの圧 倒的スピード感 → 本人主観で10人力 今後 良さを残しつつ、人を増やしていけるか AIツールの成功事例 (弁護革命)
14. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 14 AI-DLCとは 「AI が実行し人間が監視する」アプローチ Inception / Construction / Operation のフェーズと詳細ステップ ステップ毎に中間生成物をAIに生成してもらいながら、開発を駆動 Harness Engineering (by OpenAI) へ向かうのか?? “Humans steer. Agents execute.” 仕様駆動開発から本格的なAI-DLCに向けて
15. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 15 チーム全体でのコミットが必要 PdM・デザイナー・エンジニア・QAが一体となり開発プロセスを再構築 AIが設計を進めるための暗黙知の文書化 プロダクト開発体制全体でAI前提のプロセスに再構築していく 人間間でのコンセンサス → AIに与える規約として言語化 人間によるレビューを随所に入れながら、AIが自律的に開発を動かす →「運転席をAIに譲る」という感覚 AI-DLCを実開発プロセスに適用していくには
16. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 16 与えられた問題を解く能力はまだまだ上がる Claude Code Agent Teamsなどのツールの進化速度は圧倒的 人間が与える「問題」の精度が出力結果に影響を与える 「問題」設定の精度をいかにあげていくか、が勝負所になっていく 人間間でのコンセンサス形成 ドメイン知識、達成したいことの徹底的な言語化 言語化した文章の再利用性をあげて、サイクルのスピードをあげる 2026年はAI-DLCをベースとしたチーム開発プロセスの進化の年に How より What がより重要に
17. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 17 障害報告書 Slack上での障害対応のやりとりから障害報告書のドラフトを自動生成 発生状況や対応状況をフォーマットに流し込み 時系列での事象をリスト化 報告書を書くコスト圧縮 & 書かれるまでのリードタイムの短縮 ナレッジベース Difyを利用して、社内ドキュメントからのQ&Aシステムを構築 問合せ対応の工程の自動化 Agent SkillsでJIRAチケットから情報収集、回答案作成までを自動化 開発以外での業務利用も進めている
18. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 18 弁護士ドットコムでのAI活用の取り組み 開発での活用 プロダクトでの活用 2026年はAI-DLCをベースとしたチーム開発プロセスの進化の年に Legal Brain エージェントについての後半へどうぞ! 前半 まとめ
19. 弁護士ドットコム全体での AI活用 (AI駆動開発 と プロダクトへの応用 )について Bengo4.com,Inc. 19 法律(テキストデータ)とLLMの相性の良さ 汎用LLMを上回る精度・UXの実現 Legal Brain エージェントでの活用 → 詳細は後編で プロダクトでの活用 田中 慎司 西野 裕貴
20. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 西野 裕貴 (@nishino_hiroki) 2023年に弁護士ドットコムに入社 テックリードとして、LLMを活用したプロダクトのプロトタイプ開発 から設計、実装、運用を担当 ドメイン知識とソフトウェアエンジニアリングの合わせ技で事業を 進めています 開発本部 リーガルブレイン開発部 行政書士試験合格 (行政書士会未登録) 通関士試験合格(未登録) 20
21. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. Legal Brain エージェントの紹介 RAG プロダクト開発の際に感じた 良い進め方・プラクティス 悪い進め方・失敗だった意思決定 ここからのセッションで紹介すること 21
22. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. Legal Brain エージェントの紹介 法務のプロを、AIで⽀える。 専⾨知を集約したリーガル特化型AIエージェント 第⼀弾として国内法に関して 初のリーガルリサーチAIエージェント機能を提供 22
23. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 膨大な情報ソースを AIで一括検索 01 法令、判例、ガイドライン、書籍など、日本最大級のリーガルデータベー ス「Legal Graph」を横断的に検索　必要な情報を AIが抽出し、調査業務 のスピードと精度を飛躍的に向上させます 信頼性の高い 文献にもとづいた回答 02 回答には必ず出典があり、また内容も法令、判例、ガイドライン、 専門家が書いた書籍など、内容の信頼性を確保します　曖昧な情報 ではなく、法務の現場で使える裏付けのある知見を提供します 複雑な論点の整理・可視化 03 複雑なテーマもAIが自動で論点を分解し、整理します　これにより 調査の出発点がクリアになり、検討のスピードが格段に上がります 23 Legal Brain エージェントが提供する機能
24. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 1. 新技術を使った可能性提示・PoC作成はエンジニアが主導しよう 2. ドメインエキスパートとの協働体制を整備し、 自らもドメインに詳しくなろう 3. 積極的にアプリケーションの作り直しを行ってよい 4. データスキーマは作り壊しが難しいことに留意すべし 紹介するプラクティス 24
25. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 1. 新技術を使った可能性提示・PoC作成はエンジニアが主導しよう 2. ドメインエキスパートとの協働体制を整備し、 自らもドメインに詳しくなろう 3. 積極的にアプリケーションの作り直しを行ってよい 4. データスキーマは作り壊しが難しいことに留意すべし 紹介するプラクティス 25
26. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 26 1. LLMや AI Agent, RAGなどについて、技術が市場に出始めたころはどこにも知 見がない 2. 実際にプロダクトとしてどのように活用できるのかわからないことも多い 新技術を使った可能性提示・PoC作成は エンジニアが主導しよう そこで、技術の専門家であるエンジニアは、 どのような可能性をもった技術なのか、応用可能性について 積極的にPoCなどの形で提示するとよい
27. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 27 新技術を使った可能性提示・PoC作成は エンジニアが主導しよう Legal Brain エージェント開発においては...技術的に何ができるのかわからなかった MLの知見がない 開発開始の2024年頃は、ようやくLLMのChatBot以外の使い方が知られ始めたころ 一体RAGを組んでどのような精度で結果が出てくるのか誰も知らなかった MCPが策定された頃も ユースケース紹介はあるが、よくわからなかった エンジニアが簡単なプロトタイプを実装し触れる状態にすることで、技術の可能性の理解 がチーム全体で進み、プロダクトのアイデアやユースケース、解決できそうな課題のあた りがつき始め、プロダクト開発が飛躍的に進み始めました
28. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 1. 新技術を使った可能性提示・PoC作成はエンジニアが主導しよう 2. ドメインエキスパートとの協働体制を整備し、 自らもドメインに詳しくなろう 3. 積極的にアプリケーションの作り直しを行ってよい 4. データスキーマは作り壊しが難しいことに留意すべし 紹介するプラクティス 28
29. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 29 ドメインエキスパートとの協働体制を整備し、 自らもドメインに詳しくなろう 1. ドメイン理解がないまま作ったRAGワークフローやAgentは、実際にユーザー が直面している問題と乖離しがち 2. Agentの動作や、RAGワークフローを作るためには、現実世界でユーザーがし ている動きが参考になることが多い そこで、RAGプロダクトを作るエンジニアは、ドメインエキスパートと協働した り、自らがユーザーのやっていることを試してみるとよい
30. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 30 ドメインエキスパートとの協働体制を整備し、 自らもドメインに詳しくなろう そもそも、リーガルリサーチというのは何が難しいのか、調べ物と何が違うのかわかっ ていなかった 社内のドメインエキスパート(弁護士) と一緒に、リーガルリサーチを体験す ること 行政書士やビジネス法務検定など、ドメイン知識の勉強をすること これらのことで、ユーザーが直面している課題について詳しくなることがで き、解決策が実際に苦しみから生まれるものになった
31. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 31 ドメインエキスパートとの協働体制を整備し、 自らもドメインに詳しくなろう どれだけドメイン知識をつけても、動作 の良し悪しの評価は難しい ペアプロプロを実施してみた ドメイン知識の吸収・速やかな プロダクトの実装ができる
32. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 1. 新技術を使った可能性提示・PoC作成はエンジニアが主導しよう 2. ドメインエキスパートとの協働体制を整備し、 自らもドメインに詳しくなろう 3. 積極的にアプリケーションの作り直しを行ってよい 4. データスキーマは作り壊しが難しいことに留意すべし 紹介するプラクティス 32
33. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 33 積極的にアプリケーションの作り直しを行ってよい 複雑なコードやシステムで解こうとしていた問題が、 LLMやプラットフォーム、 ライブラリの進化で解く必要がなくなることも　むしろ足枷に GPT-4 時代、LLMの出力の質を一定にたもつため、複雑なプロンプトや、多段の Workflowを組み 込んだが... 最新のLLMではシンプルなプロンプトとWorkflowで動くように Workflowを作り込むより、Agent化して動かす方が、速く、しかも性能が高くなる たくさんのAPIを使ってもらうために複雑なTool Callを作っていたが MCPとの組み込みをやるだけでよくなった 技術の成長速度がとても早い場合、アプリケーションの作り直しを 積極的に実行する
34. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 34 積極的にアプリケーションの作り直しを行ってよい Legal Brain エージェント開発においては... LangChain / LangGraphの導入 リリース後にフレームワークなしの RAGワークフロー実装コードを放棄 LangChain / LangGraphで書き直し　構造化されたチェーン処理へ移行 検索ロジック全体の見直し 単純なベクトル検索から、Graph DBを活用したハイブリッド検索へ 数段のWorkFlowや分岐のあるWorkflowを1段のWorkflowへ プロンプトの見直し 複雑な役割プロンプトや指示で構成された古いプロンプトを捨て、 現在のLLMで良いとされる書き方に移行
35. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 35 積極的にアプリケーションの作り直しを行ってよい AI Coding Agentによって、 簡単に数万行のアプリケーションが作れるようになった今 技術の未来をうまく先読みし、構築していくのはとても難しく、 柔軟なシステムの作成の検討をしているうちにシステムは陳腐化していく 一定、強靭なシステムを作るのは諦め、 積極的な作り直しを実施しても技術的にペイする
36. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 1. 新技術を使った可能性提示・PoC作成はエンジニアが主導しよう 2. ドメインエキスパートとの協働体制を整備し、 自らもドメインに詳しくなろう 3. 積極的にアプリケーションの作り直しを行ってよい 4. データスキーマは作り壊しが難しいことに留意すべし 紹介するプラクティス 36
37. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 37 データスキーマは作り壊しが難しいことに留意すべし いくらアプリケーションの作り直しが簡単になったとはいえ、 データスキーマの変更は難しい ユーザーデータの移行、後方互換性を保ちながら ...というところでは、 時間がかなりかかってしまう データスキーマだけは、柔軟性や定義などをしっかりと考えておく必要がある よくできたデータモデル、統一されたデータモデルは、 AI Coding Agentもうまく扱える Legal Brain エージェントでは、 負債となってしまったデータスキーマを統一する作業を行っている
38. Legal Brain エージェントでの AI活用とLLM活用プロダクト開発の戦術について Bengo4.com,Inc. 38 まとめスライド 1. 新技術の可能性はわかりにくい 実際に動くものを提示する価値は大きい 技術の可能性の翻訳者としての役割がエンジニアにはできるはず 2. よりドメイン知識が重要に ドメインエキスパートとの協働や、エンジニア自身が ドメインエキスパートになるつもりでキャッチアップしていくことが重要 3. LLMの進化により最適な実装は変わっていく コードはなんども作り直していく前提として実装し、 LLMの進化に合わせて作り直すのがよい 4. コード部分の作り直しは容易になっても、データは簡単には変えにくい Vibe Data Modelingはまだ難しい　 ここだけは直感だけでなく、思考する必要がまだある