BEYOND THE RAG🚀 ~とりあえずRAG？を超えていけ！ 本当に使えるAIエージェント＆生成AIプロダクトを目指して~ / BEYOND-THE-RAG-Toward Practical-GenerativeAI-Products-AOAI-DevDay-2025

2025/7/18に開催されたAzure OpenAI Service DevDay(AOAI DevDay)2025でお話しさせていただいた資料です。

BEYOND THE RAG🚀~とりあえずRAG？を超えていけ！本当に使えるAIエージェント＆生成AIプロダクトを目指して~
https://aoai-devday.com/
https://azureai.connpass.com/event/354972/

Transcript

1. BEYOND THE RAG🚀 ~とりあえずRAG︖を超えていけ︕ 本当に使えるマルチAIエージェント＆⽣成AIプロダクトを⽬指して~ 2025.07.18 AOAI Dev Day 2025 KDDIアジャイル開発センター株式会社 (KAG) 三宅 潤也(@jnymyk), ろむ/Naoki Sato(@rom6621)
2. 2 KDDI Agile Development Center Corporation はじめに • とりあえずRAG、とりあえずAIエージェントを作っておけばOK︕なフェーズは 終わった😱 ◦ Azureをはじめとしたパブリッククラウド各社・SaaS・OSSのAIプロダクト がどんどん良くなっていき、RAGやAIエージェントの実装ハードルは劇的に 下がった🙌 • ⼀⽅でLLM・⽣成AIを活⽤して組織内の実際の業務で価値を出すための難しさは 変わらず🥺 ◦ 期待通りの価値を出せず幻滅して終わっていくプロジェクト・・・
3. 3 KDDI Agile Development Center Corporation はじめに • 対象🎯 ◦ とりあえずRAGやAIエージェントをやってみたけど思ったように価値が出なかった⼈ ◦ RAGの次を模索している⼈ ◦ LLM・⽣成AIで価値を⽣み出したい⼈ • このセッションのゴール🏁 ◦ LLM・⽣成AIで本当に価値を⽣み出すには︖の実践知(しくじりからの学び)がわかる ◦ とりあえずRAGのその先の選択肢がイメージできる • 精度チューニング・評価 • マルチAIエージェント • MCP
4. 4 KDDI Agile Development Center Corporation まとめ・結論 どう作るか︖の技術はもちろん⼤切だけど、なぜ︖何に使うのか︖が重要💡 • ROIや精度からユースケースを⾒極めた👀︖ • ユースケースとなる業務で実運⽤に必要な精度を⾒極めた👀︖ • 必要な精度を評価できる👀︖ 技術選定や最新技術のキャッチアップに銀の弾丸はなさそう😇 • 幅広くいろいろ触ってみてチームに合うものを⾒極める ◦ マルチAIエージェントフレームワーク: LangGraph, mastra, AutoGen, Semantic Kernel etc… ◦ IaC: Terrform, Bicep • 最新技術のユースケースは技術ドリブン＆ニーズドリブンどっちも⼤事 ◦ ビジネス・企画のメンバーがプロダクト仕様を考えてくれるまでエンジニアは待ち・・・ではなく、 こんなことが出来るよ︕をロール問わず提案していこう👍
5. 5 KDDI Agile Development Center Corporation Who are we? ⽣成AIで本当に使える・価値を出せるプロダクトを KAGで企画・開発してる⼈たちです︕ ろむ / Naoki Sato (@rom6621) KDDIアジャイル開発センター (KAG) ソフトウェアエンジニア • 得意領域 ◦ React ◦ TypeScript • 好きなもの ◦ 野球 ◦ びっくりドンキー MJ / Miyake Junya 三宅 潤也 (@jnymyk) KDDIアジャイル開発センター (KAG) スクラムマスター/ソフトウェアエンジニア ⽣成AI⾃社プロダクト企画・開発チームのとり まとめを担当。 • 好きなもの ◦ アーキテクチャ設計 ◦ CI/CD ◦ ガンダム ◦ オードリー
6. 6 KDDI Agile Development Center Corporation RAGのその先には⾏くには︖ （ビジネスプロセス編）
7. 7 KDDI Agile Development Center Corporation なぜ︖何に使うのか︖の⾒極め • どんな業務に使おうとしているのか👀 • どの部分に︖どのように適⽤していくのか︖ • どんな情報をコンテキストとしてLLMに渡すのか︖ • LLMからどんなアウトプットが得られれば、どんな効果・価値が⾒込めそ うか👀 ◦ ⼈が対応している業務をAIに完全置き換え︖⼀部を省⼒化・効率化︖ ◦ ⼈の対応の質向上︖
8. 8 KDDI Agile Development Center Corporation 本当に使えるものになっているか︖の評価 • ⽣成されたアウトプットの良し悪し（=精度）の評価ができるか︖ • どんなユースケースで、どんなアウトプットを期待するか︖で精度を定義できる • 対象業務次第で完璧なものでなくてもOK👌 ◦ 最初からRagasなどのLLM as a Judgeで全てを評価するのは難しい😢 • 現場の感覚≠Ragasの評価 • ⼈の評価とLLMの評価の相関を⾒て信⽤できるものにしていく
9. 9 KDDI Agile Development Center Corporation [RAGのその先 事例１] 社内問い合わせ・ヘルプデスク業務特化型 AIチャット(KIKIMAS/QAポータル)
10. 10 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(概要)
11. 11 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(何にどう使うのか︖の⾒極め) • 業務プロセスを分解し、⼈とシステムの動きを可視化 • ボトルネックになるポイントと⽣成AIにより改善を図るポイントについて特定 • ⽬指す姿の定義し、社内SaaSとして横展開・共通化可能な範囲を明確化 ビジョン・ゴール策定 プロセスマップ ⽬指す姿の定義
12. 12 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(回答精度の定義・評価) • 社内問い合わせの現場の業務に必要なAI回答精度の⾒極め ◦ 営業・SEによるAIチャットで55%⾃⼰解決できることを⽬標に設定 ◦ 問い合わせ業務のエキスパートと共にAI回答を評価 • ナレッジ(FAQ形式の社内情報)、社内⽂書ファイルの検索チューニング、AIの回答⽣成時 のプロンプトエンジニアリングにより当初50%程度の回答精度から88％へ精度向上を達成
13. 13 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(プロダクトについて) • プロダクトの特徴 ◦ カテゴリによる部署・サービスの検索絞り込み • カテゴリで論理的に分割し異なる部署・サービスでのマルチテナント利⽤が可能 ◦ システム管理者向けナレッジ(FAQ形式のグッドデータ)・社内情報ファイル・カテゴリ 管理機能 ◦ RAG AIチャットボット->サポートスタッフ問い合わせへのシームレスな連携 カテゴリ検索 ナレッジ管理 AIチャット->有⼈問い合わせ切り替え
14. 14 KDDI Agile Development Center Corporation KIKIMAS for QAポータル(アーキテクチャ・技術詳細) • アーキテクチャ ◦ Azureの閉域内で社内⽂書ファイルをセキュアに 取り扱い ◦ RagasによるLLM as a Judge ◦ 社内SaaSとして異なる部署・サービスに拡張可 能なマルチテナント構成 ◦ FAQ形式のナレッジ・社内⽂書ファイル検索を中 ⼼にWeb検索も可能 • 技術詳細 ◦ Azure • AOAI, AppService, AI Search, Azure Functions, CosmosDB, Bing Search ◦ Next.js, TypeScript ◦ Ragas, Python ◦ IaC: Bicep
15. 15 KDDI Agile Development Center Corporation ⾼い回答精度を⽀えるナレッジデータ整備（FAQ⾃動⽣成） • モチベーション ◦ 問い合わせ特化AIチャットにおいて⾼い回答 精度を達成する上でFAQ形式のナレッジデー タが重要 ◦ ⼀⽅で業務エキスパートが多くのリソースを 割いてナレッジを作成・メンテしているため、 省⼒化・効率化が課題 • プロダクトについて ◦ AI FILE2FAQ GENERATOR • 社内⽂書ファイル・過去対応履歴からFAQ を⽣成 ◦ AI FAQ CLEANER • 過去問い合わせ履歴からノイズとなる情報 (個⼈情報・あいさつ等)を削除
16. 16 KDDI Agile Development Center Corporation ⾼い回答精度を⽀えるナレッジデータ整備（FAQ⾃動⽣成） • アーキテクチャ ◦ ワークフロー型のAIエージェント ◦ ワークフローの制御部分(AppService)とツ ール部分(Azure Functions)に分割 ◦ Azure Functions上で柔軟にToolを追加・ 拡張可能 • 技術詳細 ◦ Azure • AOAI, AppService, AI Search, Azure Functions, CosmosDB ◦ mastra, Next.js, TypeScript ◦ Python ◦ IaC: Terraform
17. 17 KDDI Agile Development Center Corporation ふりかえり(社内問い合わせ特化AIチャット・FAQ⾃動⽣成) • よかったこと👍 • 技術ドリブンでエンジニアから動くものベースでビジネスメンバー、ステークホルダーに何を 作るか︖の⽅向性を⽰したこと • しくじり😢 • その業務をどうしていきたいか︖の意志を明確に持っているビジネスメンバーとマッチングし ないと精度評価が⾮常に難しい・・・ • Bing検索APIの廃⽌に直⾯(2025/5/16以降新規デプロイ不可、8/11以降API呼び出し不可) • https://learn.microsoft.com/en-us/bing/search-apis/ • 学び🚀 • 業務エキスパートの属⼈性を排した精度評価へのシフトとLLM as a Judgeの伸びしろ • Azure上で単にWeb検索したいだけでもAIエージェント経由でのBing検索(Grounding with Bing Search)が必須となってしまうこと • https://learn.microsoft.com/en-us/azure/ai-foundry/agents/how-to/tools/bing-grounding
18. 18 KDDI Agile Development Center Corporation RAGのその先には⾏くには︖ （技術編）
19. 19 KDDI Agile Development Center Corporation RAGのその先の技術とは︖ • AIエージェント、特にマルチAIエージェント • LangGraph, mastra, AutoGen, Semantic Kernelなど世はマルチAIエー ジェントフレームワーク戦国時代🔥 • AIエージェント関連の周辺技術: MCP, A2A
20. 20 KDDI Agile Development Center Corporation RAGのその先の技術とは︖ • 選択肢は⾊々あるけど結局何が⼤事なんだろう︖ ◦ 地に⾜のついたユースケースと実践あるのみ💪 ◦ これが圧倒的な勝者︕みたいな解はないので、チームやプロジェクト に合ったライブラリ・ツールを幅広く試してみて⾒極めた上で使って いく🔍
21. 21 KDDI Agile Development Center Corporation RAGのその先の技術とは︖ ◦ 実際に⼿を動かして試してみる🧑💻👩💻 ◦ チーム内であえて⾔語やフレームワークに幅を持たせて技術選定してみる ◦ それぞれ業務課題・組織課題などリアルなお題に取り組んでみて合ったも のを⾒極める チーム サブチーム A サブチーム B LangGraph.js TypeScript Bicep mastra TypeScript / Python Terraform
22. 22 KDDI Agile Development Center Corporation [RAGのその先 事例2] KAG組織課題解消にむけた マネージャーAIエージェント
23. 23 KDDI Agile Development Center Corporation AIエージェントとは 諸説あるけど⼤きく分けて以下2つ • 完全⾃律型 ◦ プロンプトを与えるとAIエージェントが⾃律的に⾏動し、タスクを実⾏する • ワークフロー型 (Agentic Workflow) ◦ 予め構築したワークフローの中でAIエージェントを⾏動させる
24. 24 KDDI Agile Development Center Corporation AIエージェントとは 諸説あるけど⼤きく分けて以下2つ • 完全⾃律型 ◦ プロンプトを与えるとAIエージェントが⾃律的に⾏動し、タスクを実⾏する • ワークフロー型 (Agentic Workflow) ◦ 予め構築したワークフローの中でAIエージェントを⾏動させる ← 今回はこっちの話
25. 25 KDDI Agile Development Center Corporation KAGにおけるAIエージェントに関する取り組み • 資料作成やMTGの議事録作成 ◦ Google WorkspaceやGemini • コーディング業務での活⽤ ◦ GitHub Copilot AgentやCline • ⼀⽅でその他の業務では活⽤し切れていない → AIエージェントを⽤いたアプリケーションで業務効率化を⾏うことができないか
26. 26 KDDI Agile Development Center Corporation モチベーション • AIエージェントによって何ができるかを⽰したい ◦ 時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 • MCPなどの最新技術のキャッチアップ
27. 27 KDDI Agile Development Center Corporation モチベーション • AIエージェントによって何ができるかを⽰したい ◦ 時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 →マネージャーへのインタビュー、 なぜ︖何を作るのか︖の⾔語化 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 • MCPなどの最新技術のキャッチアップ
28. 28 KDDI Agile Development Center Corporation インタビュー • マネージャーへのインタビューを実施 ◦ 複数⼈のマネージャーにインタビュー ◦ 業務上で困っていることやAIに置き換えられそう な業務はないか︖ • インタビュー内容から業務課題を洗い出し ◦ 内容の付箋出し・カテゴライズ ◦ 課題解決をするためにはどうすればよいのか︖ → インタビューの結果、勤怠管理に課題
29. 29 KDDI Agile Development Center Corporation なぜ︖何を作るのか︖の⾔語化 • インセプションデッキの作成 ◦ 我々はなぜここにいるのか︖ ◦ エレベーターピッチ ◦ やること・やらないこと ◦ トレードオフスライダー • 作成の意図 ◦ 開発チームの⽬線合わせ ◦ 本来の⽬的を⾒失わないように
30. 30 KDDI Agile Development Center Corporation 勤務管理AIエージェントのワークフロー 36協定への 抵触チェック スタート Slackに通知 チェック 情報取得 結果出⼒ 勤務ルールの 取得 通知を ⾏うか 終了 勤務状況の 取得
31. 31 KDDI Agile Development Center Corporation モチベーション • AIエージェントによって何ができるかを⽰したい ◦ 時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 →マネージャーへのインタビュー、 なぜ︖何を作るのか︖の⾔語化 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 → AIエージェントのフレームワークやデザインパターンの⽐較・検討の実施 • MCPなどの最新技術のキャッチアップ
32. 32 KDDI Agile Development Center Corporation フレームワークの⽐較 • ワークフローの実装にあたってフレームワークの⽐較から開始 ◦ 様々な観点からのマトリクスを作成 ◦ 実際にチュートリアルをやってみる • ⽐較の結果、LangGraph.jsを採⽤することに決定 ◦ Web上の参考⽂献の多さ ◦ チームがJS(TS)に慣れていた ◦ サーバーレス環境へのデプロイの容易さ
33. 33 KDDI Agile Development Center Corporation デザインパターンの⽐較 • LangGraphが提唱するマルチAIエージェントのデザインパターンがいくつか存在 ◦ 今回のユースケースにはどのパターンが適しているかをチーム内で議論 • 議論の結果、以下2つを実装してみてアウトプットの⽐較を⾏なっていくことに ◦ カスタム型 (開発者が予め構築) ◦ スーパーバイザー型 (親エージェントが⾃律⾏動)
34. 34 KDDI Agile Development Center Corporation モチベーション • AIエージェントによって何ができるかを⽰したい ◦ 時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 →マネージャーへのインタビュー、 なぜ︖何を作るのか︖の⾔語化 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 → AIエージェントのフレームワークやデザインパターンの⽐較・検討の実施 • MCPなどの最新技術のキャッチアップ → なるべく最新技術を使⽤したアーキテクチャの設計・実装
35. 35 KDDI Agile Development Center Corporation マルチAIエージェントのアーキテクチャ カスタム型 (開発者が予め構築) スーパーバイザー型 (AIが⾃律的に⾏動)
36. 36 KDDI Agile Development Center Corporation AIエージェントにどこまで委任させるか • King Of TimeのAPIはユーザーごとの勤務情報を取得できない ◦ 所属部署ごとに取得可能 ◦ 個⼈ごとの情報は取得不可、、、😫 • APIをラップしたMCPサーバーを実装した場合、AIエージェントが認可を⾏うことになる ◦ AIエージェントが暴⾛した場合、予期せぬ情報が通知されてしまう可能性がある ◦ AIエージェントに認可まで任せることは現状難しい...︖ • ⼀⽅でMCPサーバーに認可を組み込むことは可能 ◦ ヘッダーにAPIキーを指定し認証認可 ◦ OAuthによる認証認可
37. 37 KDDI Agile Development Center Corporation MCPサーバーに対する簡易的な認証認可 • ワークフロー発⽕時に社員番号が渡される ◦ MCPサーバーへの接続時に社員番号を指定 • ヘッダーに社員番号を付与 ◦ → 認証 • MCPサーバーに社員番号から勤務情報を絞り込むロジックを実装 ◦ → 認可
38. 38 KDDI Agile Development Center Corporation Azure Functions MCPトリガーの制約 • 当初はAzure FunctionsのMCPトリガーを⽤い て実装していた • MCPトリガーだとヘッダー値を取得することがで きない ◦ やり⽅わかる⽅いたら教えてください🙇 • King Of Time MCPはAppServiceにデプロイ ◦ Streamable HTTPトランスポートを使 ⽤ ◦ HTTPサーバーとして動作 ◦ ヘッダー対応してください😭
39. 39 KDDI Agile Development Center Corporation Azure Functions MCPトリガーの制約
40. 40 KDDI Agile Development Center Corporation [再掲]モチベーション • AIエージェントによって何ができるかを⽰したい ◦ 時間単価が⾼いマネージャーをより創造的な仕事に集中させたいという 組織課題 →マネージャーへのインタビュー、 なぜ︖何を作るのか︖の⾔語化 • 開発チーム内でAIエージェントの知⾒を深めたい ◦ プロジェクト始動前は「AIエージェントとは︖」という状態 → AIエージェントのフレームワークやデザインパターンの⽐較・検討の実施 • MCPなどの最新技術のキャッチアップ → なるべく最新技術を使⽤したアーキテクチャの設計・実装
41. 41 KDDI Agile Development Center Corporation ワークフローのデモ カスタム型 (ワークフロー型)
42. 42 KDDI Agile Development Center Corporation ワークフローのデモ 出⼒の⽐較 カスタム型 スーパーバイザー 型
43. 43 KDDI Agile Development Center Corporation ふりかえり(マネージャー勤務管理AIエージェント) • よかったこと👍 • AIエージェントの⾃分たちに合う開発フローが⾒えてきた • ヒアリング・要件の整理→ワークフローへの落とし込み→チューニング • しくじり😢 • ツールではなくMCPサーバーを使う意義を明⽰できなかった • 認証認可が簡易的なので共通基盤としての利⽤が難しい • AIエージェントに代替させる仕事に対する認識・表現🔥 • その仕事はブルシットジョブではない。さまざまな背景・理由があってその仕事が存在している。 • その仕事のドメインエキスパートへの敬意を忘れずに︕ • 学び🚀 • カスタム型とスーパーバイザー型の⽐較・⾒極めがむずかしい • 今回のユースケースだと出⼒がほぼ同じ • 決まった順番で確実にツール実⾏させたいならカスタム型、より創造的なユースケースだとスーパーバイザー型︖ • AIエージェントに実際の業務データ(勤務時間ログなど)を渡すハードルの⾼さ • 本番データ連携に必要な調整にかけた時間>>>AIエージェント設計・開発にかけた時間 • まずは必要な本番データのみ個別にAPIで取ってきてモックで開発が吉👍
44. 44 KDDI Agile Development Center Corporation [再掲]まとめ・結論 どう作るか︖の技術はもちろん⼤切だけど、なぜ︖何に使うのか︖が重要💡 • ROIや精度からユースケースを⾒極めた👀︖ • ユースケースとなる業務で実運⽤に必要な精度を⾒極めた👀︖ • 必要な精度を評価できる👀︖ 技術選定や最新技術のキャッチアップに銀の弾丸はなさそう😇 • 幅広くいろいろ触ってみてチームに合うものを⾒極める ◦ マルチAIエージェントフレームワーク: LangGraph, mastra, AutoGen, Semantic Kernel etc… ◦ IaC: Terrform, Bicep • 最新技術のユースケースは技術ドリブン＆ニーズドリブンどっちも⼤事 ◦ ビジネス・企画のメンバーがプロダクト仕様を考えてくれるまでエンジニアは待ち・・・ではなく、 こんなことが出来るよ︕をロール問わず提案していこう👍
45. Be a Change Leader. アジャイルに⼒を与え 共に成⻑し続ける社会を創る