『RAGシステムの作り方教えます』 株式会社NTT ExCパートナー 堀内 周氏

※『生成AIの衝撃から2年、リアルな取り組みと この先を考える』webセミナーのアーカイブ（2025年3月26日）
※その他概要はこちら→https://techplay.jp/event/973701

Transcript

1. RAGシステムの 作り方教えます 2025 3 26 NTT ExCパートナー 堀内 周 生成AIにお絵描きさせたら スペル間違えていました。。。
2. 2023年12月から検討を開始した、我々のRAGシステムの取り組みについて ご紹介したいと思います 2 Session 4. RAGだけじゃ終わらない やっぱり AI Agent化 Session 1. 導入までの あんなこと Session 2. 導入してみて おっ！あれれ？ なこと Session 3. 図、表、フロチャートの 理解って 1 2 3 4
3. SESSION １ 導入までの あんなこと 3
4. SESSION１ 導入までのあんなこと ビジネス課題は、サポートデスクの効率化 ➢ NTTグループ各社に提供する共通のITシステム  提供システムに関する問合せ窓口 サポートデスクの設置  Webチケットシステムによる 問合せの受付 回答  RAGシステムを使うのはオペレータ ➢ サポートデスクの課題  オペレータの知識のばらつき  膨大なマニュアル、参考資料を元に問合せ対応 RAGシステム 回答案 参照した FAQ ①問合せ ②内容精査 ④回答作成 ⑤回答 FAQ ③生成AI 回答案生成 ナレッジDB LLM 利用ユーザ ナレッジDBに登録する データは過去問合せ実績 から作成したオペレータ 用のFAQ
5. SESSION１ 導入までのあんなこと R と A の評価 ➢ 2023年12月から4か月間にわたるPoC  オペレータの過去実施データを元に評価データを作成  と について 繰り返し評価 ➢ 問合せ要約文のチューニング ◼ Rが◦、Aが◦になるように ➢ ナレッジDBに登録しているFAQデータの修正 ◼ Aが◦になるように 問合せ原文 回答に使用した FAQ-No. 実際の回答 評価データ 問合せ要約文 RAG 参照したFAQ RAGの回答 Ｒ Ａ Ｒ Ａ Ｒ Ａ 評価 ◦ × Ｒ Ａ ◦ ◦ Ｒ Ａ × × 検索結果 回答結果
6. SESSION１ 導入までのあんなこと 正答率の確保 そして ヒット率 ➢ と の結果からのチューニングで 正答率を確保 ➢ 実際の問合せに対しての ヒット率 に 着目 Ｒ Ａ 正答率 RAGのナレッジDBに答えとなるFAQがあることを 前提に、問合せをした際に、どのくらい正しく正 解が生成されるか ヒット率 実際の問合せ内容に対して、ナレッジDBに登 録されているFAQで、どの程度回答をカバー できるか 正答率の確保を目的として、PoCを実施 91%の正答率の確保をもって、本格運用移行を判断
7. SESSION ２ 運用してみて おっ！ あれれ？ なこと 7
8. SESSION１ 運用してみて、おっ！ あれれ？ なこと 結構 業務短縮できそう ➢ 2024年４月から運用開始  RAGシステムが活用できると 平均 31分の削減 RAGシステム活用 既存の方法での対応 効果 平均稼働時間 6分 37分 -31分 最大 24分 1時間40分 -1時間16分 最小 1分 6分 -5分
9. SESSION１ 運用してみて、おっ！ あれれ？ なこと 思ったほど、回答が返ってこないね ➢ サポートデスクにて 2024年４月から 実稼働 ➢ ヒット率を上げるために、FAQを増やしていこう ヒット率 問合せ総件数に対して４／５は、RAGを活かしきれていない 結果に ２１％ FAQの登録数を増やしナレッジDBを拡張 FAQ：1,000件 FAQ：3,000件 ４８％ ナレッジデータとして FAQ での限界 ・テキスト文のみで、操作方法の詳細までカバーできない ・過去問合せのあったものへの対応はできても、新規内容に対応ができない
10. SESSION１ 運用してみて、おっ！ あれれ？ なこと やっぱり 操作マニュアル や 操作ガイドを 取り込まないと ➢ 2024年12月 RAGシステムを刷新 RAGシステム 回答案 参照した FAQ ナレッジDB LLM ナレッジデータとして ・操作マニュアル、操作ガイドなど 図、表、フローチャートが混在した ドキュメントデータを取り込み Retrieval（検索部）として ・セマンティック・ベクトル検索の ハイブリッド化 ・ナレッジグラフによる検索
11. SESSION ３ 図、表、 フローチャートの 理解って 11
12. SESSION３ 図、表、フローチャートの理解って マニュアルに、こんな表での説明がありませんか？ ◎ ◎ △ ◦ ◎ △ ◦ ◎ △ ◦ ◎ △ ◦ ◎ △ ◦ ◎ △ ◦ △ ◎ ◦ 部 長 Ⅰ. 経営に関する基本事項 ◎決定・承認　〇起案　△協議・検討 ： 　２．定款附属規定の改廃 　中長期経営計画方針の決定 　年間経営計画方針の決定 　　　定款変更案の承認 　中長期経営計画の決定 課 長 　　権限事項 権限区分 　１．定款の変更 株 主 総 会 取 締 役 会 社 長 経 営 会 議 担 当 役 員 　年間経営計画の決定 ： Ⅱ. 経営計画に関する事項 　四半期経営実績の承認
13. SESSION３ 図、表、フローチャートの理解って 新RAGシステムで マニュアルそのものをナレッジDBへ取り込み ➢ マニュアルに、こんな表での説明がありませんか？  表形式で説明されているものは人間にはわかりやすく RAGシステムは理解しにくいものになります  「中長期経営決定の権限はだれになりますか？その 起案者は誰になりますか？」 と 質問したときに RAGシステムから 「決定権限は取締役会となり、起案者は部長になり ます」 と 答えさせたいですよね ヒット率 ８６％ これ、できました！！ ◎ ◎ △ ◦ ◎ △ ◦ ◎ △ ◦ ◎ △ ◦ ◎ △ ◦ ◎ △ ◦ △ ◎ ◦ 部 長 Ⅰ. 経営に関する基本事項 ◎決定・承認　〇起案　△協議・検討 ： 　２．定款附属規定の改廃 　中長期経営計画方針の決定 　年間経営計画方針の決定 　　　定款変更案の承認 　中長期経営計画の決定 課 長 　　権限事項 権限区分 　１．定款の変更 株 主 総 会 取 締 役 会 社 長 経 営 会 議 担 当 役 員 　年間経営計画の決定 ： Ⅱ. 経営計画に関する事項 　四半期経営実績の承認
14. SESSION ４ RAGだけじゃ 終わらない やっぱりAI Agent化 14
15. SESSION４ RAGだけじゃ終わらない やっぱり AI AGENT化 AI AGENT って ➢ 最近よく聞く 「AI Agent 」 我々は 次のように定義しました  複数のAIモジュールが、それぞれつながり合い、 AI – AI を実現し、人手の介在しない AIシステム  究極のイメージ アメリカ サンフランシスコで走っている 自動運転タクシー Waymo ➢ 目指すAI Agent化  AI – AI を 実装することによって、思いもよらない相乗効果が出てきます  入り口も、出口も 人であり、インプット、アウトプット デバイスが重要と考えます  AI – AI で うまくいかないときも 人につなげます ➢ RAGシステムは AI Agent における AIモジュールの一つ  RAGシステム利用の前後には、様々な業務があり、その前後をAIモジュールに置き換えて AI Agent化を目指しています サンフランシスコにて撮影
16. SESSION４ RAGだけじゃ終わらない やっぱり AI AGENT化 サポートデスク 究極 （究極のですよ） の 姿... 質問 更問 問合せ受領 理解/分類 問合せ要約 RAG投入 返答文作成 返答 [エスカレーション］ 分類AI 回答校正AI 要約AI 返答 更問 問合せ 原文 問合せ 文 問合せ 要約文 回答文 参照文 書 回答精度 判断AI 回答文 最終 返答文 更問あれば 最初から AIが問い合わせ内容を分類・理解 問合せ内容を分類し自動でエスカレーション や 問い合わせ内容の要約の自動化をする 問合せ 要約文 １ RAG 回答不能 調査 返答文作成 問合せ 原文 最終 返答文 各種 マニュアル １ 問合せ原文 問合せ文 問合せ要約文 回答の精度判断や校正をAIで 回答文を判定し、回答精度をスコアリングし、自動判断。 質問文に対して回答精度が低い場合は、回答不能と判断し、 オペレータでの調査に移行する。 回答根拠確認
17. こうした、チューニングや適切な問合せ文章の生成も、今後おそらく生成AIの進化によって、解決していく領域 なのだと、日々の取り組みのなかで、ひしひしと感じております。 17 RAGシステムの導入・運用において、業務知識を持った有スキル者による 精度向上をはじめとした地道なチューニングが不可欠 だと 感じています
18. ご清聴、感謝いたします