[IBM TechXchange Dojo]Watson Discoveryとwatsonx.aiでRAGを実現!事例のご紹介+座学②

[IBM TechXchange Dojo]Watson Discoveryとwatsonx.aiでRAGを実現!
- 株式会社システムリサーチ様による事例のご紹介
- 座学②

Transcript

1. 2025年 1月 8日 株式会社システムリサーチ Dojo発表資料
2. 2 事例のご紹介
3. 自己紹介 3 ✓毛利 茂弘（Shigehiro Mouri） ✓ 数々のプロジェクトに関わり、様々なアプリケーションシステム、インフラ基盤を中心としたシステム等Project Managerを務める ✓ IBM Technology（Watson Discovery/Watson STT/watsonx.ai/Maximo Visual Inspection）AIを利用したソ リューション提案、デリバリー ✓ IBM Consultingのコアパートナーとしてデリバリー ✓ Deep Learning、Cloud、Mobile、ERP、CRMなど新たなビジネス領域にチャレンジ ✓ 受賞歴 ✓ IBM Japan Excellence Award 2020 ✓ IBM Champion 2021 ✓ IBM Champion 2022 ✓ IBM Japan Excellence Award 2022 ✓ IBM Champion 2023 ✓ IBM Japan Excellence Award 2023 ✓ IBM Champion 2024 ２０
4. 会社紹介 名称 株式会社システムリサーチ 本社所在地 名古屋市中村区岩塚本通二丁目12番 支店 東京支店・大阪支店 設立 1981年3月26日 資本金 5億5,015万円 従業員数 1,572名（単体2024年4月1日現在） 売上高（単体） 232億8,002万円(2024年3月期実績） 証券コード 3771（東証プライム市場） 代表 代表取締役会長 山田 敏行 代表取締役社長 平山 宏 関連会社 株式会社ソエル(特例子会社)：ソフトウェア開発／ウェブサイト制作・構築（障がい者 雇用） 認定等 ISO9001認証取得企業(JQA-QM7891) ISMS認証取得企業(IS 81748/ISO(JIS Q)27001) プライバシーマーク付与事業者（19001186） 労働者派遣事業(許可番号：派23-300001) 東京リューション部 営業所
5. 企業独自の文書から、質問に対する回答文章を自動生成する 生成AI とフェイス・ボットによるチャットをコンテストのテーマとしました コンテスト時のシステム構成 5 Watson Discovery Watson Assistant 質問内容を検索 ユーザー データの やりとりを統制 生成AIの管理操作 検索対象 データ 大規模言語 モデル
6. ランニングコストが高くなったため、 Web Applicationを新たに構築し soul machines & Watson Assistant 以外を活かしたRAGにチャレンジしました 新たなシステム構成 6 Watson Discovery 質問内容を検索 ユーザー 生成AIの管理操作 検索対象 データ 大規模言語 モデル Web Application
7. チャット検索画面 7 • チャット形式でAIに質問をす ることができます。 • 選択されたプロジェクト、コ レクションに含まれるドキュ メントを基にAIが回答を生成 しています。 • 回答生成に利用する言語モデ ルの選択や、出力する文字数 (トークン数)の調整、質問内 容のリフレッシュも可能です。 コレクションを選択するとそのコ レクション内、選択していないと プロジェクト内が文書の検索対象 になります 【AIの回答部分】 デジクエリに事前にアップロードしたス マートフォンの説明書から必要な情報を 検索し、その情報を基に回答を生成して います コレクション等を変更して別の質問がしたい場合に 質問内容のリフレッシュを行います 回答生成時に参考にし たドキュメントの一覧 を表示します。 「PDFを開く」を押すと、PDFの実際のページ を表示することができます。 「この情報は役に立ちました か？」という項目を選択し、 フィードバックを送信すると、 その後の似た質問で、AIが参考 にするドキュメントの優先順位 が変わります。
8. 名古屋大学医学部附属病院様と医療現場における医療機器の取扱説明の使用方法の検索など 業務効率化を目指します 医療現場での活用に向けた共同研究 8 名古屋大学病院様：https://www.med.nagoya-u.ac.jp/hospital/news/press-release/2024/12/23100000.html 弊社HP：https://www.sr-net.co.jp/news/5979/
9. 9 Watson Discoveryを利用するメリット
10. 自己紹介 10 氏名：桑原 武志(Kuwabara Takeshi) 所属：製造システム事業部 経歴： ・2023年入社 ・主に医療関係を担当するSE pythonを利用したwebアプリケーション開発に従事 ▸生成AIを利用したチャットボット ▸医療向けの患者情報入力アプリなど
11. RAGの検索精度向上のカギ 11 Chunking 投入するドキュメントを小さく分割するプロセス。 テキストデータを効率的に扱い、各セグメントの内容を理解しやすくする。 Hybrid Search 複数の検索方法を組み合わせる。 主に「ベクトル検索」と「キーワード検索」を組み合わせて使う。 Re ranking 検索結果を再評価するプロセス。 関連性の高い結果が上位に表示されやすくする。
12. RAGの検索精度向上のカギ 12 Chunking 投入するドキュメントを小さく分割するプロセス。 テキストデータを効率的に扱い、各セグメントの内容を理解しやすくする。 Hybrid Search 複数の検索方法を組み合わせる。 主に「ベクトル検索」と「キーワード検索」を組み合わせて使う。 Re ranking 検索結果を再評価するプロセス。 関連性の高い結果が上位に表示されやすくする。 Discovery UI上で扱える
13. ドキュメント分割が楽 13 SDU(Smart Document Understanding) 非構造化データの文書構造を理解し、検索の精度を向上させる機能
14. ドキュメント分割が楽 14 電源を入れる １．サイドキーを2秒以上押す ・起動画面が表示され、続い・・・ ・初めて電源を入れたときは・・・ ２．画面をスワイプ 電源を切る １．サイドキーを1秒以上押す ２．「電源OFF」→「電源OFF」 ・本端末が振動し 電源を入れる １．サイドキーを2秒以上押す ・起動画面が表示され、続い・・・ ・初めて電源を入れたときは・・・ ２．画面をスワイプ 電源を切る １．サイドキーを1秒以上押す ２．「電源OFF」→「電源OFF」 ・本端末が振動し 見出しごとに分割 検索処理の効率化や精度向上が期待できる
15. リランキングがUI上で可能 15 検索結果の再評価をUI上で行うことができます
16. APIを呼ぶだけなので実装が楽 16 query_results = discovery.query( project_id=project_id, collection_ids=[collection_id], natural_language_query=message, passages={ "enabled": True, "find_answers": True, "per_document": True, }, count=5, ).get_result() 上位5件を取得 ユーザーからの質問 ユーザーからの質問内容をそのまま検索クエリとすることで、関連するドキュメントを簡単に取得することができます。
17. 17 Watson discoveryを利用する際の課題
18. Watson discoveryを利用する際の課題 18 • SDUがAPIから使えない • アップロードできるドキュメント数の制限 • 1ファイル10MB以下でないと投入できない
19. アップロードできるドキュメント数の制限 19 プラス エンタープライズ プレミアム 課金単位 文書数 *、検索数 文書数 *、検索数 文書数 * 基本料金 インスタンス部分 - 月額 500 ドル 10,000件の文書を含む 10,000 クエリを含む インスタンス部分 - 月額 5000 ドル 10万件の文書を含む 100,000 クエリを含む インスタンス部分 - 月額 8,500 ドル 追加の文書(Document) - 追加文書1,000件につき50ドル 0～100万件の場合、追加文書1,000件ごとに月額5ド ル 100万件以上の文書については特別割引が適用されま す サイズに基づくインスタンスパーツ S – 100 万ドキュメント - 月額 1,500 ドル MS - 200 万ドキュメント - 月額 3,000 ドル M – 4M ドキュメント - 月額 5,000 ドル … 追加のクエリ(Query) - 追加クエリ1,000件につき20ドル 0～100万件の場合、追加1,000クエリごとに月額5ド ル 100万件以上のクエリについては、特別割引をご利用 いただけます 該当なし クエリ量はサイズに関連するリソース （CPU/メモリ）によって制限されます 文書数上限 * 50万 無制限（10万超は追加料金） 無制限 コレクション上限数 40 300 300 クエリー数制限 50万クエリー/月 5クエリー/秒 10万～無制限 5クエリー/秒 無制限 50クエリー/秒 プロジェクト上限数 20 100 100 当文書作成時点の情報に基づきます。最新の正確な情報は下記をご参照ください。 https://cloud.ibm.com/docs/discovery-data * 文書数はソースのファイルではなく、Discoveryで分割やエンリッチメント加工した後の文書を指します（CSV, データベースは1行1文書とカウントされます。また取り込んだファイルをSDU機能 で分割した場合は分割した1セグメントが1文書としてカウントされます。）
20. 1ファイル10MB以下でないと入らない 20 Watson Discovery サイズの大きいファイル Watson Discovery 分割して投入する必要有
21. 21 デモ
22. End of Document by