AI Search (Foundry IQ) におけるRAGデータの準備と配置

https://sqlserver.connpass.com/event/409713/　登壇資料

Transcript

1. AI Search (Foundry IQ) における RAGデータの準備と配置 Microsoft MVP for Data Platform 永田 亮磨 (ZEAL CORPORATION) X: @ryomaru0825 Linkedin: ryoma-nagata-0825 Qiita: ryoma-nagata
2. 自己紹介 永田 亮磨(Ryoma Nagata) • Microsoft MVP for Data Platform • Databricks Solutions Architect Champion • 株式会社ジール • Microsoft Data Analytics Solution の導入など • 主な活動場所 • Qiita : @ryoma-nagata • X（Twitter） : @ryomaru0825 • connpass : • JSSUG (Japan SQL Server User Group) • JEDAI - The Data & AI Meetup よく触るデータサービス Microsoft Fabric / Databricks / Purview Data Governance
3. LinkedIn Learning で Fabric の学習コースを公開しています！ 「Microsoft Fabric 入門」へようこそ | LinkedInラーニング
4. 2026/10/06 Fabric 本を出版しました！ Microsoft Fabric入門 | 技術評論社
5. おしながき  Microsoft IQ における AI Search の位置づけと特長  RAG データの準備と取り込みについて  データフロー設計の判断ポイント、例
6. Microsoft IQ エージェントのコンテキストを4つの領域から強化する データ活用層 AI エージェント 追加コンテキストとして使用 コンテキスト 強化層 Microsoft IQ Fabric IQ Foundry IQ Work IQ Web IQ ビジネスとデータ ビジネスナレッジ ビジネス コンテキスト 外部動向 コンテキスト https://learn.microsoft.com/en-us/microsoft-iq/
7. Microsoft IQ における AI Search の位置づけ Fabric IQ Foundry IQ Work IQ Azure AI Search Foundry IQ を支える検索・インデックス基盤 ナレッジの取り込みと検索を担当 https://learn.microsoft.com/en-us/azure/foundry/agents/concepts/what-is-foundry-iq Web IQ
8. AI Search の特長 検索と取り込みを一体で提供 別の処理基盤で実施したほうがいいこと Agentic RAG クエリ計画、複数の検索、結果の統合 ハイブリッド検索 キーワード検索とベクター検索を統合 インデクサー＋スキルセット AI処理、チャンキング、ベクター化 利用時 • 複雑な集計・計算 →BI / DWHなど 取り込み時 • 複雑な加工 • 別データとの結合 →Python など https://learn.microsoft.com/en-us/azure/search/search-features-list
9. RAG プロジェクトでの AI Search 設計の大まかな流れ 1 要件整理 2 インデックス設計 3 データフロー設計 対象情報と利用方法 情報の検索のされ方 必要な情報の作り方
10. RAG プロジェクトでの AI Search 設計の大まかな流れ 今日はここ 1 要件整理 2 インデックス設計 3 データフロー設計 対象情報と利用方法 情報の検索のされ方 必要な情報の作り方
11. RAG データの準備と取り込み：2つの方式 インデックスに取り込まれる情報をどこで生成するかによって必要な準備が異なる 事前に準備する データソース 加工・構造化 インデクサー +スキルセット インデックス 直接取り込む データソース インデクサー＋スキルセット https://learn.microsoft.com/en-us/azure/search/vector-search-integrated-vectorization インデックス
12. データを準備してから取り込む方法 原文・画像 事前準備・構造化 インデクサー +スキルセット 検索索引 事前準備で制御する内容 インデクサー+スキルセットの 主な内容 チャンクの範囲を業務ルールで制御 チャンクのベクター化 文字の整形・置換などのルールベース処理 フィールドへのマッピング 他の情報と結合してメタデータを付与 インデックスへの格納 画像のテキスト化などのAI処理 構成例：業務固有の加工を上流へ集め、検索用データを整えて渡す https://learn.microsoft.com/en-us/azure/search/vector-search-integrated-vectorization
13. データソースから直接取り込む方法 AI Search のインデクサーにスキルセットを構成し、取り込みの中で処理する インデクサー＋スキルセットの処理範囲 原文の抽出 OCR・AI処理 チャンキング ベクター化 インデックス格納 向いているケース 事前に確認すること 標準的な分割・AI処理で データソースとスキルの対応範囲 必要な検索用データを作れる 処理時間、料金、モデルの制限 https://learn.microsoft.com/en-us/azure/search/cognitive-search-concept-intro
14. 重要注意事項：AI Searchインデクサーの更新・削除の反映はデータソースで異なる 更新を検知できても、削除が自動で反映されるとは限らない データソース 新規・更新 削除 Azure Blob Storage 更新日時を使って差分検知 カスタムメタデータで論理削除 メタデータの付与設計が必要 Azure SQL Database SQL変更追跡 または High Water Mark SQL変更追跡の条件を満たす構成 または論理削除列を利用 OneLake（Files） ※Tablesは不可 ファイル・メタデータの差分検知 カスタムメタデータで論理削除 S3・GCSショートカットは削除検知非対応 SharePoint （プレビュー） 新規・変更コンテンツを差分検知 次回インデクサー実行で削除を検知 対応する検索ドキュメントを削除 回避策：インデクサーで要件を満たせない場合は Push API を検討 送信側で更新対象を判定して送信し、削除対象のキーを指定して削除要求を行う チャンク化した場合は、親文書と子チャンクのキー・削除範囲も確認 更新間隔、削除ポリシー、失敗時の再実行をセットで確認 https://learn.microsoft.com/en-us/azure/search/search-how-to-index-azure-blob-changed-deleted
15. データフロー設計の判断軸 検索に使う情報へ、独自の加工が必要か 必要：業務ルール・結合・独自の分割 事前準備して取り込む 不要：標準スキルで必要な情報を作れる 直接取り込む 加えて、 インデックスへの反映、差分取得や、更新・削除の反映を踏まえてデータフローを設計する https://learn.microsoft.com/en-us/azure/search/search-what-is-azure-search
16. データフロー 例①：SharePoint の PDF を直接取り込む AI Search のインデクサー＋スキルセットで処理する AI Search ソース AI処理 ベクター化 インデックス SharePoint PDF AI Search スキル 構造化・チャンク化 AI Search 埋め込みスキル AI Search Index ポイント： • SharePoint 上のドキュメントをそのまま取り込む。チャンクはAI Search スキルに依存するため、 生成されるドキュメントのサイズに注意 • SharePoint のアクセス権を検索結果の絞り込みに利用できる（プレビュー） https://learn.microsoft.com/en-us/azure/search/search-indexer-sharepoint-access-control-lists
17. データフロー 例②：OneLake テーブルを取り込む 既存テーブルの検索用テキストをベクター化する OneLake SQL DB AI Search ソース 変換加工 ベクター化 インデックス OneLake テーブル SQL DB 転送・格納 AI Search 埋め込みスキル AI Search Index ポイント： • AI Search インデクサーにテーブルへのコネクタがないため SQL DB を経由 • SQL DB 側の仕組みで AI Search 変更・削除を検出可能※レイクハウス→ SQL DB の更新は Copy job などで差分反映する https://learn.microsoft.com/en-us/azure/search/vector-search-integrated-vectorization
18. データフロー 例③：OneLake の PDF を事前処理 独自メタデータと構造化済みチャンクを準備して渡す。 OneLake ソース 変換加工 AI処理 OneLake PDF URL結合・独自ロジック メタデータ付与 Content Understanding 構造化・チャンク化 SQL DB AI Search 変換加工 変換加工 ベクター化 インデックス レイクハウス テーブル SQL DB AI Search 埋め込みスキル AI Search Index ポイント： • Content Under Standing やPyhtonの処理で、OneLake 上で事前に構造化、チャンク粒度も制御 • PDF の更新や削除をOneLake上で検出する仕組み（アクティベーターなど）が必要 https://learn.microsoft.com/en-us/azure/ai-services/content-understanding/overview
19. データフロー 例④：SharePoint を OneLake 経由で処理 ショートカットで参照し、独自の前処理を加える OneLake ソース ソース 変換加工 AI処理 SharePoint PDF OneLake ショートカット URL結合 独自ロジックで メタデータ付与 Content Understanding 構造化・チャンク化 SQL DB AI Search 変換加工 変換加工 ベクター化 インデックス レイクハウス テーブル SQL DB AI Search 埋め込みスキル AI Search Index ポイント： • SharePointの更新をOneLakeでは検出できないため、Graph API （Delta Link）などでの対処が必要 https://learn.microsoft.com/en-us/fabric/onelake/shortcuts/create-onedrive-sharepoint-shortcut
20. まとめ  検索で使いたい情報から逆算して、データ準備の内容を設計する。  更新・削除の反映まで含めて、データの置き場所や取り込み方式を決める  必要に応じて、準備を行うサービスを役割分担させる
21. 参考リンク集 Foundry IQ の概要 Microsoft IQ の全体像 SharePoint のインデックス化（プレビュー） learn.microsoft.com/enus/azure/foundry/agents/concepts/what-is-foundry-iq learn.microsoft.com/en-us/microsoft-iq/ learn.microsoft.com/en-us/azure/search/search-how-toindex-sharepoint-online AI Search の機能一覧 Agentic retrieval Content Understanding の概要 learn.microsoft.com/en-us/azure/search/search-features-list learn.microsoft.com/en-us/azure/search/agentic-retrievaloverview learn.microsoft.com/en-us/azure/ai-services/contentunderstanding/overview 統合ベクター化 ハイブリッド検索 Content Understanding スキル learn.microsoft.com/en-us/azure/search/vector-searchintegrated-vectorization learn.microsoft.com/en-us/azure/search/hybrid-searchoverview learn.microsoft.com/en-us/azure/search/cognitive-searchskill-content-understanding AI エンリッチメント Azure SQL のインデックス化 SharePoint ショートカット learn.microsoft.com/en-us/azure/search/cognitive-searchconcept-intro learn.microsoft.com/en-us/azure/search/search-how-toindex-sql-database learn.microsoft.com/en-us/fabric/onelake/shortcuts/createonedrive-sharepoint-shortcut Blob の更新・削除検知 Push によるインデックス更新 複数文書への解析と削除の制約 learn.microsoft.com/en-us/azure/search/search-how-toindex-azure-blob-changed-deleted learn.microsoft.com/en-us/azure/search/search-how-toload-search-index learn.microsoft.com/en-us/azure/search/search-how-toindex-azure-blob-one-to-many AI Search の概要 OneLake のインデックス化 SharePoint の権限（ACL）の取り込み learn.microsoft.com/en-us/azure/search/search-what-isazure-search learn.microsoft.com/en-us/azure/search/search-how-toindex-onelake-files learn.microsoft.com/en-us/azure/search/search-indexersharepoint-access-control-lists