実践マルチモーダル検索！

Transcript

1. © LayerX Inc. 実践マルチモーダル検索！ 2025/10/30 LayerX Ai Workforce事業部 R&D（データ検索基盤）マネージャー しぶい
2. ⾃⼰紹介 shibui yusuke • いろいろ → Stability AI → LayerX（いまここ） • データ検索とR&Dのマネージャー • MLOps & データ検索 & バックエンド & インフラ & その他諸々エンジニア • MLOpsコミュニティ運営 • 最近やりたいこと ⽣成AIの⽣成AI以外のエンジニアリング • Github: @shibuiwilliam • FB: yusuke.shibui 猫のようで サイズは犬 猫耳メガネ LLMに聞いてみた
3. 機械学習を本番システムに組み込む方法を デザインパターンとして整理！ 機械学習を組み込んだ本番システムを 実際にハンズオンで作る！ 【共著】大企業からスタートアップまで、 MLOpsの実践例を集約！ 乞うご期待！ ？？？
4. © LayerX Inc. 4 Ai Workforceは情報利活⽤のハブ 構造化 データ ⽣成 情報検索
5. © LayerX Inc. 5 「知的単純作業」 ドキュメントワークの多くは、思考⼒‧集中⼒が必要であり、その業界‧業務の専⾨性が必要である。 ⼀⽅、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
6. © LayerX Inc. 6 AIワークフロー機能を使って、さまざまな処理をブロックのように組み合わせることで幅広い業務をAIが代⾏。 処理結果に対して根拠の箇所に直接スクロールしてハイライトしてくれるレビュー機能などを備える。 「知的単純作業」 をLLMとAI Agentで解くAi Workforce AIワークフローの構築 業務実行＆レビュー
7. • 実践マルチモーダル検索！ • まとめ
8. © LayerX Inc. 8 ⽣成AIで拡張する情報抽出 { "title": "なぜスタートアップなのか", "description": "イノベーションを創出し、⼤きく成⻑するスター トアップは経済成⻑のドライバーとなる存在であることを⽰すス ライド。特に、⽶国経済ではGAFAMのような新興企業が経済成⻑ を牽引していることを強調している。", "graph_overview": { "graph_title": "⽇本（TOPIX）と⽶国（S&P）における直近10年 間の株式市場のパフォーマンスの推移", "x_axis": "年（2010〜2020）", "y_axis": "騰落率（%）", "data_series": [ { "label": "S&P500（GAFAM含む）", "color": "⻘", "trend": "2010年以降、急上昇し約+900%近くまで成⻑。" }, { "label": "S&P500（GAFAM除く）", "color": "⾚", "trend": "緩やかな上昇。約+200〜300%程度の伸び。" }, { "label": "TOPIX", "color": "黒", "trend": "ほぼ横ばいで推移。成⻑率は+100〜200%程度。" } ] }, "graph_meaning": { "main_message": "GAFAMのような新興企業が⽶国経済成⻑を 牽引しており、それらを除くと⽇⽶の株式市場の成⻑差は⼩さい ことを⽰している。", "insight": "スタートアップや新興企業の存在が経済全体の成⻑ に⼤きな影響を与えており、⽇本でも同様にイノベーションを⽣ み出すスタートアップの育成が重要であることを⽰唆している。" } }
9. © LayerX Inc. 9 検索に登録するデータ 書いてある情報「なぜスタートアップなのか」 コンテンツから抽出した説明「S&P（GAFAM含 む）は2010年から2020年で900%近く成⻑」 ドキュメント全体 XXレポート.pptx ファイル名「XXレポート.pptx」 個々のコンテンツ OCR/VLM VLM Object detection ドキュメント種別「経済分析」「スライド」
10. © LayerX Inc. 10 検索に登録するデータ 書いてある情報「なぜスタートアップなのか」 コンテンツから抽出した説明「S&P（GAFAM含 む）は2010年から2020年で900%近く成⻑」 ドキュメント全体 XXレポート.pptx 個々のコンテンツ OCR/VLM Object detection 全⽂検索 ベクトル検索 ベクトル検索 ベクトル検索 カテゴリ検索 全⽂検索 全⽂検索 ベクトル検索 ファイル名「XXレポート.pptx」 ドキュメント種別「経済分析」「スライド」 VLM
11. © LayerX Inc. 11 検索する⽅法                画像による検索 書いてある情報「なぜスタートアップなのか」 コンテンツから抽出した説明「S&P（GAFAM含 む）は2010年から2020年で900%近く成⻑」 ドキュメント全体 個々のコンテンツ 画像⾔語 ベクトル 画像⾔語 ベクトル カテゴリ検索 全⽂検索 ファイル名「XXレポート.pptx」 ドキュメント種別「経済分析」「スライド」 VLM VLM VLM VLM クエリ画像からテキストを 抽出してカテゴリ、全⽂検索 クエリ画像からベクトルを 作成して類似ベクトル検索
12. © LayerX Inc. 12 検索する⽅法                画像による検索 書いてある情報「なぜスタートアップなのか」 コンテンツから抽出した説明「S&P（GAFAM含 む）は2010年から2020年で900%近く成⻑」 ドキュメント全体 個々のコンテンツ 画像⾔語 ベクトル 画像⾔語 ベクトル カテゴリ検索 全⽂検索 ファイル名「XXレポート.pptx」 ドキュメント種別「経済分析」「スライド」 全般的に作成、調整、テストが⼿間
13. © LayerX Inc. 13 検索する⽅法              テキストによる検索 検索「スタートアップ」 書いてある情報「なぜスタートアップなのか」 コンテンツから抽出した説明「S&P（GAFAM含 む）は2010年から2020年で900%近く成⻑」 ドキュメント全体 個々のコンテンツ 画像⾔語 ベクトル テキスト ベクトル カテゴリ検索 全⽂検索 ファイル名「XXレポート.pptx」 ドキュメント種別「経済分析」「スライド」 VLM LLM
14. © LayerX Inc. 14 検索する⽅法              テキストによる検索 書いてある情報「なぜスタートアップなのか」 コンテンツから抽出した説明「S&P（GAFAM含 む）は2010年から2020年で900%近く成⻑」 ドキュメント全体 個々のコンテンツ 画像⾔語 ベクトル テキスト ベクトル カテゴリ検索 全⽂検索 ファイル名「XXレポート.pptx」 ドキュメント種別「経済分析」「スライド」 作成、調整しやすい 作成、調整が⼿間 画像コンテンツを テキスト検索する 丁度よい⼿法
15. © LayerX Inc. 15 LLMを駆使したスライド検索 情報抽出 検索 インデックス Query understanding & rewrite
16. © LayerX Inc. 16 LLMを駆使したスライド検索 情報抽出 検索 インデックス Query understanding & rewrite LLMのテキスト‧画像認識を 活⽤して、スライドの コンテンツ情報を構造的に 抽出し、検索データとする Title Description Keywords Object
17. © LayerX Inc. 17 LLMを駆使したスライド検索 情報抽出 検索 インデックス Query understanding & rewrite クエリの検索⽬的や⽤途に 応じてスキーマの重みを 調整し、検索性能を向上 Title: 0.1 Description: 0.3 Keywords: 0.1 Object: 0.5 Query 右肩上がりのグラフ
18. © LayerX Inc. 18 LLMを駆使したスライド検索 情報抽出 検索 インデックス Query understanding & rewrite クエリやコンテキストから LLMで意図を理解し、 クエリをリライト Query AI Agentを作りたいけど 作り⽅とかわからないし 最近はOpenAIとか有名だ けどPythonとか‧‧‧ Rewrite AI Agentの作り⽅, OpenAIのAI Agent, PythonのAI Agent開発 初⼼者向け
19. • 実践マルチモーダル検索！ • まとめ
20. © LayerX Inc. 20 実践マルチモーダル検索！まとめ 検索インデックス クエリ 検索手法 コメント メタデータ → タグやカテゴリ タグやカテゴリ カテゴリ検索 これが一番楽。おすすめ テキスト → テキスト テキスト 全文検索 ベクトル検索 データ抽出も調整、テストも やりやすい 画像 → テキスト テキスト 全文検索 ベクトル検索 LLM/VLMを信じて費用対効果が 出せるならOK 画像 → 画像 画像 ベクトル検索 画像が好きなら試すのも有り
21. © LayerX Inc. 21 We are hiring! AI検索エンジニア https://open.talentio.com/r/1/c/layerx/pages/107758 Applied R&Dリサーチエンジニア https://open.talentio.com/r/1/c/layerx/pages/110834 MLOps / 機械学習基盤エンジニア https://open.talentio.com/r/1/c/layerx/pages/112898
22. 実践マルチモーダル検索！ ありがとうございました！