2026年はチャンキングを極める！

2026/01/28　Search Engineering Tech Talk 2026 Winter登壇資料
https://search-tech.connpass.com/event/378445/

Transcript

1. © LayerX Inc. 2026年はチャンキングを極める！ 2026/01/28 LayerX Ai Workforce事業部 R&D、データ検索基盤マネージャー しぶい
2. ⾃⼰紹介 shibui yusuke • いろいろ → Stability AI → LayerX（いまここ） • データ検索とR&Dのマネージャー • MLOps & データ検索 & バックエンド & インフラ & その他諸々エンジニア • MLOpsコミュニティ運営 • 最近やりたいこと ⽣成AIの⽣成AI以外のエンジニアリング • Github: @shibuiwilliam • FB: yusuke.shibui 猫のようで サイズは犬 猫耳メガネ LLMに聞いてみた
3. 機械学習を本番システムに組み込む方法を デザインパターンとして整理！ 機械学習を組み込んだ本番システムを 実際にハンズオンで作る！ 【共著】大企業からスタートアップまで、 MLOpsの実践例を集約！ 乞うご期待！ ？？？
4. その書類作業、 AIエージェントで。 業務データから必要な情報を⾒つけ出し、 シームレスに連携することで、 ⽇々の業務をスムーズに。 複雑な作業から解放され、 ⼤切なことに集中できる。 Ai Workforceが、 あなたの可能性を広げます。
5. © LayerX Inc. 5 MUFG様‧三井物産様‧三菱HCキャピタル様‧他⾦融機関‧製造業など 営業 事業投資 コーポ レート 調達 ストファイ (Structured Finance) ファンド 管理 M&A 開発 提案書 ⽣成‧ マスキング 部署 会社 製品 業務 ビジネス ナレッジ 内部監査 ⾒積書 ヘルプ デスク 契約管理 ‧レビュー 台帳作成 提案書 シェア 法規⽂書 与信 リスク管理 稟議書 貿易 データ 活⽤ 稟議書 Ai Workforceとは 共通基盤上でAIエージェントを迅速かつ柔軟に構築できるAIエージェントプラットフォーム
6. © 2025 LayerX Inc. 6 Ai Workforceは情報利活⽤のハブ 構造化 データ ⽣成 情報検索
7. © 2025 LayerX Inc. 7 Ai Workforceは情報利活⽤のハブ 構造化 データ ⽣成 情報検索 個別性が⾼い 基盤化したい
8. © LayerX Inc. 8 この⾒積書を どうチャンキングする？ 課題：チャンキングむずい
9. © LayerX Inc. 9 課題：チャンキングむずい 全体でチャンキング 階層的チャンキング 項⽬別 スライディングウィンドウ 意味的類似度
10. © LayerX Inc. 10 じゃあこれは？ 課題：チャンキングむずい
11. • テキストのチャンキング • （参考）テキスト以外のチャンキング • まとめ
12. • テキストのチャンキング • （参考）テキスト以外のチャンキング • まとめ
13. © LayerX Inc. 13 なぜチャンキング チャンキングとは: ⼤規模データストリームを意味的に⼀貫した単位に分割 情報密度管理 全情報が同等に重要ではない 計算効率 戦略的分割で冗⻑な計算を削減 注意の希釈防⽌ ⻑⽂で重要情報が埋もれる問題 （Needle-in-a-Haystack） LLMのコンテキストウィンドウ（128kトークン）が拡⼤ してもチャンキングは必要。 構造の保持と認知的観点 構造の保持 段落‧セクション等の組織構造を活⽤ メモリの組織化 ⼈間の認知と同様に情報をグループ化 • 不適切なチャンキングの影響: ◦ 情報の断⽚化 ◦ 意味の喪失 ◦ 検索や⽣成品質の低下
14. © LayerX Inc. 14 チャンキングの分類体系 1. モダリティ: 単⼀ vs クロスモーダル 2. 粒度: 固定 vs セマンティック vs 適応的 3. 境界の決定⽅法: ルール vs 統計/ML vs ニューラル 4. アライメント: ⾮依存 vs アライメント認識 5. ⽬的: 検索 vs ⽣成 vs ハイブリッド
15. © LayerX Inc. 15 チャンクサイズの決定⽅法 チャンキングの分類体系 粒度 境界の決定⽅法 チャンクの境界決定⽅法 タイプ 特徴 適⽤シナリオ 固定サイズ シンプル、⾼速、境界無視 ASR、特徴抽 出 セマン ティック 意味保持、精度向上 RAG、QA 適応的 クエリ/コンテンツで動的調整 検索最適化 構造ベース ⽂書の組織構造を活⽤ ⻑⽂書処理 ⼿法 説明 例 ルールベース 決定論的ヒューリスティッ ク 句読点、無⾳、視 覚境界 統計/ML トピックモデリング、クラ スタリング LDA、K-means ニューラル 深層学習モデル BERT, YOLO, Detectron2 エージェン ティック LLMによる⾃律的決定 GPT, Claude
16. © LayerX Inc. 16 モダリティ間の同期 チャンキングの分類体系 アライメント認識 ⽬的 検索、⽣成、ハイブリッド タイプ 説明 モダリティ⾮依存 各モダリティを独⽴して処理 アライメント認識 モダリティ間のセマンティック/時間的ア ライメントを維持 マルチモーダル埋 め込み CLIP等の共有埋め込みに基づきセグメント 化 スライディング ウィンドウ 重複セグメンテーションでコンテキスト保 持 戦略 ⽬的 特徴 ⼿法例 課題‧トレードオフ 検索 ⾼速検索‧保 存効率の最⼤ 化 軽量化‧速度 優先（次元削 減‧解像度低 下） 圧縮チャンキン グ、低解像度 パッチ処理 検索は早いが⽂脈‧ 意味の豊かさが失わ れる恐れ ⽣成 ⽣成品質（回 答の質）の最 ⼤化 ⽂脈保持‧⼀ 貫性（情報断 ⽚化を防ぐ） 重複を考慮した 再帰的チャンキ ング ⽂脈保持のためデー タ量‧計算コストが 増加 ハイブ リッド 効率と品質の バランス‧最 適化 柔軟性‧いい とこ取り （ルール+AI の融合） ルールベース分 割+AI微調整、 再帰的分割+埋 め込みベース 堅牢だが実装が複 雑。将来の主要研究 ⽅向
17. © LayerX Inc. 17 固定サイズ テキストチャンキング
18. © LayerX Inc. 18 セマンティックチャンキング：意味的な単位で分割する テキストチャンキング
19. © LayerX Inc. 19 適応的（Adaptive）チャンキング：コンテンツやクエリ、タスクに応じて境界を動的に調整 テキストチャンキング
20. © LayerX Inc. 20 テキストチャンキング
21. • テキストのチャンキング • （参考）テキスト以外のチャンキング • まとめ
22. © LayerX Inc. 22 （参考）動画チャンキング AIで⽣成した猫動画集
23. © LayerX Inc. 23 動画にもテキスト同様に「切れ⽬」がある （参考）動画チャンキング CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! シーン検知、シーン分割
24. © LayerX Inc. 24 構造ベース （参考）動画チャンキング 手法 説明 ツール 固定長時間 均一な秒数/フレーム数 OpenCV, FFmpeg ショットベース カメラカットで分割 PySceneDetect, TransNet V2 • ショット: 単一カメラテイクの連続フレームシーケンス • 適用: 映画分析、動画要約 • 限界: ショット検出アルゴリズムの精度に依存
25. © LayerX Inc. 25 意味ベース （参考）動画チャンキング ⼿法 説明 ツール アクションベース 活動の境界で分割 I3D, SlowFast (Kinetics学習 済み) セマンティック マルチモーダル⼿がか りで分割 CLIP, VideoCLIP • 視覚+⾳声+トランスクリプトを統合 • 適⽤: ナラティブ単位での検索、動画要約
26. • テキストのチャンキング • （参考）テキスト以外のチャンキング • まとめ
27. © LayerX Inc. 27 まとめ 意外と奥が深い & 多様な技術選定‧トレードオフが必要 ⾃動化は難しいが共通化は可能。実践→記録→評価→改善のDevOpsサイクル
28. © LayerX Inc. 28 We are hiring! AI検索エンジニア https://open.talentio.com/r/1/c/layerx/pages/107758 Applied R&Dリサーチエンジニア https://open.talentio.com/r/1/c/layerx/pages/110834 AIシニアデータエンジニア https://open.talentio.com/r/1/c/layerx/pages/109629 カジュアル⾯談はこちら！！！
29. ⽣成AIを活⽤した検索 ありがとうございました！