LLM時代の検索とコンテキストエンジニアリング

https://layerx.connpass.com/event/363817/

Transcript

1. © LayerX Inc. LLM時代の検索とコンテキストエンジニアリング 2025/08/19 LayerX Yusuke Shibui
2. ⾃⼰紹介 shibui yusuke • いろいろ → Stability AI → LayerX（いまここ） • LLM, 検索データ, R&Dチームのマネージャー • MLOpsコミュニティ運営 • 最近やりたいこと ⽣成AIの⽣成AI以外のエンジニアリング • Github: @shibuiwilliam • FB: yusuke.shibui cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知
3. 機械学習を本番システムに組み込む方法を デザインパターンとして整理！ 機械学習を組み込んだ本番システムを 実際にハンズオンで作る！ 【共著】大企業からスタートアップまで、 MLOpsの実践例を集約！ 乞うご期待！ Under development
4. © LayerX Inc. 4 LLM/VLMで解けるようになった課題 多様なモダリティのドキュメント理解、整理、⽣成
5. © LayerX Inc. 5 Ai Workforceとは 「知的単純作業」 ドキュメントワークの多くは、思考⼒‧集中⼒が必要であり、その業界‧業務の専⾨性が必要である。 ⼀⽅、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
6. © LayerX Inc. 6 AIワークフロー機能を使って、さまざまな処理をブロックのように組み合わせることで幅広い業務をAIが代⾏。 処理結果に対して根拠の箇所に直接スクロールしてハイライトしてくれるレビュー機能などを備える。 「知的単純作業」 をLLMとAI Agentで解くAi Workforce AIワークフローの構築 業務実行＆レビュー Ai Workforceとは
7. © LayerX Inc. 7 LLM/VLMで解けるようになった課題と、新たな課題 グラフ ダイアグラム テーブル テキスト 構造 フロー 多様なモダリティのドキュメント理解、整理、⽣成
8. © LayerX Inc. 8 • LLMやAI Agent周辺でコンテキストエンジニアリングやデータの課題をテーマに話します • Context engineering • Search for context 今⽇話すこと
9. Context engineering
10. © LayerX Inc. 10 単体で使う 例：ChatGPT、ローカルLLM システムの⼀部として使う 例：RAG、AI Agent LLMの使い⽅ Task Planning Tool use Generation Reflection Result Plan Out put
11. © LayerX Inc. 11 シンプルなAI Agent AI Agentにおけるデータの課題 Task Planning Tool use Generation Reflection Result Plan Out put
12. © LayerX Inc. 12 AI Agentの永続化レイヤーとしてのContext AI Agentにおけるデータの課題 Task Planning Tool use Generation Reflection Result Plan Out put Context
13. © LayerX Inc. 13 Contextの肥⼤化と複雑化 AI Agentにおけるデータの課題 Task Planning Tool use Generation Reflection Result Plan Out put Contex t
14. © LayerX Inc. 14 Ref: https://www.philschmid.de/context-engineering Context：LLMに与える多様な情報 Context Engineering：そのエンジニアリング Context Engineering! https://www.philschmid.de/context-engineering
15. © LayerX Inc. 15 記録、変化、再利⽤するもの AI Agentにおけるデータの課題 Context Semantic memory Procedural memory Episodic memory 過去に実⾏した アクションとその結果 LLM / AI Agent Tool use 事実やユーザ情報 指⽰やプロンプト
16. © LayerX Inc. 16 夏⽬漱⽯『吾輩は猫である』 LLMですべてのデータを良い感じに処理してくれるのが理想だが‧‧‧ AI Agentにおけるデータの課題 　吾輩は猫である。名前はまだ無い。 　どこで生れたかとんと見当けんとうがつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しか もあとで聞くとそれは書生という人間中で一番獰悪どうあくな種族であったそうだ。この書生というのは時々我々を捕つかまえて煮にて食うという話である。しかしその当時は何 という考もなかったから別段恐しいとも思わなかった。ただ彼の掌てのひらに載せられてスーと持ち上げられた時何だかフワフワした感じがあったばかりである。掌の上で少し落 ちついて書生の顔を見たのがいわゆる人間というものの見始みはじめであろう。この時妙なものだと思った感じが今でも残っている。第一毛をもって装飾されべきはずの顔がつ るつるしてまるで薬缶やかんだ。その後ご猫にもだいぶ逢あったがこんな片輪かたわには一度も出会でくわした事がない。のみならず顔の真中があまりに突起している。そうし てその穴の中から時々ぷうぷうと煙けむりを吹く。どうも咽むせぽくて実に弱った。これが人間の飲む煙草たばこというものである事はようやくこの頃知った。 　この書生の掌の裏うちでしばらくはよい心持に坐っておったが、しばらくすると非常な速力で運転し始めた。書生が 動くのか自分だけが動くのか分らないが無暗むやみに眼が廻る。胸が悪くなる。到底とうてい助からないと思っている と、どさりと音がして眼から火が出た。それまでは記憶しているがあとは何の事やらいくら考え出そうとしても分らない。 　ふと気が付いて見ると書生はいない。たくさんおった兄弟が一疋ぴきも見えぬ。肝心かんじんの母親さえ姿を隠して しまった。その上今いままでの所とは違って無暗むやみに明るい。眼を明いていられぬくらいだ。はてな何でも容子よ うすがおかしいと、のそのそ這はい出して見ると非常に痛い。吾輩は藁わらの上から急に笹原の中へ棄てられたのである。 　ようやくの思いで笹原を這い出すと向うに大きな池がある。吾輩は池の前に坐ってどうしたらよかろうと考えて見た。 別にこれという分別ふんべつも出ない。しばらくして泣いたら書生がまた迎に来てくれるかと考え付いた。ニャー、 ニャーと試みにやって見たが誰も来ない。そのうち池の上をさらさらと風が渡って日が暮れかかる。腹が非常に減って 来た。泣きたくても声が出ない。仕方がない、何でもよいから食物くいもののある所まであるこうと決心をしてそろり そろりと池を左ひだりに廻り始めた。どうも非常に苦しい。そこを我慢して無理やりに這はって行くとようやくの事で 何となく人間臭い所へ出た。ここへ這入はいったら、どうにかなると思って竹垣の崩くずれた穴から、とある邸内にも ぐり込んだ。縁は不思議なもので、もしこの竹垣が破れていなかったなら、吾輩はついに路傍ろぼうに餓死がししたかも 知れんのである。一樹の蔭とはよく云いったものだ。この垣根の穴は今日こんにちに至るまで吾輩が隣家となりの三毛を 訪問する時の通路になっている。さて邸やしきへは忍び込んだもののこれから先どうして善いいか分らない。そのうちに 暗くなる、腹は減る、寒さは寒し、雨が降って来るという始末でもう一刻の猶予ゆうよが出来なくなった。仕方がない からとにかく明るくて暖かそうな方へ方へとあるいて行く。今から考えるとその時はすでに家の内に這入っておったのだ。ここで吾輩は彼かの書生以外の人間を再び見るべき機 会に遭遇そうぐうしたのである。第一に逢ったのがおさんである。これは前の書生より一層乱暴な方で 吾輩を見るや否やいきなり頸筋くびすじをつかんで表へ抛ほうり出した。いやこれは駄目だと思ったから眼をねぶって 運を天に任せていた。しかしひもじいのと寒いのにはどうしても我慢が出来ん。吾輩は再びおさんの隙すきを見て台所へ 這はい上あがった。すると間もなくまた投げ出された。吾輩は投げ出されては這い上り、這い上っては投げ出され、何でも同じ事を四五遍繰り返したのを記憶している。その時に おさんと云う者はつくづくいやになった。この間おさんの三馬さんまを偸ぬすんでこの返報をしてやってから、やっと胸の痞つかえが下りた。吾輩が最後につまみ出されようとした ときに、この家うちの主人が騒々しい何だといいながら出て来た。下女は吾輩をぶら下げて主人の方へ向けてこの宿やどなしの小猫がいくら出しても出しても御台所おだいどこ ろへ上あがって来て困りますという。主人は鼻の下の黒い毛を撚ひねりながら吾輩の顔をしばらく眺ながめておったが、やがてそんなら内へ置いてやれといったまま奥へ這入は いってしまった。主人はあまり口を聞かぬ人と見えた。下女は口惜くやしそうに吾輩を台所へ抛ほうり出した。かくして吾輩はついにこの家うちを自分の住家すみかと極きめる事 にしたのである。 情報抽出、検索が必要 以降、『吾輩は猫である』のネタバレ注意！
17. © LayerX Inc. 17 夏⽬漱⽯『吾輩は猫である』 Context engineering AI Agentににおける情報抽出 Write Compress Select Isolate 　吾輩は猫である。名前はまだ無い。 　どこで生れたかとんと見当けんとうがつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しか もあとで聞くとそれは書生という人間中で一番獰悪どうあくな種族であったそうだ。この書生というのは時々我々を捕つかまえて煮にて食うという話である。しかしその当時は何 という考もなかったから別段恐しいとも思わなかった。ただ彼の掌てのひらに載せられてスーと持ち上げられた時何だかフワフワした感じがあったばかりである。掌の上で少し落 ちついて書生の顔を見たのがいわゆる人間というものの見始みはじめであろう。この時妙なものだと思った感じが今でも残っている。第一毛をもって装飾されべきはずの顔がつ るつるしてまるで薬缶やかんだ。その後ご猫にもだいぶ逢あったがこんな片輪かたわには一度も出会でくわした事がない。のみならず顔の真中があまりに突起している。そうし てその穴の中から時々ぷうぷうと煙けむりを吹く。どうも咽むせぽくて実に弱った。これが人間の飲む煙草たばこというものである事はようやくこの頃知った。 　この書生の掌の裏うちでしばらくはよい心持に坐っておったが、しばらくすると非常な速力で運転し始めた。書生が 動くのか自分だけが動くのか分らないが無暗むやみに眼が廻る。胸が悪くなる。到底とうてい助からないと思っている と、どさりと音がして眼から火が出た。それまでは記憶しているがあとは何の事やらいくら考え出そうとしても分らない。 　ふと気が付いて見ると書生はいない。たくさんおった兄弟が一疋ぴきも見えぬ。肝心かんじんの母親さえ姿を隠して しまった。その上今いままでの所とは違って無暗むやみに明るい。眼を明いていられぬくらいだ。はてな何でも容子よ うすがおかしいと、のそのそ這はい出して見ると非常に痛い。吾輩は藁わらの上から急に笹原の中へ棄てられたのである。 　ようやくの思いで笹原を這い出すと向うに大きな池がある。吾輩は池の前に坐ってどうしたらよかろうと考えて見た。 別にこれという分別ふんべつも出ない。しばらくして泣いたら書生がまた迎に来てくれるかと考え付いた。ニャー、 ニャーと試みにやって見たが誰も来ない。そのうち池の上をさらさらと風が渡って日が暮れかかる。腹が非常に減って 来た。泣きたくても声が出ない。仕方がない、何でもよいから食物くいもののある所まであるこうと決心をしてそろり そろりと池を左ひだりに廻り始めた。どうも非常に苦しい。そこを我慢して無理やりに這はって行くとようやくの事で 何となく人間臭い所へ出た。ここへ這入はいったら、どうにかなると思って竹垣の崩くずれた穴から、とある邸内にも ぐり込んだ。縁は不思議なもので、もしこの竹垣が破れていなかったなら、吾輩はついに路傍ろぼうに餓死がししたかも 知れんのである。一樹の蔭とはよく云いったものだ。この垣根の穴は今日こんにちに至るまで吾輩が隣家となりの三毛を 訪問する時の通路になっている。さて邸やしきへは忍び込んだもののこれから先どうして善いいか分らない。そのうちに 暗くなる、腹は減る、寒さは寒し、雨が降って来るという始末でもう一刻の猶予ゆうよが出来なくなった。仕方がない からとにかく明るくて暖かそうな方へ方へとあるいて行く。今から考えるとその時はすでに家の内に這入っておったのだ。ここで吾輩は彼かの書生以外の人間を再び見るべき機 会に遭遇そうぐうしたのである。第一に逢ったのがおさんである。これは前の書生より一層乱暴な方で 吾輩を見るや否やいきなり頸筋くびすじをつかんで表へ抛ほうり出した。いやこれは駄目だと思ったから眼をねぶって 運を天に任せていた。しかしひもじいのと寒いのにはどうしても我慢が出来ん。吾輩は再びおさんの隙すきを見て台所へ 這はい上あがった。すると間もなくまた投げ出された。吾輩は投げ出されては這い上り、這い上っては投げ出され、何でも同じ事を四五遍繰り返したのを記憶している。その時に おさんと云う者はつくづくいやになった。この間おさんの三馬さんまを偸ぬすんでこの返報をしてやってから、やっと胸の痞つかえが下りた。吾輩が最後につまみ出されようとした ときに、この家うちの主人が騒々しい何だといいながら出て来た。下女は吾輩をぶら下げて主人の方へ向けてこの宿やどなしの小猫がいくら出しても出しても御台所おだいどこ ろへ上あがって来て困りますという。主人は鼻の下の黒い毛を撚ひねりながら吾輩の顔をしばらく眺ながめておったが、やがてそんなら内へ置いてやれといったまま奥へ這入は いってしまった。主人はあまり口を聞かぬ人と見えた。下女は口惜くやしそうに吾輩を台所へ抛ほうり出した。かくして吾輩はついにこの家うちを自分の住家すみかと極きめる事 にしたのである。
18. © LayerX Inc. 18 夏⽬漱⽯『吾輩は猫である』 Context engineering AI Agentにおけるデータの課題 猫は、飼い主である苦沙弥先⽣やそ の周囲の⼈々の⾔動を観察し、⾵刺 的かつ⽪⾁たっぷりに語ります。物 語は特定の⼤きな事件が起こるわけ ではなく、猫が⽇常を通して⼈間の 愚かさや滑稽さを論評することで進 ⾏します。 Compress 　吾輩は猫である。名前はまだ無い。 　どこで生れたかとんと見当けんとうがつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しか もあとで聞くとそれは書生という人間中で一番獰悪どうあくな種族であったそうだ。この書生というのは時々我々を捕つかまえて煮にて食うという話である。しかしその当時は何 という考もなかったから別段恐しいとも思わなかった。ただ彼の掌てのひらに載せられてスーと持ち上げられた時何だかフワフワした感じがあったばかりである。掌の上で少し落 ちついて書生の顔を見たのがいわゆる人間というものの見始みはじめであろう。この時妙なものだと思った感じが今でも残っている。第一毛をもって装飾されべきはずの顔がつ るつるしてまるで薬缶やかんだ。その後ご猫にもだいぶ逢あったがこんな片輪かたわには一度も出会でくわした事がない。のみならず顔の真中があまりに突起している。そうし てその穴の中から時々ぷうぷうと煙けむりを吹く。どうも咽むせぽくて実に弱った。これが人間の飲む煙草たばこというものである事はようやくこの頃知った。 　この書生の掌の裏うちでしばらくはよい心持に坐っておったが、しばらくすると非常な速力で運転し始めた。書生が 動くのか自分だけが動くのか分らないが無暗むやみに眼が廻る。胸が悪くなる。到底とうてい助からないと思っている と、どさりと音がして眼から火が出た。それまでは記憶しているがあとは何の事やらいくら考え出そうとしても分らない。 　ふと気が付いて見ると書生はいない。たくさんおった兄弟が一疋ぴきも見えぬ。肝心かんじんの母親さえ姿を隠して しまった。その上今いままでの所とは違って無暗むやみに明るい。眼を明いていられぬくらいだ。はてな何でも容子よ うすがおかしいと、のそのそ這はい出して見ると非常に痛い。吾輩は藁わらの上から急に笹原の中へ棄てられたのである。 　ようやくの思いで笹原を這い出すと向うに大きな池がある。吾輩は池の前に坐ってどうしたらよかろうと考えて見た。 別にこれという分別ふんべつも出ない。しばらくして泣いたら書生がまた迎に来てくれるかと考え付いた。ニャー、 ニャーと試みにやって見たが誰も来ない。そのうち池の上をさらさらと風が渡って日が暮れかかる。腹が非常に減って 来た。泣きたくても声が出ない。仕方がない、何でもよいから食物くいもののある所まであるこうと決心をしてそろり そろりと池を左ひだりに廻り始めた。どうも非常に苦しい。そこを我慢して無理やりに這はって行くとようやくの事で 何となく人間臭い所へ出た。ここへ這入はいったら、どうにかなると思って竹垣の崩くずれた穴から、とある邸内にも ぐり込んだ。縁は不思議なもので、もしこの竹垣が破れていなかったなら、吾輩はついに路傍ろぼうに餓死がししたかも 知れんのである。一樹の蔭とはよく云いったものだ。この垣根の穴は今日こんにちに至るまで吾輩が隣家となりの三毛を 訪問する時の通路になっている。さて邸やしきへは忍び込んだもののこれから先どうして善いいか分らない。そのうちに 暗くなる、腹は減る、寒さは寒し、雨が降って来るという始末でもう一刻の猶予ゆうよが出来なくなった。仕方がない からとにかく明るくて暖かそうな方へ方へとあるいて行く。今から考えるとその時はすでに家の内に這入っておったのだ。ここで吾輩は彼かの書生以外の人間を再び見るべき機 会に遭遇そうぐうしたのである。第一に逢ったのがおさんである。これは前の書生より一層乱暴な方で 吾輩を見るや否やいきなり頸筋くびすじをつかんで表へ抛ほうり出した。いやこれは駄目だと思ったから眼をねぶって 運を天に任せていた。しかしひもじいのと寒いのにはどうしても我慢が出来ん。吾輩は再びおさんの隙すきを見て台所へ 這はい上あがった。すると間もなくまた投げ出された。吾輩は投げ出されては這い上り、這い上っては投げ出され、何でも同じ事を四五遍繰り返したのを記憶している。その時に おさんと云う者はつくづくいやになった。この間おさんの三馬さんまを偸ぬすんでこの返報をしてやってから、やっと胸の痞つかえが下りた。吾輩が最後につまみ出されようとした ときに、この家うちの主人が騒々しい何だといいながら出て来た。下女は吾輩をぶら下げて主人の方へ向けてこの宿やどなしの小猫がいくら出しても出しても御台所おだいどこ ろへ上あがって来て困りますという。主人は鼻の下の黒い毛を撚ひねりながら吾輩の顔をしばらく眺ながめておったが、やがてそんなら内へ置いてやれといったまま奥へ這入は いってしまった。主人はあまり口を聞かぬ人と見えた。下女は口惜くやしそうに吾輩を台所へ抛ほうり出した。かくして吾輩はついにこの家うちを自分の住家すみかと極きめる事 にしたのである。
19. © LayerX Inc. 19 夏⽬漱⽯『吾輩は猫である』 Context engineering AI Agentにおける検索 Select 全⽂検索 ベクトル検索 グラフ検索 　吾輩は猫である。名前はまだ無い。 　どこで生れたかとんと見当けんとうがつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。しか もあとで聞くとそれは書生という人間中で一番獰悪どうあくな種族であったそうだ。この書生というのは時々我々を捕つかまえて煮にて食うという話である。しかしその当時は何 という考もなかったから別段恐しいとも思わなかった。ただ彼の掌てのひらに載せられてスーと持ち上げられた時何だかフワフワした感じがあったばかりである。掌の上で少し落 ちついて書生の顔を見たのがいわゆる人間というものの見始みはじめであろう。この時妙なものだと思った感じが今でも残っている。第一毛をもって装飾されべきはずの顔がつ るつるしてまるで薬缶やかんだ。その後ご猫にもだいぶ逢あったがこんな片輪かたわには一度も出会でくわした事がない。のみならず顔の真中があまりに突起している。そうし てその穴の中から時々ぷうぷうと煙けむりを吹く。どうも咽むせぽくて実に弱った。これが人間の飲む煙草たばこというものである事はようやくこの頃知った。 　この書生の掌の裏うちでしばらくはよい心持に坐っておったが、しばらくすると非常な速力で運転し始めた。書生が 動くのか自分だけが動くのか分らないが無暗むやみに眼が廻る。胸が悪くなる。到底とうてい助からないと思っている と、どさりと音がして眼から火が出た。それまでは記憶しているがあとは何の事やらいくら考え出そうとしても分らない。 　ふと気が付いて見ると書生はいない。たくさんおった兄弟が一疋ぴきも見えぬ。肝心かんじんの母親さえ姿を隠して しまった。その上今いままでの所とは違って無暗むやみに明るい。眼を明いていられぬくらいだ。はてな何でも容子よ うすがおかしいと、のそのそ這はい出して見ると非常に痛い。吾輩は藁わらの上から急に笹原の中へ棄てられたのである。 　ようやくの思いで笹原を這い出すと向うに大きな池がある。吾輩は池の前に坐ってどうしたらよかろうと考えて見た。 別にこれという分別ふんべつも出ない。しばらくして泣いたら書生がまた迎に来てくれるかと考え付いた。ニャー、 ニャーと試みにやって見たが誰も来ない。そのうち池の上をさらさらと風が渡って日が暮れかかる。腹が非常に減って 来た。泣きたくても声が出ない。仕方がない、何でもよいから食物くいもののある所まであるこうと決心をしてそろり そろりと池を左ひだりに廻り始めた。どうも非常に苦しい。そこを我慢して無理やりに這はって行くとようやくの事で 何となく人間臭い所へ出た。ここへ這入はいったら、どうにかなると思って竹垣の崩くずれた穴から、とある邸内にも ぐり込んだ。縁は不思議なもので、もしこの竹垣が破れていなかったなら、吾輩はついに路傍ろぼうに餓死がししたかも 知れんのである。一樹の蔭とはよく云いったものだ。この垣根の穴は今日こんにちに至るまで吾輩が隣家となりの三毛を 訪問する時の通路になっている。さて邸やしきへは忍び込んだもののこれから先どうして善いいか分らない。そのうちに 暗くなる、腹は減る、寒さは寒し、雨が降って来るという始末でもう一刻の猶予ゆうよが出来なくなった。仕方がない からとにかく明るくて暖かそうな方へ方へとあるいて行く。今から考えるとその時はすでに家の内に這入っておったのだ。ここで吾輩は彼かの書生以外の人間を再び見るべき機 会に遭遇そうぐうしたのである。第一に逢ったのがおさんである。これは前の書生より一層乱暴な方で 吾輩を見るや否やいきなり頸筋くびすじをつかんで表へ抛ほうり出した。いやこれは駄目だと思ったから眼をねぶって 運を天に任せていた。しかしひもじいのと寒いのにはどうしても我慢が出来ん。吾輩は再びおさんの隙すきを見て台所へ 這はい上あがった。すると間もなくまた投げ出された。吾輩は投げ出されては這い上り、這い上っては投げ出され、何でも同じ事を四五遍繰り返したのを記憶している。その時に おさんと云う者はつくづくいやになった。この間おさんの三馬さんまを偸ぬすんでこの返報をしてやってから、やっと胸の痞つかえが下りた。吾輩が最後につまみ出されようとした ときに、この家うちの主人が騒々しい何だといいながら出て来た。下女は吾輩をぶら下げて主人の方へ向けてこの宿やどなしの小猫がいくら出しても出しても御台所おだいどこ ろへ上あがって来て困りますという。主人は鼻の下の黒い毛を撚ひねりながら吾輩の顔をしばらく眺ながめておったが、やがてそんなら内へ置いてやれといったまま奥へ這入は いってしまった。主人はあまり口を聞かぬ人と見えた。下女は口惜くやしそうに吾輩を台所へ抛ほうり出した。かくして吾輩はついにこの家うちを自分の住家すみかと極きめる事 にしたのである。
20. © LayerX Inc. 20 コンテキストの検索とツールの検索 AI Agentにおける検索 Task Planning Tool use Generation Reflection Result Plan Out put Context Context Search Tool for search Search for tool
21. Search for context
22. © LayerX Inc. 22 主流はベクトル検索だが‧‧‧ Search for context Task Planning Tool use Generation Reflection Result Plan Out put Context Context Search Tool for search Search for tool Vector DB
23. © LayerX Inc. 23 Context and memory Task Planning Tool use Generation Reflection Result Plan Out put Context Semantic Episodic Procedural Fact User DB ... Prompt & response Tool use & result Human feedback... System prompt... Memory
24. © LayerX Inc. 24 Memory by data structure Semantic Episodic Procedural Fact User DB ... Prompt & response Tool use & result Human feedback... System prompt... Memory 原文 　吾輩わがはいは猫である。名前はまだ無い。 　どこで生れたかとんと見当けんとうがつかぬ。何でも薄暗 いじめじめした所でニャーニャー泣いていた事だけは記憶 している。吾輩はここで始めて人間というものを見た。しか もあとで聞くとそれは書生という人間中で一番獰悪どうあく な種族であったそうだ。 要約 猫は、飼い主である苦沙弥先⽣やその周 囲の⼈々の⾔動を観察し、⾵刺的かつ⽪ ⾁たっぷりに語ります。物語は特定の⼤ きな事件が起こるわけではなく、猫が⽇ 常を通して⼈間の愚かさや滑稽さを論評 することで進⾏します。 Prompt [ {“role”: “system”, “content”: “あなたは優秀な猫です”}, {“role”: “user”, “content”: “『吾輩は猫である』を要約してく ださい”} ] Table Graph Response & feedback {“communication”: [ {“role”: “user”, “content”: “『吾輩は猫である』を要約してください”}, {“role”: “ai”, “content”: “猫は、飼い主である苦沙弥先⽣やその周囲の ⼈々の⾔動を観察し、⾵刺的かつ⽪⾁たっぷりに語ります。”} ], “feedback”: [{“role”: “user”, “content”: “素晴らしいです！”}] }
25. © LayerX Inc. 25 多様なデータ構造から適切に検索するためには、適切なデータ基盤‧検索システムを選ぶ必要あり Search for context Context Search from memory Semantic Episodic Procedural Fact User DB ... Prompt & response Tool use & result Human feedback... System prompt... Memory GraphDB RAG/GraphRAG DocumentDB VectorDB
26. © LayerX Inc. 26 多様なデータ構造から適切に検索するためには、適切なデータ基盤‧検索システムを選ぶ必要あり Search for context Context Search from memory GraphDB RAG/GraphRAG DocumentDB VectorDB User情報がほしい 「猫」を検索したい query: “猫” SELECT * FROM users WHERE id = 1; vector extracted attributes
27. © LayerX Inc. 27 多様なデータ構造から適切に検索するためには、適切なデータ基盤‧検索システムを選ぶ必要あり Search for context Context Search from memory GraphDB RAG/GraphRAG DocumentDB VectorDB 「『吾輩は猫である』 の 年代ごとの評価」を 知りたい 『吾輩は猫である』の 年代ごとの評価
28. © LayerX Inc. 28 LLM/VLM時代の新たなデータの課題とエンジニアリング グラフ ダイアグラム テーブル テキスト 構造 フロー GraphDB RAG/GraphRAG DocumentDB Data / Search / ML reranking layer
29. LLM時代だからこそ データに誠実に向き合う
30. © LayerX Inc. 30 事業にディープダイブするデータエンジニアリング • 9/2（⽕）19:00~ • LayerX東銀座オフィス • Civitaspo：Salesforceのデータと向き合う • Shibui：⽣成AI時代のデータ基盤 【Mercari x LayerX】Applied AI R&Dミートアップ • 9/3（⽔）19:00~ • LayerX東銀座オフィス • Mercari Andre：研究から価値へ • LayerX Shibui：⽣成AI事業を加速する Applied R&D 今後のLayerX主催ミートアップ
31. © LayerX Inc. 31 We are hiring! AIシニアデータエンジニア AI検索エンジニア https://open.talentio.com/r/1/c/layerx/pages/107758 https://open.talentio.com/r/1/c/layerx/pages/109629 Applied R&Dリサーチエンジニア https://open.talentio.com/r/1/c/layerx/pages/110834