検索APIとFunction callingによるレポート生成

LLM Meetup Tokyo #3
検索APIとFunction callingを使ってよしなにレポートを作る工夫をまとめました。

Transcript

1. © 2023 LayerX Inc. 検索APIとFunction callingによるレポート生成 LayerX Taishi Eguchi (@shierote) 2023/07/05
2. 自己紹介
3. © 202３ LayerX Inc. 3 東京大学大学院 情報学環・学際情報学府 修士2年 暦本研究室（Prof: 暦本純一） 株式会社LayerX Software Engineer(インターン) 千葉の幕張出身・ジントニックが好き 自己紹介 江口 大志 (@shierote)
4. LayerXとLayerX LLM Laｂｓ
5. © 2023 LayerX Inc. 5 LayerXの紹介 バクラク事業 企業活動のインフラとなる法人支出管理 （BSM）SaaSを開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネ ジメント・証券事業を合弁会社にて 展開 PrivacyTech事業 パーソナルデータの利活用とプライバシー 保護を両立するソリューションの提供
6. © 202３ LayerX Inc. 6 LayerX LLM Labsについて LayerXでの大規模言語モデル専任チーム 今後の取り組み ・LayerXおよび三井物産デジタル・アセットマネ ジメントにおけるLLM活用のフィードバック ・LayerXが展開する支出管理サービス「バクラ ク」へのLLMの導入検証 ・LLMを活用した新規事業の検討・探索 ・LLMに関する勉強会コミュニティの運営 ・ブログや論文などを通じた情報発信　等
7. Function callingと検索APIを 使ったレポート生成
8. © 2023 LayerX Inc. 8 デモ 特定のテーマでレポートを作らせたい
9. © 2023 LayerX Inc. 9 仕組み: Function callingで前処理してから生成 「Palantirのビジネスの歴史と戦略に ついて教えて」 検索クエリ レポートタイトル レポート章タイトル群 検索結果 Index Function calling レポートの各章中身 ① ② ③ ④ レポート
10. © 2023 LayerX Inc. 10 仕組み: Function callingで前処理してから生成 「Palantirのビジネスの歴史と戦略に ついて教えて」 検索クエリ レポートタイトル レポート章タイトル群 検索結果 Index Function calling レポートの各章中身 ① ② ③ ④ レポート Function callingによる取得 { “query”: “Palantir business history”, “title”: “Palantirのビジネスの歴史と戦略”, “chapters”: [ “Palantirの創業と初期の歴史”, “Palantirのビジネスモデルと主要な製品 ”, “Palantirの成長戦略とその実行”, “Palantirの将来展望と課題”, ], }
11. © 2023 LayerX Inc. 11 仕組み: Function callingで前処理してから生成 「LayerXのビジネスの歴史と戦略につ いて教えて」 検索クエリ レポートタイトル レポート章タイトル群 検索結果 Index Function calling レポートの各章中身 ① ② ③ ④ レポート Function callingによる取得 { “query”: “LayerX ビジネス 歴史 戦略”, “title”: “LayerXのビジネスの歴史と戦略”, “chapters”: [ “LayerXの会社概要”, “LayerXのビジネスモデルと主要な事業 ”, “LayerXのビジネスの歴史”, “LayerXの戦略とその展望”, ], }
12. © 2023 LayerX Inc. 12 仕組み: 章ごとに異なるChunkを参照 検索結果 Index レポートの各章中身 1. Palantirの創業と初期の歴史 2. Palantirのビジネスモデルと主要な製品 3. Palantirの成長戦略とその実行 4. Palantirの将来展望と課題 Chunk1 Chunk2 Chunk3 Chunk4 Chunk5
13. © 2023 LayerX Inc. 13 改善のbefore / after ❌テーマで直接検索 + 全体を一括生成 ✅Function callingで前処理後、章ごとに生成 ↑解像度の低いレポートになってしまっている ↑情報密度の高いレポート
14. © 2023 LayerX Inc. 14 改善前の設計 「Palantirのビジネスの歴史と戦略に ついて教えて」 検索結果 Index レポート全体生成 レポート ① ② ③
15. © 2023 LayerX Inc. 15 改善後の設計: Function callingで前処理してから生成 「Palantirのビジネスの歴史と戦略に ついて教えて」 検索クエリ レポートタイトル レポート章タイトル群 検索結果 Index Function calling レポートの各章中身 ① ② ③ ④ レポート
16. © 2023 LayerX Inc. 16 展望 ① HybridSearchなど複数の情報源 + レポート生成 Google検索 + 社内ポータル検索を組み合わせたレポー ト生成で向上できる可能性。検索エンジン、Embedding などをどう組み合わせるか？ ② リファレンスの粒度を細かくする 文章ごとに何のサイトのどのテキスト(Chunk)を参照し たのか？Function callingを活用できるかも 検索クエリを変えて参照増やしたり、特定の章だけ修正し たり、別の章を加えたり、一回で完璧を求めずにコンポー ネントごとに更新可能にする。 ③ 生成・修正・加筆サイクルを回せるUI/UX Agentでタスク計画させて、検索やレポート内容の深掘 り、関連テーマでのレポート執筆などをさせる。 Tableデータ作成、グラフ化なども加える。 ④ Agentとの組み合わせ