LLM in toB Service and Its UX

LLM in Production #0にて発表

Transcript

1. © 2023 LayerX Inc. toBにおけるLLM活用とUX #LLMProd LayerX @y_matsuwitter 2023/06/26
2. 自己紹介
3. © 202３ LayerX Inc. 3 自己紹介 松本 勇気 (@y_matsuwitter) 株式会社LayerX 代表取締役CTO 株式会社三井物産デジタル・アセットマネジメント 取 締役 日本CTO協会 理事 Fintech/PrivacyTechを主に管掌 趣味は筋トレと料理
4. LayerX LLM Laｂｓ
5. © 202３ LayerX Inc. 5 LayerXの紹介 バクラク事業 企業活動のインフラとなる法人支出管理 （BSM）SaaSを開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネ ジメント・証券事業を合弁会社にて 展開 PrivacyTech事業 パーソナルデータの利活用とプライバシー 保護を両立するソリューションの提供
6. © 202３ LayerX Inc. 6 大企業との協業事例：MDM
7. © 202３ LayerX Inc. 7 LayerX LLM Labsの紹介 4月に設置した大規模言語モデル専任チーム 主な取り組み ・LayerXおよび三井物産デジタル・アセットマネジメント におけるLLM活用のフィードバックと導入検証 ・LLMを活用した新規事業・パートナーシップの検討・探索 ・LLMに関する勉強会コミュニティの運営 ・ブログや論文などを通じた情報発信　等
8. © 202３ LayerX Inc. 8 現状の取り組み概観 技術リサーチ GPT-3,4に限らず、新たな大規 模 言語モデルの利活用に向けた検 証。および論文等を中心とした新 たな手法のリサーチ。 およびその活用に向けた PoC的 プロダクトの開発。 業務活用の模索 GPT-3,4を利用しての業務変革 の追求。 バクラクや三井物産デジタル・ア セットマネジメント、その他新たな パートナーシップにつながる活用 方法の模索に加え、新規事業立 案までを検討範囲とする。 国産大規模言語モデル 一説には数百億円が必要ともい われる大規模言語モデル自体の 開発の検証。特に日本語データ の拡充と、国内でのセンシティブ な領域での利用に向けたモデル 構築の模索。 LLM Labsでは、技術そのもののリサーチ、業務活用に向けたGPT-3, 4を中心とした活用方法の模索、国産大規模言語モデルの 可能性の探索に取り組む。
9. © 202３ LayerX Inc. 9 社内での取り組み例① OCRへの組み込みや申請の効率化などをいくつか実験。
10. © 202３ LayerX Inc. 10 社内での取り組み例② 営業記録の音声を元に文字起こし、話者分離、文書要約を自動化。商談の後処理を効率化。 発話者分離 音声ファイル 文字起こし 発話者情報付き 文字起こし 商談要約
11. © 202３ LayerX Inc. 11 取り組み例③：バックオフィス窓口の構築 社員の質問 文書検索 文書を元に回答 生成 Slack等で回答 （予定） 労務・経理・情シス等に上がる質問を、社内のナレッジを元にしてBotが自動回答する。 回答生成でGPT-3を利用
12. toB事業のUX
13. © 202３ LayerX Inc. 13 LLMの性質 Hallucinations問題を始めとして、柔軟な応答が出来る一方で精度の問題がある。かつ、間違いの評価が難しい。 Hallucinations(幻想）問題 単に「それらしい返答を作る」エンジン であり、知らないことでも嘘をつく。 知識不足だけでなく論理的思考など でも嘘を付く。（例：素因数分解） 情報管理 ChatGPTなどの入力は、そのエンジ ンを改善するために活用される可能 性がある。情報管理観点でどこまで許 容可能か。 入力文字数問題 例えば一般的なgpt-3.5-turboは 4097トークン（およそ日本語2〜 3000字程度）以上の情報や文脈を扱 えない。最近は拡大傾向。 処理速度 Promptリテラシー 適切なPromptを作れない人にとっ ては欲しい情報・回答を得られない無 用の長物に。 GPT-3などは一回のリクエストに対 して処理に5〜10秒程度必要。モデル が大きくなるほど重い。リアルタイム 性が必要なものは使いづらい。
14. © 202３ LayerX Inc. 14 Chat is not all you need. Chat UI自体を革新と捉える向きもあるが、個人としては本当に使いやすいUXを求めた時のGoalがChatなのかは冷静にな るべきだという立場。二次元的に情報が扱える通常のUIよりもChatで意図が伝えられるのかは冷静に考えたい。 非定型なアクション 定型なアクション ボタンで即座にニーズを伝えられる、1tapで業務を完了出来る方が楽。 使うシチュエーション 入力の複雑さ・精度 タスクの定型性 調べ方も分からないケースではChatが有用かもしれない。一方コンテキス トを与えられるならChatでないUIのほうが表現力が高いことも。 コンテキスト 達成したい目的 …etc 例：タスクの定型性 考えるべき変数は多い
15. © 202３ LayerX Inc. 15 toB事業におけるUXの観点 精度とレスポンス速度の要求は様々だが、精度が低いということはクリティカル。また、精度がPromptに依存する場合に、どう Promptを構築させるかという問題を「誰に」解かせるのか考えねばならない。 対象データのセキュリ ティ要件 処理当たりの許容コスト 処理の精度基準 ユーザーのリテラシー 要求される処理速度 …etc どのような課題を解くのか？
16. © 202３ LayerX Inc. 16 供給者論理に陥らない、Why LLM問題に向き合う LLMは革新的技術だからこそ、なんでもLLMで解決しないことを考える。Blockchain時代に弊社が向き合った教訓の一つ、技 術ではなくお客様が欲しいものに依拠する議論を。 BERT等の既存 Transformerベース LLMベース 精度 汎用性 ◯ 汎用性の割に精度は比 較的高い。 処理速度 ◎ Promptのチューニング で様々なタスクに対応。 △ 改善進むも、まだ1req あたり処理速度は数秒。 ◎ 自社でチューニングした 限りでは高い精度。 △ タスクによりけりだが都 度fine-tuning等必要。 ◎ Model自体が小さく処 理が素早い。
17. 最後に
18. © 202３ LayerX Inc. 18 まとめ LLMのUXを考えよう 新しいUXへ、一緒に取り組みたい仲間を募集中 • LLMらしい活用方法はChatかもしれないし、そうではないかもしれない。 • 解きたい課題にフィットした、LLMに限らないモデル構築を目指そう。 • ソフトウェア・エンジニア（LLM経験は不問、領域横断的に様々な開発に向き合います） • Product Manager(業務アプリケーション開発経験者) • BizDev（特にエンタープライズ向きな取り組み経験者）