Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM in toB Service and Its UX

LLM in toB Service and Its UX

LLM in Production #0にて発表

y_matsuwitter

June 26, 2023
Tweet

More Decks by y_matsuwitter

Other Decks in Programming

Transcript

  1. © 2023 LayerX Inc. 3 自己紹介 松本 勇気 (@y_matsuwitter) 株式会社LayerX

    代表取締役CTO 株式会社三井物産デジタル・アセットマネジメント 取 締役 日本CTO協会 理事 Fintech/PrivacyTechを主に管掌 趣味は筋トレと料理
  2. © 2023 LayerX Inc. 5 LayerXの紹介 バクラク事業 企業活動のインフラとなる法人支出管理 (BSM)SaaSを開発・提供 Fintech事業

    ソフトウェアを駆使したアセットマネ ジメント・証券事業を合弁会社にて 展開 PrivacyTech事業 パーソナルデータの利活用とプライバシー 保護を両立するソリューションの提供
  3. © 2023 LayerX Inc. 7 LayerX LLM Labsの紹介 4月に設置した大規模言語モデル専任チーム 主な取り組み

    ・LayerXおよび三井物産デジタル・アセットマネジメント におけるLLM活用のフィードバックと導入検証 ・LLMを活用した新規事業・パートナーシップの検討・探索 ・LLMに関する勉強会コミュニティの運営 ・ブログや論文などを通じた情報発信 等
  4. © 2023 LayerX Inc. 8 現状の取り組み概観 技術リサーチ GPT-3,4に限らず、新たな大規 模 言語モデルの利活用に向けた検

    証。および論文等を中心とした新 たな手法のリサーチ。 およびその活用に向けた PoC的 プロダクトの開発。 業務活用の模索 GPT-3,4を利用しての業務変革 の追求。 バクラクや三井物産デジタル・ア セットマネジメント、その他新たな パートナーシップにつながる活用 方法の模索に加え、新規事業立 案までを検討範囲とする。 国産大規模言語モデル 一説には数百億円が必要ともい われる大規模言語モデル自体の 開発の検証。特に日本語データ の拡充と、国内でのセンシティブ な領域での利用に向けたモデル 構築の模索。 LLM Labsでは、技術そのもののリサーチ、業務活用に向けたGPT-3, 4を中心とした活用方法の模索、国産大規模言語モデルの 可能性の探索に取り組む。
  5. © 2023 LayerX Inc. 11 取り組み例③:バックオフィス窓口の構築 社員の質問 文書検索 文書を元に回答 生成

    Slack等で回答 (予定) 労務・経理・情シス等に上がる質問を、社内のナレッジを元にしてBotが自動回答する。 回答生成でGPT-3を利用
  6. © 2023 LayerX Inc. 13 LLMの性質 Hallucinations問題を始めとして、柔軟な応答が出来る一方で精度の問題がある。かつ、間違いの評価が難しい。 Hallucinations(幻想)問題 単に「それらしい返答を作る」エンジン であり、知らないことでも嘘をつく。

    知識不足だけでなく論理的思考など でも嘘を付く。(例:素因数分解) 情報管理 ChatGPTなどの入力は、そのエンジ ンを改善するために活用される可能 性がある。情報管理観点でどこまで許 容可能か。 入力文字数問題 例えば一般的なgpt-3.5-turboは 4097トークン(およそ日本語2〜 3000字程度)以上の情報や文脈を扱 えない。最近は拡大傾向。 処理速度 Promptリテラシー 適切なPromptを作れない人にとっ ては欲しい情報・回答を得られない無 用の長物に。 GPT-3などは一回のリクエストに対 して処理に5〜10秒程度必要。モデル が大きくなるほど重い。リアルタイム 性が必要なものは使いづらい。
  7. © 2023 LayerX Inc. 14 Chat is not all you

    need. Chat UI自体を革新と捉える向きもあるが、個人としては本当に使いやすいUXを求めた時のGoalがChatなのかは冷静にな るべきだという立場。二次元的に情報が扱える通常のUIよりもChatで意図が伝えられるのかは冷静に考えたい。 非定型なアクション 定型なアクション ボタンで即座にニーズを伝えられる、1tapで業務を完了出来る方が楽。 使うシチュエーション 入力の複雑さ・精度 タスクの定型性 調べ方も分からないケースではChatが有用かもしれない。一方コンテキス トを与えられるならChatでないUIのほうが表現力が高いことも。 コンテキスト 達成したい目的 …etc 例:タスクの定型性 考えるべき変数は多い
  8. © 2023 LayerX Inc. 16 供給者論理に陥らない、Why LLM問題に向き合う LLMは革新的技術だからこそ、なんでもLLMで解決しないことを考える。Blockchain時代に弊社が向き合った教訓の一つ、技 術ではなくお客様が欲しいものに依拠する議論を。 BERT等の既存

    Transformerベース LLMベース 精度 汎用性 ◯ 汎用性の割に精度は比 較的高い。 処理速度 ◎ Promptのチューニング で様々なタスクに対応。 △ 改善進むも、まだ1req あたり処理速度は数秒。 ◎ 自社でチューニングした 限りでは高い精度。 △ タスクによりけりだが都 度fine-tuning等必要。 ◎ Model自体が小さく処 理が素早い。
  9. © 2023 LayerX Inc. 18 まとめ LLMのUXを考えよう 新しいUXへ、一緒に取り組みたい仲間を募集中 • LLMらしい活用方法はChatかもしれないし、そうではないかもしれない。

    • 解きたい課題にフィットした、LLMに限らないモデル構築を目指そう。 • ソフトウェア・エンジニア(LLM経験は不問、領域横断的に様々な開発に向き合います) • Product Manager(業務アプリケーション開発経験者) • BizDev(特にエンタープライズ向きな取り組み経験者)