LLM in 2023 and 2024

LLM in Production #3にて

Transcript

1. © 2023 LayerX Inc. LLMと2023、2024 2023/12/18, CTO @y_matsuwitter
2. 目次 Agenda • 自己紹介 • LayerXの取り組みと2023年 • OpenAI DevDay等から2024年を考える
3. 自己紹介
4. © 2023 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名　　　　 代表取締役　 創業　　　　　 資本金* 関連会社 株主一覧　 取得認証 ｜ 株式会社LayerX（レイヤーエックス） ｜　代表取締役CEO 福島 良典 　　 代表取締役CTO 松本 勇気 ｜　2018年 ｜　132.6億円 ｜　バクラク事業、Fintech事業、AI・LLM事業 ｜　三井物産デジタル・アセットマネジメント 　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 ｜　 ｜　情報セキュリティマネジメントシステム、　　 　　 JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理（BSM）SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
5. © 2023 LayerX Inc. 5 経営陣紹介 (※一部抜粋) LayerXのご紹介 1 上場を経験した シリアルな経営チーム 日本トップクラスの エンジニアチーム 2 Gunosy / DMM.com CTO CTO協会理事 メルカリ CTO CTO協会理事 CARTA Holdings CTO CTO協会理事 Gunosy創業・上場 未踏スーパクリエータ Aiming 創業・上場 Wantedly 執行役員 サイバーエージェント・ メルカリ上級執行役員
6. © 2023 LayerX Inc. 6 バクラク事業：AIをコア技術としたプロダクトラインナップ LayerXのご紹介 AI-OCRや検知技術などAIをコア技術とするバクラクシリーズを提供している。
7. © 2023 LayerX Inc. 7 大企業連携：MDM（三井物産デジタル・アセットマネジメント） LayerXのご紹介
8. © 2023 LayerX Inc. 8 AI・LLM事業：AI・生成AIへの投資を従来以上に加速 LayerXのご紹介
9. LayerXの取り組みと2023年 文書処理の追求とLLMの進化
10. © 2023 LayerX Inc. 10 4月のチーム発足時よりChatのUX課題を念頭に置き、またバクラクの文脈も踏まえて大きな文書処理に特 化した技術開発を進めてきました。 文書処理を追求した2023年 LayerXの取り組みと2023年 ChatのUX課題 Promptの難しさ templateで緩和できるものの、 業務に資するPromptは難しい。 Stepの多さ 業務を完了させるまでの入力が 多い。ボタン一つで終わらない。
11. © 2023 LayerX Inc. 11 大量・大規模な文書をLLMを用いて業務処理に活用する。多くの業務の起点は受け取った文書である。 LLMによる文書処理とは LayerXの取り組みと2023年 有価証券・登記簿 稟議書・契約書 説明書...etc LLMによる処理 後段のシステム・業 務プロセスへの接 続 人との協働 既存技術による 前処理 アナログな既存業務プロセスの デジタル化転換 文書形式変換 分割・検索・整形 OCR..etc 抽出・要約・変形 分類・生成...etc 成果物の確認・修正
12. © 2023 LayerX Inc. 12 2023年は巨大なContext-lengthモデルが増加。100k以上が現実的に利用できる時代に。さらに価格 は低下を続けており、コストパフォーマンスが向上。 価格とコンテキストサイズの進化 LayerXの取り組みと2023年 GPT-3 GPT-4 GPT-3.5-turbo GPT-4-turbo $0.02/1k tokens 4k tokens 16k tokens $0.004 => $0.002 8k or 32k tokens 100k tokens Input: $0.03 or $0.06 Output: $0.06 or $0.12 Input: $0.01 Output: $0.03 例：OpenAIの変遷
13. © 2023 LayerX Inc. 13 文書以外も含めた処理モデルが増加しつつある。更に出力先としてのフォーマットのリッチ化。 年末にかけてのMulti-modalや生成AIの進化 LayerXの取り組みと2023年 画像 Multi-modal LLM テキスト 音声 テキスト 生成AI 画像 動画 音声・音楽 Multi-modal Modelの登場 多様な生成AIの 登場
14. 2024年を考える 注目しているポイント「高速化・低価格化・LLMが普通になる世界」
15. © 2023 LayerX Inc. 15 orcaやphi-2など元データの高品質化に伴う小さく高精度なモデルの研究が増えた。来年はこれらが市場に 更に投入されるだろうと思われる。 技術は普及に向けて改良され続ける 2024年を考える より良い学習データとは？ の知見の深化 既存高精度LLMを活用した学 習データの生成・選別 Transformerの効率向上や Post-transformerの研究の 進展 StripedHyena-7Bなど Orca-2: 13B、推論能力がパ ラメタ数に比して高い。 Phi-2: 2.7B、小規模だが対 話やコード生成能力が高い。
16. © 2023 LayerX Inc. 16 現実的なコストの範囲内でモデルのチューニングが可能に。結果として自社タスクに特化されたモデルの構 築。ゆえの”Data is King.”の再認識。 高速化・低価格化の先の未来 2024年を考える 小規模かつ高精度なモデル 自社タスク 特化モデル 自社のタスク関連データ 既存MLタスクと同じく、より良い 学習データとはなにか、が重要に。 処理速度・UX、コスト及び処 理精度のバランスが他より高 い、より良いUXの実現
17. © 2023 LayerX Inc. 17 Chat/対話が落ち着き、裏側に自然とLLMが導入されたサービスが増加。ボタン一つのアクションの裏側に LLMが埋め込まれる。 LLMが溶け込んだサービスの増加 2024年を考える Prompt入力 生成物を人がコピペ ファイル添付やボタンクリック 自動でシステム連携 人がPromptを考える （予め用意されたLLM処理プ ロセス） 考える手間なし 良いPrompt 一瞬で完了する Input 手間なく業務全体 が効率化 2023 2024 よいUX×LLMならではな機能の スイートスポットを探す
18. © 2023 LayerX Inc. 18 一部の用途を除き、多段階の業務をLLMで処理することはコスト・精度双方の面で難しいだろうと予想してい る。人と協働するAgentの模索が重要。 Agentはそれでも難しい 2024年を考える LLM処理 LLM処理 LLM処理 LLM処理 人による処理 （Review等） LLM処理 エラー率: 90% エラー率: 90% エラー率: 90% 処理を重ねるほどにエラーが掛け算で 蓄積し続け無視できないレベルへ 完全自動化ではなく半自動化、人との 協働により実用的な精度を保つ
19. まとめ
20. © 2023 LayerX Inc. 20 より高精度・多様な入力・軽量・安価など多様な選択肢を使える中で、自社サービスに自然と組み込んだLLM が作る強みを追求していく。 LLMが前提となったサービス設計の時代へ まとめ LayerXの今 Chat以外のUXの追求+LLMのContext Lengthや 価格・精度の深化から文書処理に取り組む。 来年の予想 多様なモデルの選択肢を自然に埋め込む。 • gpt-4-turboのような高精度モデル • gpt-4VなどのMulti-Modalモデル • 小規模かつ精度高い新モデル（Phi-2等） • 動画や音楽まで生成可能な生成AI 個人的には安価なモデルを比較的多数Callして生まれる 精度や体験の進化にも注目しておきたい。