「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用

LayerX 部門執行役員・AI・LLM事業部長 中村龍矢
2024/5/8 生成AI Conf

Transcript

1. © 2024 LayerX Inc. 「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用 2024/5/8 LayerX 部門執行役員・AI・LLM事業部長 中村龍矢
2. 自己紹介・会社紹介
3. © 2024 LayerX Inc. 3 中村龍矢 機械学習エンジニア 東京大 工学部 • データサイエンスと出会う Gunosy データ分析部 • 推薦システム開発等 セキュリティ研究者 （現在） 事業責任者 LayerX 創業時からR&D • プログラムの形式検証 • ブロックチェーン ◦ Ethereumへのコント リビューション • LayerX 部門執行役員 AI・LLM事業部長 • IPA 未踏スーパークリエータ • 2020年度 電子情報通信学会 インターネットアーキテクチャ研 究賞 最優秀賞 (共著) • Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 • プライバシーテック • 大規模言語モデル 自己紹介
4. © 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名　　　　 代表取締役　 創業　　　　　 資本金* 関連会社 株主一覧　 取得認証 ｜ 株式会社LayerX（レイヤーエックス） ｜　代表取締役CEO 福島 良典 　　 代表取締役CTO 松本 勇気 ｜　2018年 ｜　132.6億円 ｜　バクラク事業、Fintech事業、AI・LLM事業 ｜　三井物産デジタル・アセットマネジメント 　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 ｜　 ｜　情報セキュリティマネジメントシステム、　　 　　 JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理（BSM）SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
5. © 2024 LayerX Inc. 5 LayerXにおけるLLMの活用 LayerXのご紹介 • バクラク事業: 既存プロダクトへのLLMを活用した新機能の拡充 • AI・LLM事業: LLMを軸とした新たなプロダクトの発掘
6. © 2024 LayerX Inc. 6 AI・LLM事業： バクラク・FinTechに次ぐ第三の事業 LayerXのご紹介 • CTO松本が昨年4月に「LLM Labs」を立ち上げ • 昨年11月に正式に事業部へ
7. © 2024 LayerX Inc. 7 チーム紹介 LayerXのご紹介 経営陣 AI・LLM事業部 福島 良典 代表取締役 CEO Gunosy創業・上場 横田 淳 取締役コーポレート担当 メルカリ上級執行役員 手嶋 浩己 XTech Ventures 代表パートナー 渡瀬 浩行 執行役員 CFO Aiming創業・上場 名村 卓 執行役員 メルカリCTO 川口 かおり 執行役員 Wantedly執行役員 松本 勇気 代表取締役 CTO Gunosy/DMM CTO 中村 龍矢 執行役員 事業部長 未踏スーパークリエータ 畑島 崇宏 事業開発 野村総合研究所 篠塚 史弥 エンジニア FiNC CTO 小林 誉幸 事業開発 弁護士ドットコム執行役員
8. © 2024 LayerX Inc. 8 本日のトピック • なぜLayerXがLLMをやるのか？ • LayerXのLLM事業の取り組みスタンス • LLM活用において活躍する人材とは？
9. なぜLayerXがLLMをやるのか？
10. © 2024 LayerX Inc. 10 LayerX創業からのチームが母体: 一貫して “テクノロジードリブンな事業立ち上げ” にトライ そもそも: AI・LLM事業部に至る変遷 なぜLayerXがLLMをやるのか？ Fintech事業 バクラク事業 ブロックチェーン事業 ブロックチェーン事業 プライバシーテック事業 R&Dチーム LLM Labs AI・LLM事業 2018年創業 2021年 2020年ピボット 2023年 データビジネス の支援 LLMのR&D
11. © 2024 LayerX Inc. 11 業務のデジタル化における非構造化データの課題と可能性 背景1: ブロックチェーン・プライバシーテック事業での気づき なぜLayerXがLLMをやるのか？ • ブロックチェーン時代の課題: 会社をまたぐシステムの連携 ◦ データのフォーマットが会社ごとにバラバラ （標準化されていない） • プライバシーテック時代の課題: マネタイズできるデータの発掘 ◦ 構造化データの限界 （プライバシーテックでは非構造化データは扱いにくかった） ◦ 一方、お客様から「LLMはやらないの？」と言われていた （補足: 現在AI・LLM事業のお客様のほとんどはBC・PT時代のお客様！）
12. © 2024 LayerX Inc. 12 背景2: バクラク事業の土台 なぜLayerXがLLMをやるのか？ • ユースケース面の知見 ◦ 文書処理業務におけるAI活用 • 技術面の知見 ◦ BERT系のモデルの活用 AIを活用したプロダクトの成功体験
13. © 2024 LayerX Inc. 13 背景3: 行動指針である “Bet Technology” テクノロジーの変化により生まれた事業機会に積極的に挑む経営方針 • 代表2名・経営陣の約半分がエンジニア出身 ◦ CTO松本が即座にLLM Labsを立ち上げ • 面白い技術には素直に飛びつく → 事業化と投資拡大は冷静に分析 ◦ 『素人発想・玄人実行』 なぜLayerXがLLMをやるのか？
14. LayerXの取り組みスタンス
15. © 2024 LayerX Inc. 15 LayerXの取り組みスタンス 「知的単純作業」 ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
16. © 2024 LayerX Inc. 16 例: 金融業界における知的単純作業 LayerXの取り組みスタンス 決算書や契約書などの書類を別の書類・システムに転記したり、それを確認したりする業務が多い ファンド関連 契約書 ファンド管理 DB 登記簿等の 公的書類 決算書 稟議書 ドラフト 事業計画書 銀行の稟議書作成・レビュー アセットマネジメント会社の書類整理
17. © 2024 LayerX Inc. 17 LLMによる非構造的なデータの構造化 LayerXの取り組みスタンス {会社名: 株式会社LLM} xxx契約書 第6条（責任の免除） 甲は、本契約に基づくサービスの提供において、故意 または重大な過失がない限り、いかなる間接的損害に 対しても責任を負わない。 乙による本サービスの利用に関連して発生したデータ の損失または損害について、甲は責任を負わない。 会社名　株式会社LLM {責任制限条項: 間接的損害, データの損失ま たは損害} LLMは従来のプログラムでは細かすぎて作り込みきれない文書処理に対応できる 文書の意味を汲み取り、 デジタル化を阻んできた文書の フォーマットの違いを吸収 LLM
18. © 2024 LayerX Inc. 18 知的単純作業におけるAI活用のメリット LayerXの取り組みスタンス 業務時間削減だけではなく、業務の質を高めることにつながる 業務時間の削減 • 労働生産性の向上 • 働きがいの向上・離職率の低下 ヒューマンエラーの削減 • 単純作業の連続での集中力低下によるミスを削減 • 処理のログが残ることで他人によるレビューがしやすい 業務の標準化 • AIがドラフトを作ることで、作業者ごとのバラツキが減る • 担当者変更での業務ノウハウの引き継ぎも行いやすい
19. © 2024 LayerX Inc. 19 知的単純作業自動化の社会的なインパクト エンプラの業務のほとんどは、一部の業界やその会社に特化した「ニッチ」なもの。便利で安価なサービスが生 まれにくく、従来はシステム開発に多額の投資をするか、DXを諦めざるを得なかった。 LayerXの取り組みスタンス 具体例 • 銀行の融資稟議書の作成 • 損害保険の募集文書のレビュー • 医療分野の論文の構造化抄録作成 • 特許の社内分類
20. 文書処理業務を自動化するための チューニング
21. © 2024 LayerX Inc. 21 必ずしもfine-tuningではない！ 業界・会社特化のユースケースに合わせたチューニングが重要 LLM活用のためのチューニング 技術的な観点 ドメイン知識的な観点 アルゴリズムの要素技術を検証する • ファイルの前処理・後処理 • 検索アルゴリズムの選定 • LLMの処理の分割・結合 • LLM以外のML/NLPとの組み合わせ プロンプト等で下記をLLMに教える • 専門用語の説明 • 正解例・フォーマット • 判断ルール • 着目すべき箇所のヒント
22. © 2024 LayerX Inc. 22 LLMは複数の指示を一度に与えるより、シンプルな指示に絞った方が精度が上がりやすい 技術的な観点のチューニングの例: LLMの処理の分割・結合 LLM活用のためのチューニング 抽出タスク 抽出タスク 都度インプット 事前インプット 判断タスク 分類タスク 判断タスク 出力 シンプルなLLMの処理（タスク）を組み合わせることで全体の処理を実現
23. © 2024 LayerX Inc. 23 チューニングによる精度改善のイメージ LLM活用のためのチューニング LLMはそのままでは「地頭が良いだけの新入社員」であり、いきなり本番業務で活躍することはない 素のLLM 業務知識・ルールの追加 高度な技術的工夫 30-50点 70-80点 80-90点 実用化水準 ドキュメントワーク系のPoCでの感覚値 「社内用ChatGPT」 があまり使われない パターン
24. © 2024 LayerX Inc. 24 LLM活用のためのチューニング LayerXでは、文書処理にフォーカスしてチューニング作業をパターン化した社内基盤を構築 チューニングを効率化する “LLM Ops” の構築 LayerXの社内基盤 分割 LLM処理 LLM処理 変換 検索 LLM処理 設定 ファイル 簡単に個別の業務に合わせたアルゴリズムを検証 • プロンプトに限らない様々なパラメータを改善 • ノーコードでチューニング可能 ◦ 設定ファイルを修正するだけ • 精度評価を自動化 ◦ 「採点結果」がレポートとして出力される 整形
25. © 2024 LayerX Inc. 25 業務のやり方が明確 チューニングしやすいユースケース LLM活用のためのチューニング 正解が明確 • LLMに期待する正しいアウトプットが明確に定義できるか • 答えが定まらないと、精度評価できない • LLMに人間の手順・思考回路を再現させる方が簡単 • 「職人芸」「第六感」的な業務は難しい 正解・プロセスが明確で “Quick Win” を作りやすいところから始める → “知的単純作業”のユースケースは上記を満たしていることが多い！
26. © 2024 LayerX Inc. 26 「精度80%を達成する」などの定量的な精度の閾値を設けるのは難しい 精度目標の定義の難しさ LLM活用のためのチューニング • 項目によって、自動化できた場合のインパクトが異なる ◦ 例: 「売上」は人間でもすぐ見つかるが、「売上増減要因」は探すのが大変で時間がかかる ◦ 人間にとって大変な項目こそ、LLMが正答してほしい • 不正解の中で、「取り過ぎ」と「取りこぼし」の影響は異なる ◦ 例: 「売上」らしき数字が複数ある時、LLMが候補として複数出力する場合 ▪ 取り過ぎは人間がすぐ修正できるが、取りこぼしは結局人間が元文書を全部読むので大変 例: 企業の決算レポートから所定の10項目の決算情報をLLMで取得する場合
27. © 2024 LayerX Inc. 27 実際にユーザーに、AIを使う/使わないパターンで業務を行ってもらう ABテスト的な評価方法 LLM活用のためのチューニング • 業務削減時間について、ストップウォッチを持って測って比較する ◦ 精度のスコアは無理に使わない ◦ （一方、「品質」を評価する場合はやはり難しい）
28. © 2024 LayerX Inc. 28 ユーザー/お客様に対して、エンジニアが、臆せず自分でやれると良いこと LLM活用のためのチューニング エンジニアが直接ユーザーと対話してチューニングしよう • 直接質問し、仮説をぶつけよう ◦ 嫌がらずにメール・電話をしよう ◦ なるべく早くフィードバックをもらい、高速で検証を回そう • どんどん 「お願いごと」 をしよう ◦ 業務マニュアルや必要なデータの受領 ◦ 「暗黙知」の言語化 （既存マニュアルは大抵LLMにとって優しくない、、、） • ユーザーの業務に深くダイブし、思考過程を想像しよう → クライアントコミュニケーションができるエンジニアの価値は非常に高い！
29. © 2024 LayerX Inc. 29 基盤モデルの使い方・アプリケーション面にフォーカス 補足: 基盤モデルの開発はやっていません • LLMでうまくいかない原因が「基盤モデルのせい」であることが少ない ◦ 「知的単純作業」なユースケースに取り組んでいる所感 • 強いて言えば、高速化・低価格化には引き続き期待 ※ 一方、基盤モデル開発は、他のユースケースでのニーズや、国策としての意義があるものと思います （取り組んでいる企業の皆様を応援・尊敬しています） LLM活用のためのチューニング
30. 最後に
31. © 2024 LayerX Inc. 31 まとめ • LayerXにとって、LLMへの参入はかなり自然な流れでした ◦ 「すべての経済活動のデジタル化」というミッション ◦ 新しいテクノロジーから事業を作ることに取り組んできた • 「知的単純作業」から人々を解放する大きなポテンシャルがLLMにあると考えています ◦ ここに特化したプロダクトを開発しています • 実用化のためには、ユーザーに向き合ったチューニングがとても大事です 最後に
32. © 2024 LayerX Inc. 32 ビジネス・エンジニアの垣根なく、一丸となって事業を立ち上げています！ 宣伝: LayerXのAI・LLM事業部の仲間を募集しています！ 最後に • 募集中ポジション ◦ アルゴリズムエンジニア ◦ ソフトウェアエンジニア、プロダクトマネージャー、QAエンジニア、デザイナー ◦ プロジェクトマネージャー、BizDev • 応募はこちらから ◦ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132 • カジュアル面談もお気軽に！ ◦ https://t.co/zMlRO4ZBzt
33. © 2024 LayerX Inc. 33 LayerXやLLMのアプリケーションに興味がある方ぜひご参加ください！ 宣伝: 新しいオフィス（@東銀座）にてイベントを開催します！ • 日時: 6/10（月） 19:00-21:00 （予定） • 場所: 銀座松竹スクエア （LayerX新オフィス） • ぜひ参加してほしい方 ◦ エンジニア ◦ プロダクトマネージャー ◦ プロジェクトマネージャー・BizDev 最後に https://layerx.connpass.com/event/318086
34. © 2024 LayerX Inc. 34 利活用事例や技術動向などを、特定ベンダーに偏らない形で情報収集いただけます 生成AIに関するニュースレターを毎週配信（無料） 最後に https://layerxnews.substack.com/archive ご登録はこちらから