Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
間違いが許されなくてもLLMが使えるユースケースとは @GenAI Playground Me...
Search
Ryuya Nakamura
July 31, 2024
Technology
11
5.6k
間違いが許されなくてもLLMが使えるユースケースとは @GenAI Playground Meetup #01
2024/7/31 GenAI Playground Meetup #01
Ryuya Nakamura
July 31, 2024
Tweet
Share
More Decks by Ryuya Nakamura
See All by Ryuya Nakamura
フィードバックされやすい人になろう
nrryuya
19
11k
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
4
2k
「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
nrryuya
9
11k
20240130 エンプラDXにおける2024年の生成AIトレンド予測 @生成AI新年会2024
nrryuya
2
2k
20240125 開発側・ビジネス側という壁を作らない LLMアプリ開発 @生成AI Conf
nrryuya
8
3.8k
抜擢されるには
nrryuya
19
13k
キャッチアップ速度が速い #とは
nrryuya
71
37k
LLMアプリケーションの安定性を高めるための精度評価・改善
nrryuya
4
2.4k
20230425 PRIVACY TECH NIGHT #02 「統計化すれば安全」の罠 ──差分プライバシーの背景
nrryuya
0
790
Other Decks in Technology
See All in Technology
Google CloudのLLM活用の選択肢を広げるVertex AIのパートナーモデル
nayuts
0
100
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
2
390
Evolving DevOps Teams and Flexible Organizational Culture
kakehashi
1
260
効果的なオンコール対応と障害対応
ryuichi1208
5
2.7k
技術ブログや登壇資料を秒で作るコツ伝授します
minorun365
PRO
23
5.5k
Jetpack Compose Modifier 徹底解説 / Jetpack Compose Modifier
wiroha
0
130
社内の学びの場・コミュニティ形成とエンジニア同士のリレーションシップ構築/devreljapan2024
nishiuma
3
230
contenteditableと向き合う
kikuchikakeru
2
290
「家族アルバム みてね」における運用管理・ オブザーバビリティの全貌 / Overview of Operation Management and Observability in FamilyAlbum
isaoshimizu
4
150
Optuna: a Black-Box Optimization Framework
pfn
PRO
1
110
Mocking in Rust Applications
taiki45
1
380
スーパーマリオRPGのリメイク版の変更点からみるUX
nishiharatsubasa
1
330
Featured
See All Featured
Navigating Team Friction
lara
183
13k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
354
29k
Happy Clients
brianwarren
96
6.6k
Web Components: a chance to create the future
zenorocha
308
42k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
38
9.2k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.1k
Adopting Sorbet at Scale
ufuk
73
8.9k
Faster Mobile Websites
deanohume
304
30k
Bash Introduction
62gerente
608
210k
GraphQLとの向き合い方2022年版
quramy
43
13k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
3k
What the flash - Photography Introduction
edds
67
11k
Transcript
© 2024 LayerX Inc. 間違いが許されなくてもLLMが使えるユースケースとは 2024/7/31 @GenAI Playground Meetup #01
LayerX 部門執行役員・AI・LLM事業部長 中村龍矢
自己紹介・会社紹介
© 2024 LayerX Inc. 3 中村龍矢 機械学習エンジニア 東京大 工学部 •
データサイエンスと出会う Gunosy データ分析部 • 推薦システム開発等 セキュリティ研究者 (現在) 事業責任者 LayerX 創業時からR&D • プログラムの形式検証 • ブロックチェーン ◦ Ethereumへのコント リビューション • LayerX 部門執行役員 AI・LLM事業部長 • IPA 未踏スーパークリエータ • 2020年度 電子情報通信学会 インターネットアーキテクチャ研 究賞 最優秀賞 (共著) • Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 • プライバシーテック • 大規模言語モデル 自己紹介
© 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名
代表取締役 創業 資本金* 関連会社 株主一覧 取得認証 | 株式会社LayerX(レイヤーエックス) | 代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気 | 2018年 | 132.6億円 | バクラク事業、Fintech事業、AI・LLM事業 | 三井物産デジタル・アセットマネジメント 三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 | | 情報セキュリティマネジメントシステム、 JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理(BSM)SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
5
© 2024 LayerX Inc. 6 ターゲット: 「知的だが単純」 な長文の文書処理業務 ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解も決まっているため、負荷を下げて、早く終わらせたい。
毎回同じことの繰り返し 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない Ai Workforceの紹介
© 2024 LayerX Inc. 7 ユースケースの例: 金融業界 Ai Workforceの紹介 決算書や契約書などの書類を別の書類・システムに転記したり、それを確認したりする業務が多い
ファンド関連 契約書 ファンド管理 DB 登記簿等の 公的書類 決算書 稟議書 ドラフト 事業計画書 銀行の稟議書作成・レビュー アセットマネジメント会社の書類整理
LLMと人間によるレビュー
© 2024 LayerX Inc. 9 「間違いが許されないユースケース」でLLMを使いたい 「LLMはミスをするので、ミスが許容される仕事の方が向いている」は本当か? • 例: ブレインストーミングに使う
• しかし、業務活用を考えると、インパクトが小さい、ライトなユースケースになってしまうのでは • 間違いが許されない 「本格的な」 ユースケースの方が、インパクトが出ることも多い ◦ 当社の金融業界での取り組み: 稟議書作成や決算書分析
© 2024 LayerX Inc. 10 LLMの出力をレビューする LLMの結果を人間がレビューすれば、間違いが許されないユースケースでも使える • LLMの出力 =
「下書き」もしくは「叩き台」 • 人間はその「下書き・叩き台」をレビュー・修正する → Ai WorkforceでもレビューのUXにこだわっている
© 2024 LayerX Inc. 11 3M. (2024). 3M 2023 Annual
Report. U.S. Securities and Exchange Commission. https://www.sec.gov/Archives/edgar/data/66740/000130817924000309/mmm4298631-ars.pdf
© 2024 LayerX Inc. 12 抽出元のページ をクリック 参照元をハイライト
レビューの手間を挟んでも 価値のあるユースケース
© 2024 LayerX Inc. 14 ユースケースによっては、レビューのために人間が作業をやり直すような形になってしまう • 例: 重要な契約書について、全ての条文のリスクをチェックする ◦
LLMの指摘に限らず、結局法務担当者に全部レビューしてもらうのでは? • 文書のリスクチェックや、情報抽出のユースケースは、「取りこぼし」 が問題になる ツッコミ: 人間がレビューするならLLMを使わなくても一緒では? インプット アウトプット 結局、全部読むのか、、、 「叩き台」 が無いよりマシ、かもしれないが...
© 2024 LayerX Inc. 15 問い: レビューの手間を挟んでも価値のあるユースケースとは? 人間の 作業時間 アウトプットのための作業と、そのレビューの手続きに非対称性がある場合は?
LLMの出力の レビュー時間 LLMの処理 コスト・時間 > 人間単独の作業時間 LLM+人間の作業時間
© 2024 LayerX Inc. 16 既に普及しそうな 「間違いが許されない」 ユースケース 「ゼロからやるより叩き台があった方がはるかに楽」 かつ
「間違いを局所的に確認できる」 もの • GitHub Copilot等のコード生成 (バグが許されない開発で使うとして) ◦ コードを書くのは時間がかかる ◦ バグはテスト・QAで検知できる • 出版物の外国語への翻訳 (正確性が求められる書籍だとして) ◦ 翻訳した文書を執筆するのは時間がかかる ◦ 文法・語彙がわかれば修正できる • etc.
© 2024 LayerX Inc. 17 長文の文書からの情報抽出などのケースの場合は? インプットに対してアウトプットが小さいユースケースの場合、単なる「叩き台」だとメリットが小さいことも インプット アウトプット インプット
の一部 (暗号分野の「ゼロ知識証明」のアナロジー)
© 2024 LayerX Inc. 18 前提知識に基づいて、アウトプットが効率的に検証できるケース “最大1つしかない” などの前提が既知なら、その結果だけを見れば、インプット全体を見なくても良い • 例:
長文の決算資料から 「連結のB/S」 を抽出する ◦ 「連結のB/S」 の表は通常一箇所しかない、などの前提をおける ◦ 一つ発見できれば、他の箇所は見なくても良い • これに限らず、同様の 「出力を検証する条件」 が既知であれば良い
© 2024 LayerX Inc. 19 結局、触ってもらうのが一番早い価値検証 なのでプロダクトを早く作ろう! • 精度指標の定義を頑張るより、ストップウォッチを持ってA/Bテスト的に検証した方が早い •
ユーザー様に実際触ってもらって感じたこと: 単に業務削減ではない ◦ 「間違いが許されない」業務だからこそ、心理的な負担の軽減のインパクトも大きい
最後に
© 2024 LayerX Inc. 21 お気軽にご連絡ください お問い合わせ 最後に • LayerX公式サイト
「お問い合わせ」 より ◦ https://layerx.co.jp/contact/ (Ai WorkforceのLPはまだありません!)
© 2024 LayerX Inc. 22 ビジネス・エンジニアの垣根なく、一丸となって事業を立ち上げています! LayerXのAI・LLM事業部の仲間を募集しています! 最後に • 特に採用注力中のポジション
(業務委託も歓迎) ◦ ソフトウェアエンジニア ◦ アルゴリズムエンジニア ◦ デザイナー ◦ ビジネス側マネージャー • 応募はこちらから ◦ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132 • カジュアル面談もお気軽に! ◦ https://t.co/zMlRO4ZBzt
© 2024 LayerX Inc. 23 利活用事例や技術動向などを、特定ベンダーに偏らない形で情報収集いただけます 生成AIに関するニュースレターを毎週配信(無料) 最後に https://layerxnews.substack.com/archive ご登録はこちらから
None