Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロジェクト推進におけるLLMチューニング
Search
LayerX
PRO
July 11, 2024
Technology
2
570
プロジェクト推進におけるLLMチューニング
2024年7月11日に開催した「LLM Tech Night #3」でエンジニアのkoseiが「プロジェクト推進におけるLLMチューニング」をテーマに登壇した際の資料になります。
LayerX
PRO
July 11, 2024
Tweet
Share
More Decks by LayerX
See All by LayerX
LLM生成文章の精度評価自動化とプロンプトチューニングの効率化について
layerx
PRO
2
190
意外(?)と語られないGoのいいところ
layerx
PRO
5
430
事前準備が肝!AI活用のための業務改革
layerx
PRO
1
690
Ai Workforceを支える技術
layerx
PRO
2
910
開発スピードを落とさないために必要なイネーブルメント組織の在り方
layerx
PRO
1
310
バクラク事業部 5分でわかるQAチーム
layerx
PRO
1
440
Fintech事業部流・爆速開発
layerx
PRO
2
360
Beyond PoC〜LLMを本番業務で適用するためにLayerXで取り組んでいること〜
layerx
PRO
5
1.7k
Fintech Casual Night #1〜LayerX Fintech事業部、その実態とは!?〜
layerx
PRO
0
420
Other Decks in Technology
See All in Technology
BLADE: An Attempt to Automate Penetration Testing Using Autonomous AI Agents
bbrbbq
0
290
マルチプロダクトな開発組織で 「開発生産性」に向き合うために試みたこと / Improving Multi-Product Dev Productivity
sugamasao
1
300
TypeScriptの次なる大進化なるか!? 条件型を返り値とする関数の型推論
uhyo
2
1.6k
AWS Media Services 最新サービスアップデート 2024
eijikominami
0
190
OCI Vault 概要
oracle4engineer
PRO
0
9.7k
第1回 国土交通省 データコンペ参加者向け勉強会③- Snowflake x estie編 -
estie
0
120
ドメインの本質を掴む / Get the essence of the domain
sinsoku
2
150
The Role of Developer Relations in AI Product Success.
giftojabu1
0
120
Application Development WG Intro at AppDeveloperCon
salaboy
0
180
フルカイテン株式会社 採用資料
fullkaiten
0
40k
rootlessコンテナのすゝめ - 研究室サーバーでもできる安全なコンテナ管理
kitsuya0828
3
380
ノーコードデータ分析ツールで体験する時系列データ分析超入門
negi111111
0
410
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
243
12k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
840
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
A Philosophy of Restraint
colly
203
16k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
For a Future-Friendly Web
brad_frost
175
9.4k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
How to train your dragon (web standard)
notwaldorf
88
5.7k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
6.8k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5k
Transcript
© LayerX Inc. プロジェクト推進におけるLLMチューニング 2024/07/11 LLM Tech Night #3 by
LayerX
2 © LayerX Inc. 自己紹介 • 藤田 幸成 • AI・LLM事業部 エンジニア
• 経歴 ◦ 学部: 物理学科 ◦ 大学院(休学中): 神経科学(脳情報デコーディング) ◦ 衛星画像解析のスタートアップでインターン ▪ LLMを用いたサービスのプロトタイプ開発等 ◦ 2024/4/1〜 LayerX • やってること: プロダクト導入のための個別案件のPoC ◦ LLMのチューニング ◦ 案件で必要になった機能の開発等 • 好きな北海道のお菓子: マルセイバターサンド • 好きな歌手: デーモン閣下・石川さゆり
事業紹介
4
© 2024 LayerX Inc. 5 「知的単純作業」 としてのドキュメントワーク ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 フォーマットの違いなどにより、これまで自動化・効率化されなかった。
毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
6 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所)
https://investors.3m.com/financials/annual-reports-proxy-statements 例)決算書から財務指標の抽出
本日の内容
8 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所)
https://investors.3m.com/financials/annual-reports-proxy-statements 本日の内容: ここをどう効率的に作るか 例)決算書から財務指標の抽出
© 2024 LayerX Inc. 9 限られた時間でLLMを実用化水準に到達させるために LLMが業務を扱うためのワークフロー構築・技術検証のための プロジェクトの期間や予算は限られている。 その中でLLMを実用化水準まで効率的に持っていくための心構えとして... •
①タスクを分ける • ②深入りしすぎない • ③お客さまを頼る
© 2024 LayerX Inc. 10 ①タスクを分ける ※案件情報を話せないため以下はイメージアップ のための類似事例であり、精度は未検証です 様々な利用規約から サービス提供者の免責事項と
その条項番号を抽出 「ユーザーID及びパスワードの不正利用に よって契約者等に生じた損害について責 任を負わない」 第11条5 画像出所)https://bakuraku.jp/terms/workflow-terms/
© 2024 LayerX Inc. 11 ①タスクを分ける 一度に大きな問題をLLMに解かせるのではなく、細かい簡単なタスクに分解することで解決しやすくなる。 その際、適宜ルールベースやその他NLP・ML技術を組み合わせ、必要な情報が過不足ない状態に近づける。 利用規約から事前定義した項目抽出の例) 階層が深くなる・文章が
長くなるとミスしがち 条項の構造を回答 正規表現を用いて免責事項の 条文に対応する条項番号を取得 一つ一つの問題は LLMにとって解きやすい 条項構造に基づいて 条項番号を取得する 正規表現を作成 免責事項を抽出 様々な利用規約から サービス提供者の免責事項と その条項番号を抽出
© 2024 LayerX Inc. 12 ①タスクを分ける Visionモデルを用いる場合も同様。 一見ひとつに見える「分類」タスクもLLMの「抽出」タスクとして切り分けられたりする。 錠剤が自社の製品かどうかを判別する問題を例とすると... 画像出所)https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
以下の画像は錠剤です 自社の薬なら1、 それ以外は0を出力して 自社の薬は... 錠剤から識別コードを抽出 抽出したコードに対して自社のものと突合 分類部分は不確実性の低い ルールベースで行う
© 2024 LayerX Inc. 13 ①タスクを分ける LLMが問題が解きやすくなる&検証箇所が明確になる以外にも、以下の嬉しさもある • 解釈性の向上 ◦
どのステップで間違えたのかわかる ◦ 中間ステップの出力をエンドユーザーに表示することも検討 • 後からルールベースなどの処理を挟めるので、仕様を調整しやすくなる ◦ 薬の例) ・抽出した識別コードに対して例外処理を追加 ・特定企業以外の識別コードも判定対象に追加 画像出所)https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
© 2024 LayerX Inc. 14 多くの場合、タスクの分解には「仮定」が付随する。どこまで「仮定」をおくかは、業務・ドメインに強く依存。 タスクを適切に分解するには業務・ドメインを深く理解する必要がある。 not MECE&個人的な感覚値&実際には組み合わせだが仮定に対する選択手法として以下イメージがある ①タスクを分ける
問題に対して 置ける 仮定の強さ ルールベース その他ML/NLP等 ルールベースで前処理→LLM LLMにルールを分類・抽出させる (function calling・正規表現を回答等) LLMにルールを明示 (think step by step, “ここに着目して”と指示等) マルチエージェント・LLMにタスクを考えさせる? (現状あまり使っていないが) 強
© 2024 LayerX Inc. 15 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 (step by step等) ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討
© 2024 LayerX Inc. 16 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト サンプル データ数の 肌感覚 1サンプル 分布の大きいところから 数サンプル エッジケース
© 2024 LayerX Inc. 17 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 (step by step等) ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討 コードを書かなくても すぐに実践可能で、 提供価値は小〜中程度 コードを書けばすぐに試せて 価値増加幅が大きい =Low Hanging Fruits コストをかけても 価値増加幅が小さい →プロダクトでカバー
© 2024 LayerX Inc. 18 ③お客さまを頼る LLMを実用水準に引き上げるためには適切な問題設計が重要。 適切な問題設計や改善のために、お客さまの業務・ドメインを深く理解するのはもちろんだが、 ドメインエキスパートであるお客さまの力を借りた方が効率的な部分もある。 •
既存業務の入出力ファイル・処理内容は何なのか、業務フローの整理 • どの部分・項目をシステムで出力すると業務が効率化されるのか • 入力のどこから抽出等しているか・正解データの作成 • データのバリエーションと分布はどうか • どこまで仮定を置いていいのか(ルールベース, 入力に応じてプロンプトを変更, etc.) • few-shotのサンプル用意 • どの部分は人手で行うことを許容できるのか... etc
© 2024 LayerX Inc. 19 お礼と宣伝 • 本日のトーク内容の大部分はフィードバックの受け売 りや業務の中で出てきた反省点と学びです。 豊富な学びの機会に感謝しています。
• 大きな市場・不確実性の高い技術のハンドリング・UX にこだわったプロダクト, etc. CTO・執行役員経験者やプロダクト開発経験者を間 近で見て学びながら、面白い問題に面白い技術で取 り組める貴重な環境です! • Biz, エンジニア, デザイナー, インターン, 業務委託等 全方面で採用実施中です! LayerX OpenDoorにていつでも誰でもカジュア ル面談できます!お気軽にお申し込みください!