Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロジェクト推進におけるLLMチューニング
Search
LayerX
PRO
July 11, 2024
Technology
2
950
プロジェクト推進におけるLLMチューニング
2024年7月11日に開催した「LLM Tech Night #3」でエンジニアのkoseiが「プロジェクト推進におけるLLMチューニング」をテーマに登壇した際の資料になります。
LayerX
PRO
July 11, 2024
Tweet
Share
More Decks by LayerX
See All by LayerX
LayerX DesignersDeck
layerx
PRO
0
760
vercel AI SDK のストリームと戯れる
layerx
PRO
1
25
LLM生成文章の精度評価自動化とプロンプトチューニングの効率化について
layerx
PRO
3
240
意外(?)と語られないGoのいいところ
layerx
PRO
5
450
事前準備が肝!AI活用のための業務改革
layerx
PRO
1
750
Ai Workforceを支える技術
layerx
PRO
3
1.1k
開発スピードを落とさないために必要なイネーブルメント組織の在り方
layerx
PRO
1
360
バクラク事業部 5分でわかるQAチーム
layerx
PRO
1
490
Fintech事業部流・爆速開発
layerx
PRO
2
370
Other Decks in Technology
See All in Technology
AWS認定試験の長文問題を早く解くコツ
keke1234ke
0
170
属人化したE2E自動テストを ひも解く
honamin09
1
110
店舗向けSaaSにおける 顧客要望活用の実践アプローチ(20241205_pmconf)
yujirooo
0
3.2k
密着! Bedrockerがre:Invent 2024で過ごした5日間を紹介
minorun365
PRO
3
320
Ruby on Browser - RubyWorld Conference 2024
tmtms
1
110
A/Aテストにおけるサンプルサイズ/japanr2024
nikkei_engineer_recruiting
1
610
ドメインロジックで考えるテスタビリティ
leveragestech
1
280
多様なロール経験が導いたエンジニアキャリアのナビゲーション
coconala_engineer
1
160
開志専門職大学特別講義 2024 オープニング
1ftseabass
PRO
0
230
re:Invent2024のIaC周りのアップデート&セッションの共有/around-re-invent-2024-iac-updates
tomoki10
0
540
検証と資産化を形にするプロダクト組織へ/tapple_pmconf2024
corin8823
1
9.4k
宇宙最速のランチRecap LT会(AWS re:Invent 2024)
watany
1
380
Featured
See All Featured
Navigating Team Friction
lara
183
15k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.2k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Building Better People: How to give real-time feedback that sticks.
wjessup
365
19k
KATA
mclloyd
29
14k
Unsuck your backbone
ammeep
669
57k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
780
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
665
120k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.1k
Transcript
© LayerX Inc. プロジェクト推進におけるLLMチューニング 2024/07/11 LLM Tech Night #3 by
LayerX
2 © LayerX Inc. 自己紹介 • 藤田 幸成 • AI・LLM事業部 エンジニア
• 経歴 ◦ 学部: 物理学科 ◦ 大学院(休学中): 神経科学(脳情報デコーディング) ◦ 衛星画像解析のスタートアップでインターン ▪ LLMを用いたサービスのプロトタイプ開発等 ◦ 2024/4/1〜 LayerX • やってること: プロダクト導入のための個別案件のPoC ◦ LLMのチューニング ◦ 案件で必要になった機能の開発等 • 好きな北海道のお菓子: マルセイバターサンド • 好きな歌手: デーモン閣下・石川さゆり
事業紹介
4
© 2024 LayerX Inc. 5 「知的単純作業」 としてのドキュメントワーク ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 フォーマットの違いなどにより、これまで自動化・効率化されなかった。
毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
6 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所)
https://investors.3m.com/financials/annual-reports-proxy-statements 例)決算書から財務指標の抽出
本日の内容
8 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所)
https://investors.3m.com/financials/annual-reports-proxy-statements 本日の内容: ここをどう効率的に作るか 例)決算書から財務指標の抽出
© 2024 LayerX Inc. 9 限られた時間でLLMを実用化水準に到達させるために LLMが業務を扱うためのワークフロー構築・技術検証のための プロジェクトの期間や予算は限られている。 その中でLLMを実用化水準まで効率的に持っていくための心構えとして... •
①タスクを分ける • ②深入りしすぎない • ③お客さまを頼る
© 2024 LayerX Inc. 10 ①タスクを分ける ※案件情報を話せないため以下はイメージアップ のための類似事例であり、精度は未検証です 様々な利用規約から サービス提供者の免責事項と
その条項番号を抽出 「ユーザーID及びパスワードの不正利用に よって契約者等に生じた損害について責 任を負わない」 第11条5 画像出所)https://bakuraku.jp/terms/workflow-terms/
© 2024 LayerX Inc. 11 ①タスクを分ける 一度に大きな問題をLLMに解かせるのではなく、細かい簡単なタスクに分解することで解決しやすくなる。 その際、適宜ルールベースやその他NLP・ML技術を組み合わせ、必要な情報が過不足ない状態に近づける。 利用規約から事前定義した項目抽出の例) 階層が深くなる・文章が
長くなるとミスしがち 条項の構造を回答 正規表現を用いて免責事項の 条文に対応する条項番号を取得 一つ一つの問題は LLMにとって解きやすい 条項構造に基づいて 条項番号を取得する 正規表現を作成 免責事項を抽出 様々な利用規約から サービス提供者の免責事項と その条項番号を抽出
© 2024 LayerX Inc. 12 ①タスクを分ける Visionモデルを用いる場合も同様。 一見ひとつに見える「分類」タスクもLLMの「抽出」タスクとして切り分けられたりする。 錠剤が自社の製品かどうかを判別する問題を例とすると... 画像出所)https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
以下の画像は錠剤です 自社の薬なら1、 それ以外は0を出力して 自社の薬は... 錠剤から識別コードを抽出 抽出したコードに対して自社のものと突合 分類部分は不確実性の低い ルールベースで行う
© 2024 LayerX Inc. 13 ①タスクを分ける LLMが問題が解きやすくなる&検証箇所が明確になる以外にも、以下の嬉しさもある • 解釈性の向上 ◦
どのステップで間違えたのかわかる ◦ 中間ステップの出力をエンドユーザーに表示することも検討 • 後からルールベースなどの処理を挟めるので、仕様を調整しやすくなる ◦ 薬の例) ・抽出した識別コードに対して例外処理を追加 ・特定企業以外の識別コードも判定対象に追加 画像出所)https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
© 2024 LayerX Inc. 14 多くの場合、タスクの分解には「仮定」が付随する。どこまで「仮定」をおくかは、業務・ドメインに強く依存。 タスクを適切に分解するには業務・ドメインを深く理解する必要がある。 not MECE&個人的な感覚値&実際には組み合わせだが仮定に対する選択手法として以下イメージがある ①タスクを分ける
問題に対して 置ける 仮定の強さ ルールベース その他ML/NLP等 ルールベースで前処理→LLM LLMにルールを分類・抽出させる (function calling・正規表現を回答等) LLMにルールを明示 (think step by step, “ここに着目して”と指示等) マルチエージェント・LLMにタスクを考えさせる? (現状あまり使っていないが) 強
© 2024 LayerX Inc. 15 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 (step by step等) ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討
© 2024 LayerX Inc. 16 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト サンプル データ数の 肌感覚 1サンプル 分布の大きいところから 数サンプル エッジケース
© 2024 LayerX Inc. 17 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 (step by step等) ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討 コードを書かなくても すぐに実践可能で、 提供価値は小〜中程度 コードを書けばすぐに試せて 価値増加幅が大きい =Low Hanging Fruits コストをかけても 価値増加幅が小さい →プロダクトでカバー
© 2024 LayerX Inc. 18 ③お客さまを頼る LLMを実用水準に引き上げるためには適切な問題設計が重要。 適切な問題設計や改善のために、お客さまの業務・ドメインを深く理解するのはもちろんだが、 ドメインエキスパートであるお客さまの力を借りた方が効率的な部分もある。 •
既存業務の入出力ファイル・処理内容は何なのか、業務フローの整理 • どの部分・項目をシステムで出力すると業務が効率化されるのか • 入力のどこから抽出等しているか・正解データの作成 • データのバリエーションと分布はどうか • どこまで仮定を置いていいのか(ルールベース, 入力に応じてプロンプトを変更, etc.) • few-shotのサンプル用意 • どの部分は人手で行うことを許容できるのか... etc
© 2024 LayerX Inc. 19 お礼と宣伝 • 本日のトーク内容の大部分はフィードバックの受け売 りや業務の中で出てきた反省点と学びです。 豊富な学びの機会に感謝しています。
• 大きな市場・不確実性の高い技術のハンドリング・UX にこだわったプロダクト, etc. CTO・執行役員経験者やプロダクト開発経験者を間 近で見て学びながら、面白い問題に面白い技術で取 り組める貴重な環境です! • Biz, エンジニア, デザイナー, インターン, 業務委託等 全方面で採用実施中です! LayerX OpenDoorにていつでも誰でもカジュア ル面談できます!お気軽にお申し込みください!