Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロジェクト推進におけるLLMチューニング
Search
LayerX
PRO
July 11, 2024
Technology
2
1k
プロジェクト推進におけるLLMチューニング
2024年7月11日に開催した「LLM Tech Night #3」でエンジニアのkoseiが「プロジェクト推進におけるLLMチューニング」をテーマに登壇した際の資料になります。
LayerX
PRO
July 11, 2024
Tweet
Share
More Decks by LayerX
See All by LayerX
LayerX AI・LLM Division Deck
layerx
PRO
0
15k
LayerX DesignersDeck
layerx
PRO
0
960
vercel AI SDK のストリームと戯れる
layerx
PRO
1
47
LLM生成文章の精度評価自動化とプロンプトチューニングの効率化について
layerx
PRO
3
280
意外(?)と語られないGoのいいところ
layerx
PRO
5
480
事前準備が肝!AI活用のための業務改革
layerx
PRO
1
800
Ai Workforceを支える技術
layerx
PRO
3
1.2k
開発スピードを落とさないために必要なイネーブルメント組織の在り方
layerx
PRO
1
380
バクラク事業部 5分でわかるQAチーム
layerx
PRO
1
520
Other Decks in Technology
See All in Technology
DUSt3R, MASt3R, MASt3R-SfM にみる3D基盤モデル
spatial_ai_network
2
340
サービスでLLMを採用したばっかりに振り回され続けたこの一年のあれやこれや
segavvy
2
590
C++26 エラー性動作
faithandbrave
2
840
多様なメトリックとシステムの健全性維持
masaaki_k
0
120
ソフトウェア開発における「パーフェクトな意思決定」/Perfect Decision-Making in Software Development
yayoi_dd
2
2k
LINE Developersプロダクト(LIFF/LINE Login)におけるフロントエンド開発
lycorptech_jp
PRO
0
150
組織に自動テストを書く文化を根付かせる戦略(2024冬版) / Building Automated Test Culture 2024 Winter Edition
twada
PRO
20
5.9k
pg_bigmをRustで実装する(第50回PostgreSQLアンカンファレンス@オンライン 発表資料)
shinyakato_
0
120
社内イベント管理システムを1週間でAKSからACAに移行した話し
shingo_kawahara
0
210
[JAWS-UG新潟#20] re:Invent2024 -CloudOperationsアップデートについて-
shintaro_fukatsu
0
120
Wantedly での Datadog 活用事例
bgpat
2
780
AWS re:Invent 2024 ふりかえり勉強会
yhana
0
590
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.4k
For a Future-Friendly Web
brad_frost
175
9.5k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.5k
KATA
mclloyd
29
14k
Why Our Code Smells
bkeepers
PRO
335
57k
Designing on Purpose - Digital PM Summit 2013
jponch
116
7k
Adopting Sorbet at Scale
ufuk
74
9.1k
Docker and Python
trallard
42
3.2k
Building an army of robots
kneath
302
44k
GitHub's CSS Performance
jonrohan
1031
460k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
29
2k
Transcript
© LayerX Inc. プロジェクト推進におけるLLMチューニング 2024/07/11 LLM Tech Night #3 by
LayerX
2 © LayerX Inc. 自己紹介 • 藤田 幸成 • AI・LLM事業部 エンジニア
• 経歴 ◦ 学部: 物理学科 ◦ 大学院(休学中): 神経科学(脳情報デコーディング) ◦ 衛星画像解析のスタートアップでインターン ▪ LLMを用いたサービスのプロトタイプ開発等 ◦ 2024/4/1〜 LayerX • やってること: プロダクト導入のための個別案件のPoC ◦ LLMのチューニング ◦ 案件で必要になった機能の開発等 • 好きな北海道のお菓子: マルセイバターサンド • 好きな歌手: デーモン閣下・石川さゆり
事業紹介
4
© 2024 LayerX Inc. 5 「知的単純作業」 としてのドキュメントワーク ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 フォーマットの違いなどにより、これまで自動化・効率化されなかった。
毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
6 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所)
https://investors.3m.com/financials/annual-reports-proxy-statements 例)決算書から財務指標の抽出
本日の内容
8 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所)
https://investors.3m.com/financials/annual-reports-proxy-statements 本日の内容: ここをどう効率的に作るか 例)決算書から財務指標の抽出
© 2024 LayerX Inc. 9 限られた時間でLLMを実用化水準に到達させるために LLMが業務を扱うためのワークフロー構築・技術検証のための プロジェクトの期間や予算は限られている。 その中でLLMを実用化水準まで効率的に持っていくための心構えとして... •
①タスクを分ける • ②深入りしすぎない • ③お客さまを頼る
© 2024 LayerX Inc. 10 ①タスクを分ける ※案件情報を話せないため以下はイメージアップ のための類似事例であり、精度は未検証です 様々な利用規約から サービス提供者の免責事項と
その条項番号を抽出 「ユーザーID及びパスワードの不正利用に よって契約者等に生じた損害について責 任を負わない」 第11条5 画像出所)https://bakuraku.jp/terms/workflow-terms/
© 2024 LayerX Inc. 11 ①タスクを分ける 一度に大きな問題をLLMに解かせるのではなく、細かい簡単なタスクに分解することで解決しやすくなる。 その際、適宜ルールベースやその他NLP・ML技術を組み合わせ、必要な情報が過不足ない状態に近づける。 利用規約から事前定義した項目抽出の例) 階層が深くなる・文章が
長くなるとミスしがち 条項の構造を回答 正規表現を用いて免責事項の 条文に対応する条項番号を取得 一つ一つの問題は LLMにとって解きやすい 条項構造に基づいて 条項番号を取得する 正規表現を作成 免責事項を抽出 様々な利用規約から サービス提供者の免責事項と その条項番号を抽出
© 2024 LayerX Inc. 12 ①タスクを分ける Visionモデルを用いる場合も同様。 一見ひとつに見える「分類」タスクもLLMの「抽出」タスクとして切り分けられたりする。 錠剤が自社の製品かどうかを判別する問題を例とすると... 画像出所)https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
以下の画像は錠剤です 自社の薬なら1、 それ以外は0を出力して 自社の薬は... 錠剤から識別コードを抽出 抽出したコードに対して自社のものと突合 分類部分は不確実性の低い ルールベースで行う
© 2024 LayerX Inc. 13 ①タスクを分ける LLMが問題が解きやすくなる&検証箇所が明確になる以外にも、以下の嬉しさもある • 解釈性の向上 ◦
どのステップで間違えたのかわかる ◦ 中間ステップの出力をエンドユーザーに表示することも検討 • 後からルールベースなどの処理を挟めるので、仕様を調整しやすくなる ◦ 薬の例) ・抽出した識別コードに対して例外処理を追加 ・特定企業以外の識別コードも判定対象に追加 画像出所)https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
© 2024 LayerX Inc. 14 多くの場合、タスクの分解には「仮定」が付随する。どこまで「仮定」をおくかは、業務・ドメインに強く依存。 タスクを適切に分解するには業務・ドメインを深く理解する必要がある。 not MECE&個人的な感覚値&実際には組み合わせだが仮定に対する選択手法として以下イメージがある ①タスクを分ける
問題に対して 置ける 仮定の強さ ルールベース その他ML/NLP等 ルールベースで前処理→LLM LLMにルールを分類・抽出させる (function calling・正規表現を回答等) LLMにルールを明示 (think step by step, “ここに着目して”と指示等) マルチエージェント・LLMにタスクを考えさせる? (現状あまり使っていないが) 強
© 2024 LayerX Inc. 15 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 (step by step等) ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討
© 2024 LayerX Inc. 16 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト サンプル データ数の 肌感覚 1サンプル 分布の大きいところから 数サンプル エッジケース
© 2024 LayerX Inc. 17 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 (step by step等) ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討 コードを書かなくても すぐに実践可能で、 提供価値は小〜中程度 コードを書けばすぐに試せて 価値増加幅が大きい =Low Hanging Fruits コストをかけても 価値増加幅が小さい →プロダクトでカバー
© 2024 LayerX Inc. 18 ③お客さまを頼る LLMを実用水準に引き上げるためには適切な問題設計が重要。 適切な問題設計や改善のために、お客さまの業務・ドメインを深く理解するのはもちろんだが、 ドメインエキスパートであるお客さまの力を借りた方が効率的な部分もある。 •
既存業務の入出力ファイル・処理内容は何なのか、業務フローの整理 • どの部分・項目をシステムで出力すると業務が効率化されるのか • 入力のどこから抽出等しているか・正解データの作成 • データのバリエーションと分布はどうか • どこまで仮定を置いていいのか(ルールベース, 入力に応じてプロンプトを変更, etc.) • few-shotのサンプル用意 • どの部分は人手で行うことを許容できるのか... etc
© 2024 LayerX Inc. 19 お礼と宣伝 • 本日のトーク内容の大部分はフィードバックの受け売 りや業務の中で出てきた反省点と学びです。 豊富な学びの機会に感謝しています。
• 大きな市場・不確実性の高い技術のハンドリング・UX にこだわったプロダクト, etc. CTO・執行役員経験者やプロダクト開発経験者を間 近で見て学びながら、面白い問題に面白い技術で取 り組める貴重な環境です! • Biz, エンジニア, デザイナー, インターン, 業務委託等 全方面で採用実施中です! LayerX OpenDoorにていつでも誰でもカジュア ル面談できます!お気軽にお申し込みください!