Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロンプトのプロに! / Become a Prompt Professional
Search
Henry Cui
March 25, 2023
Technology
1
240
プロンプトのプロに! / Become a Prompt Professional
Henry Cui
March 25, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
120
Direct Preference Optimization
zchenry
0
330
Diffusion Model with Perceptual Loss
zchenry
0
300
レンズの下のLLM / LLM under the Lens
zchenry
0
160
Go with the Prompt Flow
zchenry
0
140
Mojo Dojo
zchenry
0
180
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
460
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
200
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
95
Other Decks in Technology
See All in Technology
SA Night #2 FinatextのSA思想/SA Night #2 Finatext session
satoshiimai
1
140
明日からできる!技術的負債の返済を加速するための実践ガイド~『ホットペッパービューティー』の事例をもとに~
recruitengineers
PRO
3
410
次世代KYC活動報告 / 20250219-BizDay17-KYC-nextgen
oidfj
0
260
エンジニアの育成を支える爆速フィードバック文化
sansantech
PRO
3
1.1k
7日間でハッキングをはじめる本をはじめてみませんか?_ITエンジニア本大賞2025
nomizone
2
1.8k
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
750
人はなぜISUCONに夢中になるのか
kakehashi
PRO
6
1.7k
株式会社EventHub・エンジニア採用資料
eventhub
0
4.3k
白金鉱業Meetup Vol.17_あるデータサイエンティストのデータマネジメントとの向き合い方
brainpadpr
6
760
Tech Blogを書きやすい環境づくり
lycorptech_jp
PRO
1
240
オブザーバビリティの観点でみるAWS / AWS from observability perspective
ymotongpoo
8
1.5k
トラシューアニマルになろう ~開発者だからこそできる、安定したサービス作りの秘訣~
jacopen
2
2k
Featured
See All Featured
Fireside Chat
paigeccino
34
3.2k
Building a Scalable Design System with Sketch
lauravandoore
461
33k
A Philosophy of Restraint
colly
203
16k
The World Runs on Bad Software
bkeepers
PRO
67
11k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
9
450
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
For a Future-Friendly Web
brad_frost
176
9.5k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
BBQ
matthewcrist
87
9.5k
Transcript
プロンプトのプロに! 機械学習の社会実装勉強会第21回 Henry 2023/3/25
プロンプトに興味 ▪ 研究上 • 大規模言語モデル(Large Language Model, LLM)の研究が広がりつ つある •
テキスト生成・画像生成の基盤になる • モデルにテキスト入力(プロンプト!)が要だが、入力テキストにどのよ うに反応している詳しい仕組みが不明 ▪ 応用上 • みんなChatGPTについて話している • LLMベースのいろんな新興サービスが出ている • プロンプトを書くだけの仕事がとんだ高給 ▪ 目標:プロンプトについて詳しくなる 2
紹介する内容 ▪ Learn Prompting • https://github.com/trigaten/Learn_Prompting にて公開されている入 門コース • 今日はこれのBasic部分を紹介
▪ Large Language Models are Zero-Shot Reasoners, Kojima et al., NeurIPS 2022 • プロンプトを工夫することで、より良い解答を得る手法を提案 3
まずシンプルに英語で命令すれば良い ▪ 例えば Write an essay about the benefits of
AI 4
プロンプトは短くても長くても良い 5 数値計算はLLMの弱い分野とされて、正 しく答えてもらうためにプロンプトの改良 (プロンプトエンジニアリング)を行うのが 定番でした。 ChatGPTはプロンプトの改良を意識しなく ても正確に答えてくれるようになった。 プロンプトが長くても大丈夫です。
もっと複雑な命令も与えられる 6
例をより具体的に与えることで性能向上 7
ルールをより具体的に説明することで性能向上 8
プロンプトの形式は多種多様 ▪ 標準形式 • What is the capital of France?
▪ Q&A形式 • Q: What is the capital of France? A: 9
プロンプトの形式は多種多様 ▪ Few Shot形式 • What is the capital of
Spain? Madrid What is the capital of Italy? Rome What is the capital of France? ▪ Few Shot Q&A形式 • Q: What is the capital of Spain? A: Madrid Q: What is the capital of Italy? A: Rome Q: What is the capital of France? A: 10
背景説明、Q&Aなどを色々含めても大丈夫 11
生成文のスタイル変換 ▪ 何もスタイルを指定しない場合 12
生成文のスタイル変換 ▪ 生成スタイルを指定する場合 13
生成文のスタイル変換 ▪ 生成スタイルと生成言語を指定する場合 14
形容詞で細かく指定 ▪ "Funny", "Curt", "Unfriendly", "Academic Syntax"などの形 容詞で指定できる 15
より詳しく指定するために ▪ https://twitter.com/gijigae/status/1629834619184111618 16
チャットボットの特性を活用 ▪ 会話履歴にある文も後の生成文を影響する ▪ 何も前置きなくて、いきなり聞く場合 17
チャットボットの特性を活用 ▪ 会話冒頭で設定を入れた場合 18
Kojima et al., NeurIPS 2022 ▪ Chain of Thoughts (CoT)
• LLMが弱いとされている論理的推論を改善する手法 ▪ 二段階の推論を行う 19
ChatGPTはこの点において改善された ▪ プロンプト:Roger has 5 tennis balls. He buys 2
more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now? 20
まとめ ▪ プロンプトの基本 ▪ Chain of Thoughts 21