Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロンプトのプロに! / Become a Prompt Professional
Search
Henry Cui
March 25, 2023
Technology
1
210
プロンプトのプロに! / Become a Prompt Professional
Henry Cui
March 25, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
140
Diffusion Model with Perceptual Loss
zchenry
0
72
レンズの下のLLM / LLM under the Lens
zchenry
0
97
Go with the Prompt Flow
zchenry
0
100
Mojo Dojo
zchenry
1
140
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
190
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
120
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
61
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
110
Other Decks in Technology
See All in Technology
Building a RAG-poweredAI chat appwith Python and VS Code
pamelafox
0
100
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
770
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
3
850
[新卒向け研修資料] テスト文字列に「うんこ」と入れるな(2024年版)
infiniteloop_inc
4
16k
Java EE/Jakarta EEの現状と将来―クラウドネイティブ時代にJava EEは対応できるのか?―
takakiyo
1
170
どうするコスト最適化のトレードオフ
tetsuyaooooo
1
530
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
0
260
私が trocco を推す理由
__allllllllez__
1
250
FrontDoorとWebAppsを組み合わせた際のリダイレクト処理の注意点
kenichirokimura
1
530
オーナーシップを持つ領域を明確にする
konifar
13
3.2k
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
__allllllllez__
1
120
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.3k
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Imperfection Machines: The Place of Print at Facebook
scottboms
260
12k
Product Roadmaps are Hard
iamctodd
44
9.7k
The World Runs on Bad Software
bkeepers
PRO
61
6.7k
Building Adaptive Systems
keathley
31
1.9k
Producing Creativity
orderedlist
PRO
337
39k
The MySQL Ecosystem @ GitHub 2015
samlambert
243
12k
The Power of CSS Pseudo Elements
geoffreycrofte
60
5k
Facilitating Awesome Meetings
lara
42
5.6k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
21
1.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Transcript
プロンプトのプロに! 機械学習の社会実装勉強会第21回 Henry 2023/3/25
プロンプトに興味 ▪ 研究上 • 大規模言語モデル(Large Language Model, LLM)の研究が広がりつ つある •
テキスト生成・画像生成の基盤になる • モデルにテキスト入力(プロンプト!)が要だが、入力テキストにどのよ うに反応している詳しい仕組みが不明 ▪ 応用上 • みんなChatGPTについて話している • LLMベースのいろんな新興サービスが出ている • プロンプトを書くだけの仕事がとんだ高給 ▪ 目標:プロンプトについて詳しくなる 2
紹介する内容 ▪ Learn Prompting • https://github.com/trigaten/Learn_Prompting にて公開されている入 門コース • 今日はこれのBasic部分を紹介
▪ Large Language Models are Zero-Shot Reasoners, Kojima et al., NeurIPS 2022 • プロンプトを工夫することで、より良い解答を得る手法を提案 3
まずシンプルに英語で命令すれば良い ▪ 例えば Write an essay about the benefits of
AI 4
プロンプトは短くても長くても良い 5 数値計算はLLMの弱い分野とされて、正 しく答えてもらうためにプロンプトの改良 (プロンプトエンジニアリング)を行うのが 定番でした。 ChatGPTはプロンプトの改良を意識しなく ても正確に答えてくれるようになった。 プロンプトが長くても大丈夫です。
もっと複雑な命令も与えられる 6
例をより具体的に与えることで性能向上 7
ルールをより具体的に説明することで性能向上 8
プロンプトの形式は多種多様 ▪ 標準形式 • What is the capital of France?
▪ Q&A形式 • Q: What is the capital of France? A: 9
プロンプトの形式は多種多様 ▪ Few Shot形式 • What is the capital of
Spain? Madrid What is the capital of Italy? Rome What is the capital of France? ▪ Few Shot Q&A形式 • Q: What is the capital of Spain? A: Madrid Q: What is the capital of Italy? A: Rome Q: What is the capital of France? A: 10
背景説明、Q&Aなどを色々含めても大丈夫 11
生成文のスタイル変換 ▪ 何もスタイルを指定しない場合 12
生成文のスタイル変換 ▪ 生成スタイルを指定する場合 13
生成文のスタイル変換 ▪ 生成スタイルと生成言語を指定する場合 14
形容詞で細かく指定 ▪ "Funny", "Curt", "Unfriendly", "Academic Syntax"などの形 容詞で指定できる 15
より詳しく指定するために ▪ https://twitter.com/gijigae/status/1629834619184111618 16
チャットボットの特性を活用 ▪ 会話履歴にある文も後の生成文を影響する ▪ 何も前置きなくて、いきなり聞く場合 17
チャットボットの特性を活用 ▪ 会話冒頭で設定を入れた場合 18
Kojima et al., NeurIPS 2022 ▪ Chain of Thoughts (CoT)
• LLMが弱いとされている論理的推論を改善する手法 ▪ 二段階の推論を行う 19
ChatGPTはこの点において改善された ▪ プロンプト:Roger has 5 tennis balls. He buys 2
more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now? 20
まとめ ▪ プロンプトの基本 ▪ Chain of Thoughts 21