Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure OpenAI Serviceのプロンプトエンジニアリング入門
Search
tomokusaba
April 18, 2024
Programming
3
1.7k
Azure OpenAI Serviceのプロンプトエンジニアリング入門
Azure OpenAI Serviceのプロンプトエンジニアリング入門
Global Azure 2024
https://jazug.connpass.com/event/311408/
tomokusaba
April 18, 2024
Tweet
Share
More Decks by tomokusaba
See All by tomokusaba
Fluent UI Blazor 5 (alpha)の紹介
tomokusaba
0
180
Generative AI for Beginners .NETの紹介
tomokusaba
1
280
Visual StudioのGitHub Copilotでいろいろやってみる
tomokusaba
1
370
.NET Frameworkでも汎用ホストが使いたい!
tomokusaba
0
340
ASP. NET CoreにおけるWebAPIの最新情報
tomokusaba
0
430
Semantic Kernelのネイティブプラグインで知識拡張をしてみる
tomokusaba
0
240
.NET Conf 2024の振り返り
tomokusaba
0
300
.NET Conf 2024 .NETラボ 勉強会 2024年12月
tomokusaba
1
55
C#/.NETのこれまでのふりかえり
tomokusaba
1
270
Other Decks in Programming
See All in Programming
PHPバージョンアップから始めるOSSコントリビュート / how2oss-contribute
dmnlk
1
1k
List とは何か? / PHPerKaigi 2025
meihei3
0
860
SEAL - Dive into the sea of search engines - Symfony Live Berlin 2025
alexanderschranz
1
130
趣味全開のAITuber開発
kokushin
0
200
On-the-fly Suggestions of Rewriting Method Deprecations
ohbarye
1
1.9k
ウォンテッドリーの「ココロオドル」モバイル開発 / Wantedly's "kokoro odoru" mobile development
kubode
1
120
API for docs
soutaro
2
1.2k
AI Coding Agent Enablement - エージェントを自走させよう
yukukotani
14
6.1k
Sharing features among Android applications: experience feedback
jbvincey
0
110
Amazon CloudWatchの地味だけど強力な機能紹介!
itotsum
0
160
音声プラットフォームのアーキテクチャ変遷から学ぶ、クラウドネイティブなバッチ処理 (20250422_CNDS2025_Batch_Architecture)
thousanda
0
170
Memory API : Patterns, Performance et Cas d'Utilisation
josepaumard
0
130
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
13
670
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
2.9k
Optimising Largest Contentful Paint
csswizardry
36
3.2k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Building a Modern Day E-commerce SEO Strategy
aleyda
40
7.2k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.4k
Thoughts on Productivity
jonyablonski
69
4.6k
How to Ace a Technical Interview
jacobian
276
23k
RailsConf 2023
tenderlove
30
1.1k
Transcript
Azure OpenAI Serviceの プロンプトエンジニアリング入門 株式会社SAKURUG プロダクトDiv 草場 友光 Global Azure
2024
自己紹介 • 普段は主にシステムをAzureにモダナ イズする仕事をしています。 • コミュニティ活動を通じて知識をアッ プデートしています。 • 2022/08-2024 Microsoft
MVP (Developer Technologies) • tomo_kusaba
宣伝 【VISION】ひとの可能性を開花させる企業であり続ける VISIONに共感できる仲間募集中。
注意 • 個人の見解・解釈が多分に入っています。 • 見解の相違・事実誤認などありましたらご指摘ください。
今日の目的 • 生成AIを使う上で出力を改善する第一歩はプロンプトを改善する ことです。 • 本日はプロンプトを改善してよりよい出力を得るための技法を学 んでいきたいと思います。 • Azure OpenAI
Serviceのプレイグラウンドが使用可能な方は 一緒にやってみるとより理解が深まると思います。 • (参考) https://github.com/microsoft/generative-ai- for-beginners/tree/main/translations/ja-jp
プロンプトエンジニアリングとは? • 目的に合わせた初期プロンプトを「設計する」 • 回答品質を上げるために、反復・試行錯誤して「改善する」 • プロンプトエンジニアリングは机上で練り上げるのではなく実際 にLLMに質問を投げかけて何回も試行錯誤して最良のものを得 ていくことが重要
プロンプトエンジニアリングの必要性 • モデルの回答は確率的な性質を持っています。 たとえ、同じプロンプトだとしても実行するたびに異なる結果を得る場合があります。プロン プトエンジニアリングの手法でこのばらつきを軽減するのに役立ちます。 • モデルは回答をねつ造することがあります。 モデルは有限のデータで事前トレーニングされています。その結果、架空あるいは事実と異 なる回答を出力することがあります。 •
モデルの能力は異なります。 新しいモデルや新世代のモデルはより高度な機能を持つことが知られています。例えば、 GPT-35-TurboよりGPT-4の方がより精度の高い回答を得られる可能性があります。
ねつ造について • Microsoftでは責任あるAIガイドラインの枠組みにおいて一般 的に「幻覚」とか「ハルシネーション」と表現される用語について 「ねつ造」という用語を強く推奨しています。 • 機械が生み出した回答に対して人間の特性を誤って当てはめる擬 人化を避けるためで、これによって不快におもう方への配慮です。
生成AIの出力結果を改善する方法 プロンプトエンジニアリング Retrieval Augmented Generation(RAG) 知識拡張 ファインチューニング モデルトレーニング 簡単かつ安い 難しいかつ高い
プロンプトエンジニアリング Retrieval Augmented Generation(RAG) 知識拡張 ファインチューニング モデルトレーニング 高品質
演習のためのリポジトリ • https://github.com/tomokusaba/GlobalAzure2024
生成AIの活用方法① ー 指示 • 文章の要約 • 文章の翻訳 • 非構造化データからの整形 •
JSONで出力など
生成AIの活用方法② ー 質問 • 会話形式でAIの持っている知識を尋ねる
生成AIの活用方法③ ー プログラムコー ド • プログラムに関する説明やコード生成、コードの説明を求めるな ど
LLMに向かない質問①-1 例)今年のセリーグの優勝チームを教えてください 学習データにないので通常のGPT- 35-Turboだとねつ造された回答 がされる。 実際には2021年の優勝チームはヤ クルトスワローズです。(残念) Bingによって最 新のデータをRAG で取り込まれた
Copilotなら正確 な回答がされる。
LLMに向かない質問①-2 • システムメッセージにアウトメッセージを設定する 質問文にだしたメッセージに対してうまく答えられない場合にた いして逃げ道を与える指示を出してあげる。
LLMに向かない質問② 例)98765の平方根を求めてください。 数値計算ならコードで書いた方がよい。
LLMに向かない質問③ • LLMはアクションを実行することができません。 アクションを実行したい場合、Semantic KernelのPluginなど を利用してください。
明確な構文を追加する • プロンプトに明確な構文を(句読点、見出し、セクションマーカー) をしようするとよい • 異なる情報ソースの区切りに「---」を使うことができる。 • 使用する構文が分からない場合マークダウンまたはXMLを使う とAzure OpenAI
Serviceはいい感じに解釈してくれる可能 性が高い。 • 学習に大量のWebコンテンツが使用されているため
基本的なプロンプトー情報抽出 次の文章から名前と所属と受賞歴を抽出してく ださい。 --- では簡単に自己紹介をしたいと思います。私は 草場友光と言います。主にシステムのモダナイの 業務をしておりこうした登壇活動によって知識の アップデートをしています。 所属は株式会社SAKURUGというところで渋谷 に本社があり、最近では和歌山の白浜や仙台、福
岡という場所にもオフィスがあります。 2022年8月にMicrosoft MVPを Developer Technologiesの分野で受賞し ました。今後もよろしくお願いします。
キューを含むプロンプト • キューとは期待する回答フォーマットの一部をプロンプトに含めて モデルを正しい方向に誘導します。 • モデルはそのキューを受け取ってその文章の流れに沿って続けま す。
フューショットプロンプト EC2:AWS Cloud Run:Google Cloud Autonomous Database:OCI App Service: フューショットプロンプトを用いない場合
余計な出力がされる
サポートコンテンツ • プロンプトの内容は以下のように分類できると考えられます。 • 指示:なにをするのか? • 主要コンテンツ:指示をする内容 • セカンダリコンテンツ:何らかの形で出力に影響を与える追加情報 •
分類の例 • 指示:次の文章から名前と所属と受賞歴を抽出してください。 • 主要コンテンツ:文章の内容(長いので割愛) • セカンダリ:JSON形式にしてください。
Chain of thought • LLMはタスクを小さなステップに分割し世界に関する知識と推論 能力を使用します。
Chain of thought
Temperature • 0から1までの範囲があり0が最も決定的で、1が最も多様性があ ります。 • Temperature=0
Temperature • Temperature=1
ベストプラクティス • プロンプトを具体的に書く! • プロンプトに例示を含める! • 生成AIと繰り返し対話する! • プロンプトの順序も重要! •
モデルにOUT指定をする!
参考文献 • generative ai for beginners https://github.com/microsoft/generative-ai-for- beginners/tree/main/translations/ja-jp • Azure
OpenAI ServiceではじめるChatGPT/LLMシステム 構築入門(ドーナツ本) (ISBN:978-4-297-13929-2)
おしまい おしまい