Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
Search
Kenji KONDO
April 24, 2024
Technology
6
3.6k
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
Kenji KONDO
April 24, 2024
Tweet
Share
More Decks by Kenji KONDO
See All by Kenji KONDO
AI_Agent_の作り方_近藤憲児
kenjikondobai
19
6.5k
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
5.5k
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
kenjikondobai
0
180
AI ChatBot 開発 Tips-近藤憲児
kenjikondobai
0
180
最適ワークスとAI-近藤憲児
kenjikondobai
0
72
LLMの評価-近藤憲児
kenjikondobai
1
380
スカイディスクの LLM の取り組み-近藤憲児
kenjikondobai
0
310
Spring Cloud Data Flow で構成される IIJ IoTサービス
kenjikondobai
0
320
Other Decks in Technology
See All in Technology
declaration mergingの威力:ライブラリアップデート時の書き換え作業を90%短縮するテクニック
yutake27
2
240
AIに実況させる / AI Streamer
motemen
2
1.2k
さくらのクラウド 開発の挑戦とその舞台裏
kazeburo
0
690
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
1
7.1k
GitHub ActionsをTypeScriptで作ろう!
sansantech
PRO
2
380
グループ ポリシー再確認 ③
murachiakira
0
140
CSS polyfill とその未来
ken7253
0
120
Type Challengesに新しい問題を追加して Type ChallengesのMaintainerになった話
ysknsid25
3
630
大事なのは、AIの精度だけじゃない!〜1円のズレも許されない経理領域とAI〜
jun_nemoto
8
4.6k
情熱と工夫で走り抜け! コミュニティをささえるObservability実践録
b1gb4by
1
120
令和トラベルQAのAI活用
seigaitakahiro
0
380
アプリケーションの中身が見える!Mackerel APMの全貌と展望 / Mackerel APMリリースパーティ
mackerelio
0
120
Featured
See All Featured
Building an army of robots
kneath
306
45k
Agile that works and the tools we love
rasmusluckow
329
21k
How STYLIGHT went responsive
nonsquared
100
5.6k
Producing Creativity
orderedlist
PRO
345
40k
Thoughts on Productivity
jonyablonski
69
4.7k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
Why Our Code Smells
bkeepers
PRO
336
57k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.6k
Product Roadmaps are Hard
iamctodd
PRO
53
11k
A designer walks into a library…
pauljervisheath
205
24k
A Tale of Four Properties
chriscoyier
159
23k
Building a Modern Day E-commerce SEO Strategy
aleyda
40
7.3k
Transcript
プロンプトエンジニアリングで がんばらない − Agentic Workflow へ −
- LLM アプリの品質(出力の安定性、速度など)を上げる手段として、 プロンプトエンジニアリング以外の手段があるということ - この手段に隣接した領域として Agentic Workflow と呼ばれるデザインパター ンがあること
- さわりだけご紹介 今日お伝えしたいこと
「Discord で雑に共有された記事をなんでも要約する」自作アプリ • YouTube の動画 • arXiv の論文 •
SpeakerDeck のスライド • Web 上の記事 • … “Summarize Anything”
• Router で何の要約を求められているかを判断 • 判断に基づいて、専用の Summarizer に要約を任せる “Summarize Anything” のアーキテクチャ
Router YouTube Summarizer Web Summarizer arXiv Summarizer どの Summarizer に 委譲すべきかを判断 … ページに アクセスして本 文を取得して 要約 委譲
Router でやりたいこと • そもそも要約を必要とする文章 なのかを判断する • URL の文字列を抽出 • その
URL が YouTube なのか arXiv なのかの判断 • これら結果を JSON として出力 させる(以下はその例) Router の実装(昔) { "summary_required": true, "url": "https://arxiv.org/pdf/2402.05120.pdf", "method": "arXiv" }
問題 • 品質が全然安定しない。体感 3 割失敗 する ◦ JSON の所定のフォーマットになら ない
◦ URL があるのにそれを抽出しない ◦ … → プロンプトエンジニアリングを頑張ったが、 すぐに限界を感じた Router の実装(昔)
処理を分けた Router の実装(今) URL 抽出 URL から委 譲先を 選択 →
動作が劇的に安定した。ほぼ 100 % 間違わない。 URL の文字列 “論文 https://arxiv.org…” “arXiv” Router
さらに LLM の性能を落 とした Router の実装(今) URL 抽出 URL から委
譲先を 選択 → 品質に変化なし。むしろ速度上がるし、コスト下がるしで、嬉しい Router gpt-4 → gpt-3.5-turbo gpt-4 → gpt-3.5-turbo
• 「zero-shot で巧妙にプロンプトエンジニアリングをして頑張る」よりも「命令をシン プルにしたタスクを多量に LLM に依頼する」ほうがよい • 「zero-shot で gpt-4
や claude-3-opus のような賢い LLM を使う」よりも 「gpt-3.5-turbo や claude-3-haiku のような賢くないけど軽量でコスト低い LLM を 細かく使う」ほうが、品質も速度もコストも満足いく この手法は普遍性があるな、と思っていた。 他にも例えば、要約した文章が日本語じゃなかったり、制約条件をちゃんと守っていなかったりした ときも、もう一度 LLM を call してそれを添削してもらう、ということをすると、およそ満足の行く品質 で安定して出力された。 あと、自然とモジュール化の考え方になっているので、それぞれのモジュール別に改善やテストな どがやりやすい。 「LLM を call しまくる」という戦略
“Agentic Workflow” 単なる経験則に過ぎなかったけども、最近 Andrew Ng がまさにこれに関連したこ とを言っている動画を見つけた そこでは Agentic Workflow
という名前で、 LLM アプリの性能を上げる方法を説明 していた
“Agentic Workflow” 「エッセイをバックスペース無しではじめから最後まで間違えの無いように書いて」と 依頼するよりも、「アウトラインを抽出して」「それに対してドラフトを書いて」「それを 添削して」... と分けて依頼するアイディア https://youtu.be/sal78ACtGTc?si=vFpxwR47DoNaQqiz
“Agentic Workflow” zero-shot の GPT-4 よりもAgentic Workflow を適用し た GPT-3.5
のほうが良い評価を得ている。 https://youtu.be/sal78ACtGTc?si=vFpxwR47DoNaQqiz 上の 4 つのデザインパターンについて述べられてい る。 → Agentic Workflow や Agent については、今いろいろ実装して試している(そして苦労し ている)。役に立ちそうなこと見つけたら、また共有します!