Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
Search
Kenji KONDO
April 24, 2024
Technology
6
3.7k
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
Kenji KONDO
April 24, 2024
Tweet
Share
More Decks by Kenji KONDO
See All by Kenji KONDO
AI_Agent_の作り方_近藤憲児
kenjikondobai
19
6.7k
なぜ今 AI Agent なのか _近藤憲児
kenjikondobai
4
5.7k
「これが最小になる値はな〜んだ?」問題_最適化問題を考える_近藤憲児
kenjikondobai
0
190
AI ChatBot 開発 Tips-近藤憲児
kenjikondobai
0
190
最適ワークスとAI-近藤憲児
kenjikondobai
0
75
LLMの評価-近藤憲児
kenjikondobai
1
390
スカイディスクの LLM の取り組み-近藤憲児
kenjikondobai
0
320
Spring Cloud Data Flow で構成される IIJ IoTサービス
kenjikondobai
0
330
Other Decks in Technology
See All in Technology
Amazon S3標準/ S3 Tables/S3 Express One Zoneを使ったログ分析
shigeruoda
1
180
OAuth/OpenID Connectで実現するMCPのセキュアなアクセス管理
kuralab
5
690
Observability в PHP без боли. Олег Мифле, тимлид Altenar
lamodatech
0
240
AWS全冠したので振りかえってみる
tajimon
0
150
Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech
lamodatech
0
240
実践! AIエージェント導入記
1mono2prod
0
130
工具人的一生: 開發很多 AI 工具讓我 慵懶過一生
line_developers_tw
PRO
0
1k
20250623 Findy Lunch LT Brown
3150
0
700
Microsoft Build 2025 技術/製品動向 for Microsoft Startup Tech Community
torumakabe
1
180
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
28
9.3k
SFTPコンテナからファイルをダウンロードする
dip
0
550
Copilot Agentを普段使いしてわかった、バックエンド開発で使えるTips
ykagano
1
1.4k
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
16
930
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.4k
Writing Fast Ruby
sferik
628
61k
The Language of Interfaces
destraynor
158
25k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Practical Orchestrator
shlominoach
188
11k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Facilitating Awesome Meetings
lara
54
6.4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.8k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Transcript
プロンプトエンジニアリングで がんばらない − Agentic Workflow へ −
- LLM アプリの品質(出力の安定性、速度など)を上げる手段として、 プロンプトエンジニアリング以外の手段があるということ - この手段に隣接した領域として Agentic Workflow と呼ばれるデザインパター ンがあること
- さわりだけご紹介 今日お伝えしたいこと
「Discord で雑に共有された記事をなんでも要約する」自作アプリ • YouTube の動画 • arXiv の論文 •
SpeakerDeck のスライド • Web 上の記事 • … “Summarize Anything”
• Router で何の要約を求められているかを判断 • 判断に基づいて、専用の Summarizer に要約を任せる “Summarize Anything” のアーキテクチャ
Router YouTube Summarizer Web Summarizer arXiv Summarizer どの Summarizer に 委譲すべきかを判断 … ページに アクセスして本 文を取得して 要約 委譲
Router でやりたいこと • そもそも要約を必要とする文章 なのかを判断する • URL の文字列を抽出 • その
URL が YouTube なのか arXiv なのかの判断 • これら結果を JSON として出力 させる(以下はその例) Router の実装(昔) { "summary_required": true, "url": "https://arxiv.org/pdf/2402.05120.pdf", "method": "arXiv" }
問題 • 品質が全然安定しない。体感 3 割失敗 する ◦ JSON の所定のフォーマットになら ない
◦ URL があるのにそれを抽出しない ◦ … → プロンプトエンジニアリングを頑張ったが、 すぐに限界を感じた Router の実装(昔)
処理を分けた Router の実装(今) URL 抽出 URL から委 譲先を 選択 →
動作が劇的に安定した。ほぼ 100 % 間違わない。 URL の文字列 “論文 https://arxiv.org…” “arXiv” Router
さらに LLM の性能を落 とした Router の実装(今) URL 抽出 URL から委
譲先を 選択 → 品質に変化なし。むしろ速度上がるし、コスト下がるしで、嬉しい Router gpt-4 → gpt-3.5-turbo gpt-4 → gpt-3.5-turbo
• 「zero-shot で巧妙にプロンプトエンジニアリングをして頑張る」よりも「命令をシン プルにしたタスクを多量に LLM に依頼する」ほうがよい • 「zero-shot で gpt-4
や claude-3-opus のような賢い LLM を使う」よりも 「gpt-3.5-turbo や claude-3-haiku のような賢くないけど軽量でコスト低い LLM を 細かく使う」ほうが、品質も速度もコストも満足いく この手法は普遍性があるな、と思っていた。 他にも例えば、要約した文章が日本語じゃなかったり、制約条件をちゃんと守っていなかったりした ときも、もう一度 LLM を call してそれを添削してもらう、ということをすると、およそ満足の行く品質 で安定して出力された。 あと、自然とモジュール化の考え方になっているので、それぞれのモジュール別に改善やテストな どがやりやすい。 「LLM を call しまくる」という戦略
“Agentic Workflow” 単なる経験則に過ぎなかったけども、最近 Andrew Ng がまさにこれに関連したこ とを言っている動画を見つけた そこでは Agentic Workflow
という名前で、 LLM アプリの性能を上げる方法を説明 していた
“Agentic Workflow” 「エッセイをバックスペース無しではじめから最後まで間違えの無いように書いて」と 依頼するよりも、「アウトラインを抽出して」「それに対してドラフトを書いて」「それを 添削して」... と分けて依頼するアイディア https://youtu.be/sal78ACtGTc?si=vFpxwR47DoNaQqiz
“Agentic Workflow” zero-shot の GPT-4 よりもAgentic Workflow を適用し た GPT-3.5
のほうが良い評価を得ている。 https://youtu.be/sal78ACtGTc?si=vFpxwR47DoNaQqiz 上の 4 つのデザインパターンについて述べられてい る。 → Agentic Workflow や Agent については、今いろいろ実装して試している(そして苦労し ている)。役に立ちそうなこと見つけたら、また共有します!