Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
【re:Invent 2024 アプデ】 Prompt Routing の紹介
Search
Champ
December 17, 2024
Technology
590
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
【re:Invent 2024 アプデ】 Prompt Routing の紹介
Champ
December 17, 2024
Transcript
21 slides
【re:Invent 2024 アプデ】 Prompt Routing の紹介
自己紹介
1. (Intelligent)Prompt Routing とは 新機能の概要 re:invent 2024 で発表された新機能(プレビュー) プロンプトの複雑さを自動判定し、最適なモデルへ自動 振り分け
2024/12/17 時点では以下のルーティングが可能 Claude Sonnet 3.5 と Claude 3 Haiku Llama 3.1 70B と Llama 3.1 8B なにが嬉しいのか? プロンプトを適切なモデルにルーティングすることでコ ストを下げることが可能
2. 仕組み 処理の流れ Prompt Routing は以下の流れで処理が行われます プロンプト受信 パフォーマンスの計算 ルーティングの実施 実行とフォールバック
それぞれについて解説していきます
2. 仕組み プロンプト受信 Prompt Routing がプロンプトを受け取る プロンプトの特徴を分析(長さ、複雑さ、要求タスクなど)
2. 仕組み パフォーマンスの計算 設定された各モデル(例:Sonnet と Haiku)でのパフォーマンスを計算 推論は実行せず、パフォーマンスの計算のみを実施 モデル間の品質差(quality_difference)を算出
2. 仕組み ルーティングの実施 quality_difference と 閾値(responseQualityDifference) を比較 quality_difference が 閾値未満の場合、軽量モデルを選択
閾値以上の場合、高性能モデルを選択 2024/12/17 時点ではデフォルト値は 0.0 になっている? ので、差が少しでもあれば Sonnet を選択
2. 仕組み ルーティングの実装 続き 簡略化したルーティングロジックのイメージ quality_difference = high_quality_model_score - lightweight_model_score
responseQualityDifference = 0.1 # 閾値が 0.1 の場合 if quality_difference < responseQualityDifference: # 品質差が小さい場合(0.1未満) # → 軽量モデル(Haiku)を使用 # → "この程度の質問なら軽量モデルで十分"というケース use_lightweight_model() else: # 品質差が大きい場合(0.1以上) # → 高性能モデル(Sonnet)を使用 # → "この質問は高性能モデルを使う価値がある"というケース use_high_quality_model()
2. 仕組み 実行とフォールバック ルーティングで選択されたモデル(Sonnet or Haiku)で推論を行う ルーティング失敗時やタイムアウト時は、フォールバックモデル(Sonnet)を使 用して推論
3. 実際に試してみる 3 つのテストケースを用意: 1. シンプルな質問 2. 中程度の質問 3. 複雑な質問
テストケース 1: こんにちは 「こんにちは」
テストケース 1: こんにちは 「こんにちは」 → Sonnet が選択される
テストケース 2: EC2 について質問 「AWS の EC2 とは何ですか?一行で説明してください」
テストケース 2: EC2 について質問 「AWS の EC2 とは何ですか?一行で説明してください」 → Sonnet
が選択される
テストケース 3: 英語で質問 What is your name?
テストケース 3: 英語で質問 What is your name? → Haiku が選択される
テストケース 4: 英語で EC2 について質問 What is EC2?
テストケース 4: 英語で EC2 について質問 What is EC2? → Haiku
が選択される
考察 日本語で質問した場合、それだけでスコアが上がっている可能性がある そのため、閾値の調整が必要 英語の質問は適切にルーティングされてそう
5. まとめ Prompt Routing のメリット 1. 簡単にプロンプトの内容に応じたモデルを動的に使用できる 2. 適切なモデルを選ぶことによってコストの削減・応答時間の改善が期待できる 実装時の注意点
日本語の場合は閾値の調整が必要 プレビュー中なので閾値の調整はできない?
ご清聴ありがとうございました!
More Decks by Champ
See All by Champ
MCPサーバー、AWSのどこに置く?
champ
0
170
Kiro CLI 徹底解剖
champ
0
59
Amazon Bedrockの自動推論チェックを検証!
champ
0
48
Amazon BedrockでClaude 3.5 Sonnet v2のComputer useを試す
champ
0
160
【Bedrock×Athena】生成系AIでSlackデータの分析に挑戦
champ
0
260
Amazon Qの全体像を掴んでみよう!
champ
0
100
神アプデ?Amazon Comprehendで 生成系AIの毒性検出に挑戦!
champ
0
420
Bedrockで挑戦! 生成系AIで Slackコミュニケーションの活性化!
champ
0
500
Other Decks in Technology
See All in Technology
_マネジメントする人される人ナイト_2026__良いチームを作っていきたい_お気持ち_.pdf
xkxaxkx
0
840
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
480
Taking back control of your AI development
inesmontani
PRO
0
310
HTTP通信に使おうとすると実はめんどくさいfile_get_contents
maguroalternative
0
240
みん強Lightning! データ基盤ひとりでできるかな
endonanana
0
160
メルカリの小規模チーム「Pod」で、 エンジニアがデータアナリストなしで、 AIを使ってデータ分析の自走を目指す取り組み
jackojacko_
0
330
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.5k
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
260
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
1
650
農家は秘伝のタレを知らない - NOBODY KNOWS THE HIDDEN SOURCE - Kaggriculture 3rd Place Solution
masspeaks
3
660
そのイメージ、どのCIが作った? Artifact Attestationsで来歴を固定する / Which CI system created that image? Pinning provenance with Artifact Attestations
chmikata
0
190
マネージャーをエスパーにしない マネジメントされる側から始める、働きやすい現場づくり
comi190327
1
840
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
35
2.6k
My Coaching Mixtape
mlcsv
0
390
Become a Pro
speakerdeck
PRO
31
6.4k
What’s in a name? Adding method to the madness
productmarketing
PRO
24
4.2k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
11
1.1k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.9k
Deep Space Network (abreviated)
tonyrice
0
430
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k
How to Align SEO within the Product Triangle To Get Buy-In & Support - #RIMC
aleyda
2
1.9k
Accessibility Awareness
sabderemane
1
310
For a Future-Friendly Web
brad_frost
184
11k
Six Lessons from altMBA
skipperchong
29
4.6k