Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Bedrockの利用料を削減!Novaで実現するプロンプトルーティング.pdf

 Bedrockの利用料を削減!Novaで実現するプロンプトルーティング.pdf

kawabata

March 26, 2025
Tweet

Other Decks in Programming

Transcript

  1. 自己紹介 クラウドビルダーズ株式会社 川畑 明良 ・2023年 Jr.Champions ・2023, 2024年 All Certificate

    ・CDKとAIが好きです 2 ・F1よく見てます(マクラーレン推し)
  2. アジェンダ 01 . LLM利用の課題 02 . Intelligent Prompt Routingについて 03

    . 独自開発してみた 04 . コスト比較 05 . やってみた 06 . まとめ 3
  3. Intelligent Prompt Routing とは Amazon Bedrock Intelligent Prompt Routing •

    各モデルの応答品質を予測し適切なモデルに自動ルーティング • 同じモデルファミリー内の複数モデルを組み合わせて最適化(ClaudeとLlamaのみ) • コスト最大30%削減可能 • 追加料金なし 12
  4. Intelligent Prompt Routing とは Amazon Bedrock Intelligent Prompt Routing •

    各モデルの応答品質を予測し適切なモデルに自動ルーティング • 同じモデルファミリー内の複数モデルを組み合わせて最適化(ClaudeとLlamaのみ) • コスト最大30%削減可能 • 追加料金なし 13 安い ルと優秀な ルに いい感じに振り分けてくれる
  5. 機 機 /特徴 Amazon Bedrock IPR 独自開発プロンプトルーティング 言語対応 英語のみ 日本語含む全言語対応

    ✓ リージョン us-east-1, us-west-2のみ 制限なし ✓ ルーティング カスタムルーターがあるが、制限あり 完全自由 ✓ ル選択 同一ファミリー内のみ 任意の ル組み合わせ可 ✓ 22
  6. コスト 前提条件: 100 トークン、 200 トークン、全てClaude 3.7 Sonnetで処理していると仮定 ルーティングありの場合:30%のプロンプトをHaikuに振り分け、Haikuの トークン数はSonnetの80%と仮定

    各 ルの料金(100 トークンあたり): ・Claude 3.7 Sonnet: $3.00 / $15.00 ・Claude 3.5 Haiku: $0.80 / $4.00 ・Amazon Nova Lite: $0.06 / $0.24 項目 ルーティングなし ルーティングあり 使用モデル Claude 3.7 Sonnetのみ Sonnet + Haiku + Nova Lite コスト $3.00 $2.10 + $0.24 + $0.06 = $2.40 コスト $30.00 $21.00 + $1.92 + $0.00 = $22.92 合計コスト $33.00 $25.32 24
  7. こんなに安くなった コスト削減効果の詳細 • S e だけで処理した場合:$33.00 • プロンプトルーティング導 :$25.32 •

    削減額:$7.68 • コスト削減率:約23.3% $33.00 $25.32 ルーティングなし ルーティングあり 25 ※ 利用状況に応じて料金は変動します
  8. こんなに安くなった コスト削減効果の詳細 • S e だけで処理した場合:$33.00 • プロンプトルーティング導 :$25.32 •

    削減額:$7.68 • コスト削減率:約23.3% $33.00 $25.32 ルーティングなし ルーティングあり 26 ※ 利用状況に応じて料金は変動します 前提条件に基づいた場合 Haikuへ0.25%以上 ルーティングされると 利用するメリットがある