Tokenomicsを知る日/A-Day-to-Learn-About-Tokenomics

Transcript

1. Tokenomicsを知る日 Amazon Bedrock AgentCoreを交えて engineer unite meetup vol.13 株式会社テクノプロジェクト 基盤サービスデザイン部 クラウドプラットフォーム推進室 中林 風真 @tyumugiko
2. 自己紹介 基盤サービスデザイン部 クラウドプラットフォーム推進室 中林 風真 – Nakabayashi, Fuma 経歴 2021年 4月 新卒入社 2026年 AWS Community Builders(Serverless) 2026年 2026 AWS Japan AWS Top Engineer 好きな AWS サービス AWS CDK / AWS Step Functions
3. 今日のアジェンダ 1. Tokenomicsとは何か 2. なぜ今 Tokenomics が必要か 3. どこに料金がかかるのか — AWS Bedrock の料金構造 4. どう減らすのか — Agentic AI Lens の実践 5. どう止めて、どう測るか — ガードレールと可観測性 3 / 20
4. Tokenomics とは 基本概念 トークンを単位として、AIのコストと価値を測る考え方 トークン使用量を数えるだけでは不十分 「どの部門が」「何の目的で」「どれだけの価値を得たか」まで問う Linux Foundation が Tokenomics Foundation を発足 AIのトークンコストの計測・配分を標準化する動き 4 / 20
5. なぜ今 Tokenomics が必要か 従来のAPI呼び出しとAIエージェントの違い 従来のAPI AIエージェント 1リクエスト = 1課金 1タスク = n回のモデル呼び出し 事前にコスト予測可能 動かすまでわからない 固定的な処理フロー ツール・メモリを何度も利用 何回AIを呼ぶかは、動かすまでわからない 5 / 20
6. AIエージェントのコスト構造 1回の問い合わせで発生する複数の料金 1回のユーザー問い合わせ │ ├── モデル呼び出し × n回 ├── ツール実行 × m回 ├── メモリ読み書き └── 思考(thinking)トークン AI-Agent = ハーネス + モデル 費用を見積もるには、何に対して課金されるかを分解する必要がある 6 / 20
7. Amazon Bedrock Agent Core の料金要素 13機能が個別課金される構成 1回のエージェント実行 Runtime Gateway Memory Observability Web Search Policy Evaluations Identity Browser Code Interpreter 他3機能... モデル推論料金（別課金） 7 / 20
8. トークン単価の4分類 入力・出力・キャッシュの内訳 種別 説明 種別 説明 入力トークン プロンプト・システム指示 キャッシュ読み出し 再利用されたプレフィックス 出力トークン モデルの応答 キャッシュ書き込み キャッシュへの保存 キャッシュ書き込みは保持時間で単価が2段階（5分 / 1時間） ツールを挟むと thinking トークンが入力側にも計上される 通常の呼び出し ツール使用時（複数ターン） → 入力（プロンプト） → 入力（プロンプト） ← thinking + 出力 ← thinking + tool_use 課金: 入力 + 出力 → 入力 + 前回のthinking + tool_result ← thinking + 出力 課金: thinkingが入力に加算 8 / 20
9. どう減らすのか — Agentic AI Lens AgentCOST02：成熟度5段階 AWS Well-Architected Agentic AI Lens（2025年公開） → エージェントAI特有の設計指針を6つの柱で整理したフレームワーク Level 概要 1 Initial 単一モデルを全タスクに使用 2 Emerging ルーティング・キャッシュ・圧縮を導入 3 Adopted cost-per-correct-response を定常計測 4 Optimized 自動ルーティングと予算アラート連動 5 Innovative 四半期ごとの cost-per-outcome 改善サイクル 今日は Level 1 → 2 の最初の一歩を中心に話します 9 / 20
10. 用途に合うモデルをどう選ぶか Cost-per-Correct-Response で比較する 総コスト = 成功までのモデル費 + ツール費 + 実行費 単価表だけで決めるのはアンチパターン → アウトカムデータに基づいて判断する 評価すべき指標： cost-per-correct-response（正解1件あたりのコスト） トークン消費量（token consumption） キャッシュヒット率 カスケードエスカレーション率 10 / 20
11. AgentCore Evaluations による評価 モデル選定を体系的に行う フルマネージド評価基盤 — 開発〜本番まで一貫した品質測定 13種の組み込みメトリクス（Helpfulness / Correctness / Tool Selection Accuracy 等） 3つの評価手法: LLM-as-a-Judge / Ground Truth比較 / Lambda カスタムコード コスト最適化での活用例： 安価なモデルに切り替えても品質が閾値を超えることを定量検証 A/Bテスト内蔵 — Gatewayでトラフィック分割 → 統計的有意性を自動計算 Tool Selection Accuracy で誤ったツール呼び出し（＝無駄なAPI費用）を検出 → 単価が安くても成功率が低ければ、トータルコストは増える 11 / 20
12. Level 2 の2つの方向性 キャッシュとルーティング Level 2 の最適化は、大きく2つのアプローチに分かれる： 方向性 手段 効果 2度払いしない プロンプトキャッシュ 入力トークンの節約 適材適所で選ぶ モデルルーティング 単価自体の引き下げ どちらも「cost-per-correct-response を下げる手段」として組み合わせる 12 / 20
13. キャッシュが適用される3つの条件 プロンプトキャッシュの仕組み 1. 一致 — キャッシュポイントの区切りより前が完全に一致 2. 配置 — 区切りの位置が正しい 3. 量 — 区切りより前がモデルの最小トークン数を超える Strands Agents SDK でのキャッシュ活用 BedrockModel( cache_config=CacheConfig(strategy="auto"), cache_tools="default" # ツール定義もキャッシュ対象 ) 13 / 20
14. モデルルーティング 安価なモデルへの振り分け 自然言語を使ってまで振り分ける必要があるか？ 分岐数 手法 < 10 ルールベース（if/switch） 10〜50 軽量な分類モデル 上限なし スーパーバイザーエージェント 目安: スーパーバイザーのトークン消費はワーカートークンの 15%以下 に抑える （超過は設計パターンの再評価シグナル — AgentCOST01-BP04） 14 / 20
15. どう止めるか トークン上限の設定箇所 レイヤー 制御パラメータ モデル層 max_tokens ハーネス層 max_tokens, max_iterations Gateway層 TPM（Tokens Per Minute） RPMを絞る → 件数は制限できるが、1件あたりのコストは制御できない TPMをテナントごとに枠として切るのが有効 累積予算のガードはアプリ側で実装 15 / 20
16. TPM vs RPM なぜTPMが有効か RPM（Requests Per Minute） → リクエスト件数のみ制御。1件の重いリクエストは防げない TPM（Tokens Per Minute） → テナントごとに分あたりのトークン数を枠として切る → 1件あたりのコスト超過も抑制可能 超過時の影響を小さくする設計が重要 16 / 20
17. どう測るか — 可観測性 タグ付けによるコスト配分 削減効果を見る前に、変更前の状態を測っておく Inference Profile を使ってリクエストにタグを付与 部門・用途・環境ごとにコストを分離可能 AWS Cost Explorer でタグベースの分析 リクエスト → InferenceProfile（タグ付き） → モデル 17 / 20
18. まとめ Tokenomics 実践の3ステップ 1. 知る — どこに料金がかかるか 入力/出力/キャッシュ/ツール呼び出し、すべてを分解する 2. 減らす — Cost-per-Correct-Response で最適化 単価ではなくタスク成功あたりのコストで判断する 3. 止めて測る — ガードレール + 可観測性 TPMで制御し、Inference Profileでタグ付けして可視化する 18 / 20
19. 参考リンク Agentic AI Lens — Cost Optimization AgentCOST02 — Model Invocation & Token Linux Foundation — Tokenomics Foundation 19 / 20
20. Thank you! 20 / 20