Why Agent Cost Needs Observability

2026年9月17日のTokenomics Meetup#1で発表した「Why Agent Cost Needs Observability」の講演資料です。講演詳細についてはこちらを御覧ください https://tokenomics.connpass.com/event/405331/

Transcript

1. Why Agent Cost Needs Observability Token Consumption · Artifact Correctness · Session Completion AGNTCon + MCPCon Presentation Slide 2026年9月17日 Kota Tsuyuzaki NTT DOCOMO BUSINESS, Inc. © NTT DOCOMO BUSINESS, Inc. All Rights Reserved.
2. A coding-agent session is not a prompt MOTIVATION Coding Agent は、複数の turn と tool call からなる Session を実行する 23.5 127.2 307,013 turns tool calls peak context window average min 31,546 max 998,491 発表者の Claude Code 103 Session の平均 3 turn 以上・output 1,000 tokens 超を対象 output tokens は Session 累計、peak context は到達した最大値 © NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 2
3. Capture architecture METHOD オープン標準・OSS・自作の計装を組み合わせ、取得と分析のパイプラインを構成 AGENT OR CLIENT OPEN STANDARD OSS PROJECT Coding agent OpenTelemetry MLflow Claude Code, OpenCode opentelemetry.io mlflow.org CUSTOM INSTRUMENTATION Normalization and query Artifact validation and human audit Open and interoperable telemetry Queryable traces in MLflow Custom analysis OpenTelemetry が計装と送出を標 準化する Session・turn・tool call の Trace を保存し、クエリできる 記録した span を、調べたい問いに 合わせて正規化する © NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 3
4. At the Metrics level METRICS AGNTCon + MCPCon のスライドを作った Session で、high と xhigh の Turn 単位 Cost を比較した 25 high · 36 xhigh 1 Session 内の Turn を、Effort ごとに集計 xhigh に切り替えた Turn の Cost は high の約 2 倍、 内訳は cache read が 75% 以上 Est. cost = (input × $15 + cache read × $1.50 + cache create × $18.75 + output × $75) / MTok ― 公開 API 単価による概算 © NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 4
5. At the Trace level TRACE AGNTCon + MCPCon のスライドを作った Session を、Trace で Effort と作業の種類に分解した structural review high implementation, commit xhigh high visual assessment commit, review xhigh deck restructuring high verification, wrap-up xhigh high message cleanup, typos 切り替えはすべて `/effort` による手動操作。横幅は Turn 数 © NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 5
6. Cost by phase TRACE 作業と Effort で Cost を見ると、review は 1.73 倍、implementation は呼び出し半減でほぼ同じ Phase Turns high / xhigh LLM requests per Turn high / xhigh Est. cost per Turn xhigh ÷ high review 7 / 15 12.7 / 22.6 1.73 implementation 9/6 15.9 / 7.3 0.91 validation 2/6 7.0 / 6.8 1.46 presentation prep 0/8 — / 20.4 xhigh only commit 7/0 8.6 / — high only deck restructuring 0/1 — / 2.0 xhigh only whole session 25 / 36 12.2 / 16.4 1.99 xhigh には presentation prep のように Cost の高い作業が、high には commit のように Cost の低い作業が含まれるため、 phase をまたいで合計すると 1.99 倍になった 作業の種類はプロンプト本文からの分類 ― review と validation が同時に起きる Turn（11 件）は多くを占めた側に数えた © NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 6
7. Summary OUTCOME AGNTCon + MCPCon のスライドを作った Session で、high と xhigh の内訳を分析した Metrics Effort と Token が記録でき、Cost を算出できる Trace Session の進み方や、Effort ごとの Cost の使われ方まで確認できる Outcome 類似の作業を多くの Session で比べれば、効率まで評価できる Agent の Cost は、Session の中で何に使ったかで決まる だから Metrics と Trace を蓄積し、Cost と Outcome を結びつけることが重要 © NTT DOCOMO BUSINESS, Inc. All Rights Reserved. 7