エージェント開発におけるObservability

Transcript

1. エージェント開発における Observability 2025/10/31 @UB Tech vol.21 1 1 株式会社ユーザベース スピーダ事業 小玉 祐輝
2. 自己紹介 • @kuy / 小玉 祐輝 • 株式会社ユーザベース スピーダ事業 フェロー • 今年に入ってからPythonを書く機会が増えた 🐍 • コーヒーが大好きで、来年パナマの農園に遊びに行く ☕ 2
3. 背景 3
4. LLM Observabilityことはじめ トークン数とコストの算出 まとめ 01 02 03 4
5. 5 LLM Observabilityことはじめ | 01 |
6. Observabilityとは？ • 可観測性: システム内部で何が起こっているのか、外部からどれだけ詳しく把握で きるか • なぜ重要なのか: クラウドネイティブ、マイクロサービスな環境においてはシステ ムが複雑かつ分散していて、状況把握だけでも一筋縄ではいかない • 目的の違い: Monitoring（監視）は既知の問題の検知。Observabilityは未知の問題の 発見を支援する基盤の提供。 • 実現のための要素: ログ、メトリクス、トレース 6
7. LLMおよびAIエージェントにおけるObservability LLM向けに当てはめると例えば・・・ • ログ ◦ LLMのInputとOutputは重要なデバッグ情報 • トレース ◦ ツール呼び出し（特にAPI、MCP、RAG） ◦ エージェント同士の連携 ◦ LLM呼び出しにかかった時間 • メトリクス ◦ 使用したトークン数 7
8. 手軽にLLM Observabilityをはじめる • 料理レシピを分析するAIエージェントに組み込んで検証 ◦ レシピ一覧を取得して、各レシピ発祥の地とレシピ投稿者の所在地が一致して いるか判断する ◦ サンプルコード: https://github.com/kuy/adk-ddtrace-example • Google ADK PythonとDatadogの組み合わせ ◦ ADKはできるだけ最新を使う（2週間に1回の定期アップデート） ◦ DatadogはADK向けの改善が入った dd-trace-py 3.16.1 以降がおすすめ 8
9. 構成図 9
10. エージェントの実行結果 10
11. Datadogでの表示 11
12. Datadogでの表示 12
13. Datadogでの表示 13
14. Datadogでの表示 14
15. Google ADK + Datadogの落とし穴 15 • import ddtrace.auto ではLLM Observabilityが自動的に有効にならなかった ◦ from ddtrace.llmobs import LLMObs して手動で LLMObs.enable() • DD_LLMOBS_ENABLED や DD_LLMOBS_AGENTLESS_ENABLED は指定しても効果は なかった • DatadogにはDatadog Agent（データ送信するための常駐プログラム）経由で各種 データを送信する必要があり、ローカル環境で動かすには工夫が必要 ◦ http://localhost:8162 に対して送信する ◦ 例えば本番環境にDatadog Agentがあるならプロキシで転送する ◦ 稼働しているDatadog Agentの数で課金されるので注意！
16. 16 トークン数とコストの算出 | 02 |
17. LLMのコスト、トークン数 • LLMのコストはモデルとトークン数で決まる • トークンにはInputトークンとOutputトークンがある ◦ Inputトークン: システムプロンプト、ユーザープロンプト、その他LLMに読み 込ませるあらゆるもの ◦ Outputトークン: LLMから出力された回答 • 一般にOutputトークンの方がInputトークンよりコストが高い 例: Gemini 2.5 Flashの場合、100万Inputトークンあたり$0.3、100万Outputトークンあた り$2.5 (※ 2025/10/21 時点) 17
18. コスト計算してみる • data_collection: get_recipes ◦ Input: 163, Output: 39 (gemini-2.5-flash) • data_collection: get_user（3回） ◦ Input: 676, Output: 179 (gemini-2.5-flash) ◦ Input: 1007, Output: 168 (gemini-2.5-flash) ◦ Input: 1452, Output: 120 (gemini-2.5-flash) • data_collection: 取得したデータの整理 ◦ Input: 1850, Output: 391 (gemini-2.5-flash) • analysis ◦ Input: 3240, Output: 1220 (gemini-2.5-pro) 18 • トークン合計 ◦ Input: 5148, Output: 897 (gemini-2.5-flash) ◦ Input: 3240, Output: 1220 (gemini-2.5-pro) • コスト算出 ◦ Input: $0.0015444, Output: $0.0022425（flash） ◦ Input: $0.00405, Output: $0.0122（pro） • 合計: $0.0200369 = 約3.1円（1ドル154円換算） ※ 画像のEstimated Costはモデル設定をしていないため間違った料金が 表示されています（Gemini未対応？） ※ Inputトークンは部分的にキャッシュされることがあり、その場合は キャッシュが有効なときの料金で計算する必要があります
19. 19 まとめ | 04 |
20. まとめ • Google ADK PythonとDatadogでお手軽にLLM Observabilityを試せる • A2Aを介したマルチエージェント構成ではトークン算出にのびしろあり ◦ Datadogのtrace id付きでGoogle CloudのCloud Loggingにログを飛ばして、trace idですべ てのログをかき集めてトークン集計してコスト算出したりした • エージェント開発・運用においてObservabilityはこれまで以上に重要 • LLM Observabilityはエコシステムが急激に進化している熱い分野 20
21. 最後までご清聴ありがとうございました。 Thank you 21