エージェントの振る舞いを読み解く！ Vertex AI Agent Engine と OpenTelemetry によるオブザーバビリティの実現 / getting-started-vertex-ai-agent-engine-with-opentelemetry

DevFest Tokyo 2025 の GDE としての登壇スライドです。
https://gdg-devfest-tokyo-2025.web.app/

Transcript

1. Tokyo 2025 AI エージェントの振る舞いを読み解く！ Vertex AI Agent Engine 　　　　　　　　と OpenTelemetry によるオブザーバビリティの実現 逆井 啓佑 Datadog Japan
2. まず最初にですが ... 🎉 🎉 🎉
3. AI エージェントの振る舞いを読み解く！ Vertex AI Agent Engine 　　　　　　　　と OpenTelemetry によるオブザーバビリティの実現
4. AI エージェントの振る舞いを読み解く！ Vertex AI Agent Engine 　　　　　　　　と OpenTelemetry による オブザーバビリティ の実現 セッション特色出すために、 「オブザーバビリティ」 にも注力してはなします！
5. OpenTelemetry 知ってる方？
6. 逆井 啓佑 (さかさい けいすけ) • 所属 ◦ Datadog Japan • コミュニティ ◦ Google Developer Experts ( Google Cloud ) ◦ OpenTelemetry Meetup • 逆井(さかさい) という名前で X にいます 🙏
7. 今日言いたいことのまとめ Vertex AI Agent Engine と OpenTelemetry の統合で、 いい感じに AI アプリの オブザーバビリティ を高められる！
8. 今日言いたいことのまとめ Vertex AI Agent Engine と OpenTelemetry の統合で、 いい感じに AI アプリの オブザーバビリティ を高められる！ というはなしを残り 10 分 程度で、 デモ有りで紹介（することにチャレンジ ）します！
9. 何はともあれ、オブザーバビリティ と OpenTelemetry について オブザーバビリティとは 「外部シグナルから推測されるシステムの状態を推論する能⼒」 『効率的なGo』（Bartłomiej Płotka 著、⼭⼝ 能迪 訳 ISBN978-4-8144-0053-9) ⼊⼒ 出⼒ サービス ？ 外部シグナル
10. 何はともあれ、オブザーバビリティ と OpenTelemetry について ⼊⼒ 出⼒ サービス 特定ツールの 計装ライブラリ ツール A ツール B ツール C 特定ツール仕様の テレメトリーシグナル 独⾃ プロトコル OTel で 計装してない 場合
11. 何はともあれ、オブザーバビリティ と OpenTelemetry について ツール B ⼊⼒ 出力 システム ツール A*2 ツール C OTel *1 OpenTelemetry Protocol の略 *2 モニタリングツールが OTLP 対応している前提 OTel 仕様の テレメトリーシグナル OTLP*1 OTLP OTLP OTel で 計装している 場合
12. 何はともあれ、オブザーバビリティ と OpenTelemetry について OpenTelemetry とは • Cloud Native Computing Foundation ( CNCF ) の Incubating プロジェクト • テレメトリー（ Primary Signals ）のデータモデル や送信プロトコルの標準仕様（ OTLP ）策定 • 様々な⾔語向けに計装ライブラリ（ API, SDK ） の実装 • OpenTelemetry Collector の仕様策定、開発
13. 平たく言ってしまえば、 アプリケーションの オブザーバビリティを高める ために、 OpenTelemetry を使った テレメトリーの収集 が重要そう！
14. Vertex AI Agent Engine と OpenTelemetry
15. Vertex AI Agent Engine と OpenTelemetry Agent Engine • AI エージェントのデプロイ、運用を Google Cloud マネージド で簡単に行うことができるサービス • そのイチ要素として、 Google Cloud Observability との OpenTelemetry による統合 Cloud Trace Cloud Monitoring Cloud Logging
16. Vertex AI Agent Engine と OpenTelemetry Agent Engine #GoogleCloudNext https://x.com/msy78/status/1952541896557080998 https://docs.cloud.google.com/gemini/enterprise/docs /release-notes?hl=en#November_17_2025 FYI: Vertex AI Agent Engine で ホストされている ADK エージェントを登録および管理する
17. Vertex AI Agent Engine と OpenTelemetry Agent Engine • ADK を作ったエージェントの開発 ◦ 開発するアプリケーションの中での処理
18. Vertex AI Agent Engine と OpenTelemetry Agent Engine • ADK を作ったエージェントの開発 ◦ 開発するアプリケーションの中での処理
19. Vertex AI Agent Engine と OpenTelemetry Agent Engine • ADK の内部も覗く adk-python/src/google/adk/agents/base_agent.py ◦ エージェントが呼び出されるときに走る処理
20. Vertex AI Agent Engine と OpenTelemetry Agent Engine • ADK の内部も覗く adk-python/src/google/adk/agents/base_agent.py ◦ エージェントが呼び出されるときに走る処理
21. Vertex AI Agent Engine と OpenTelemetry Agent Engine • adk-python/src/google/adk/agents/base_agent.py は一例 • adk-python/sre/google/adk/telemetry/tracing.py を見ると、 ◦ 以下の 処理をフックにトレース情報を Cloud Trace に送信 ▪ エージェント呼び出し, LLM呼び出し, ツール呼び出し時に実行 • トレースの送信先は、 ADK の中で定義（Cloud Trace） ◦ ADK は OpenTelemetry 標準なので、OTEL 環境変数でエクスポート先は変更できそう
22. デモ: 何はともあれ見てみましょう 👋
23. デモンストレーション • デモには Agent Garden の Marketing Agency を利用 python/agents/marketing-agency • Marketing Agency アプリについて ◦ オンラインビジネス立ち上げを支援するマルチエージェントシステム ドメイン選定 → ウェブサイト作成 → マーケティング戦略 → ロゴ作成を自動化 ◦ スタック ▪ ADK / gemini / Vertex AI Agent Engile ◦ 4 つのサブエージェントが動いている marketing coordinator domain create website create marketing create logo create 親エージェント 子エージェント
24. (蛇足的なやつ) • 「生成 AI」タブに一部情報が出ない • OTel の semantic conventions という 命名規則に則ってトレースにタグ付けが必要 ◦ Semantic conventions for generative AI systems ◦ 右下図は自前で付与して送ったサンプル • OTel semconv 自体がまだ Development ステータスだから安定していない ← ADK + Agent Engine ↓ LangGraph で 　 明示的にタグ付け
25. (蛇足的なやつ) • 「生成 AI」タブに一部情報が出ない • OTel の semantic conventions という 命名規則に則ってトレースにタグ付けが必要 ◦ Semantic conventions for generative AI systems ◦ 右下図は自前で付与して送ったサンプル • OTel semconv 自体がまだ Development ステータスだから安定していない ← ADK + Agent Engine ↓ LangGraph で 　 明示的にタグ付け とはいえ、Agent Engine を使えば、ほとんど意識せず オブザーバビリティの設定を自動的 にできるから非常に有用そう
26. まとめ • AI アプリのオブザーバビリティ の有用性、 と、そこで役立つ OpenTelemetry について紹介しました • Vertex AI Agent Engine は OTel や Cloud Observability と統合されて、 AI アプリのオブザーバビリティいい感じに高めてくれる
27. • AI アプリのオブザーバビリティ の有用性、 と、そこで役立つ OpenTelemetry について紹介しました • Vertex AI Agent Engine は OTel や Cloud Observability と統合されて、 AI アプリのオブザーバビリティいい感じに高めてくれる • OpenTelemetry を覚えて帰ってくれ！ そして、OpenTelemetry Meetup に遊びに来てね ◦ なお、次回開催日は 2/19 になりそう（予定） まとめ
28. 内容としては終わりですが、 最後に宣伝です！
29. 宣伝 もう少しでクリスマス！GDE のアドベントカレンダー 今年もあります 🎄