AI エージェントの実運用を支えるオブザーバビリティの実践

Cloud Operator Days Tokyo 2025の動画セッションで登壇させていただいた際の資料です。
AI エージェントとは？オブザーバビリティとは？という概念の紹介から、AI エージェントを実運用する際のオブザーバビリティの実践について整理しています。

セッション動画：
https://event2025.cloudopsdays.com/2025/07/23/ai-%e3%82%a8%e3%83%bc%e3%82%b8%e3%82%a7%e3%83%b3%e3%83%88%e3%81%ae%e5%ae%9f%e9%81%8b%e7%94%a8%e3%82%92%e6%94%af%e3%81%88%e3%82%8b%e3%82%aa%e3%83%96%e3%82%b6%e3%83%bc%e3%83%90%e3%83%93%e3%83%aa/

セッション概要：
AI エージェントの活用が急速に進む中でそれらを活用した運用監視の高度化(AIOps)とAI エージェント自体に対する運用監視の重要性が高まりつつあります。
AI エージェントの複雑な構成やブラックボックス化された内部ロジックは監視やトラブルシュートを困難にし、結果としてパフォーマンスの低下やコストの増大、ユーザーの信頼性の低下といったリスクを引き起こしかねません。
そこで本セッションでは、実際にAI エージェントをAIOpsの商用サービスとして提供すると共に、お客様が運用中のAI エージェントに対するオブザーバビリティを高めてきたDatadogの実績を踏まえ、AI エージェントに対するオブザーバビリティを高め、クラウドインフラからLLMの出力まで、AIスタック全体を可視化して深いインサイトを得るアプローチを解説します。

具体的には以下の内容を学べます：
AI エージェントとオブザーバビリティに関する基本的な概念
AI エージェントを実運用する上で直面する課題
AI エージェントに対してオブザーバビリティを実践する上でのポイント

Transcript

1. Cloud Operator Days Tokyo 2025 AI エージェントの実運用を支える オブザーバビリティの実践 Datadog Japan Sales Engineer Takaaki Tsunoda
2. 本セッションについて 2 AI エージェントを実際に運用する上で直面する課題 それに対するオブザーバビリティの実践的アプローチの紹介 本日は機能概要のご紹介 詳細は9/5のオンサイトセッション 本日のメインターゲット
3. 自己紹介 Takaaki Tsunoda(@taka2noda) Datadog Japan 合同会社　Sales Engineer 　Datadog(オブザーバビリティツール)導入の技術支援 前職： IBM/Kyndryl 　保険業界のお客様 インフラ保守担当PM, SRE 　ITSM運用管理ツール 保守チームのPM, アプリSE 3
4. Agenda 4 01 Datadogについて 05 まとめ 04 AI エージェントに対するオブザーバビリティの実践 03 オブザーバビリティについて 02 AI エージェントについて
5. Datadogについて 5
6. 6 Company Highlights 企業情報ハイライト 2010 ニューヨークにて創業 33 事業展開している国 6,500 グローバルの従業員数 non-GAAPベースの研究開発投資比率 28% 30,000 エンタープライズのお客様社数 Datadogの統合基盤上で 提供されている製品群 23 Datadog製品をに製品以上 お使いのお客様 83% $2.68B (+26%) サブスクリプションの 年間経常売上 (ガイダンス） 2019年9月19日 NASDAQに上場 (DDOG) クラウド時代の モニタリング＆セキュリティ プラットフォーム Datadogとは S&P 500 銘柄に追加！ (2025/7/9)
7. セキュリティ 分析 Cloud Service Management クラウドサービスマネジメント 監視 & 運用 最適化 ソフトウェア開発 • リアルユーザー 監視 • プロダクト分析 - ヒートマップ - クリックマップ - スクロールマップ - ファネル分析 • モバイル アプリテスト • セッション リプレイ • クラウド セキュリティ管理 • コードセキュリティ • クラウド SIEM • 機密データスキャナ • ワークロード 保護 • App and API 保護 • インフラ監視 • ネットワーク監視 • APM • 合成監視 • ログ管理 • LLM オブザーバビリティ • ユニバーサル サービス監視 • オブザーバビリティパ イプライン • Continuous Profiler • クラウドコスト管理 • データベース監視 • データストリーム監視 • データジョブ監視 • データ オブザーバビリティ • CI/CD 可視化 • テスト最適化 • Continuous Testing Datadogプラットフォーム ビジネス 開発 監視 運用 最適化 リリース テスト ユーザー 理解 ユーザー サポート 稼働 セキュア コード ビジネス 成長 ビジネス 分析 7 • インシデント管理 • オンコール • Cloudcraft • 内部開発者ポータル (IDP) • リソースカタログ • SLO • ワークフロー オートメーション • App Builder • ケース管理 • イベント管理 AIOps機能群(Bits AI, Watchdog, ML based Monitor, NL Search) 開発からビジネスまで広範囲に支援
8. 8 Datadogが優秀でなかっ たら成長は鈍化していた われわれの主力モデルは1日に約100万回 のAPIコールを処理し、数千億のファイル を扱っている。これを支えるスケーリン グにおいてDatadogは重要な役割を果た している。 Datadogのおかげでオブザーバビリティ がスケールし、われわれは一切心配する ことはない。もしDatadogが優秀でな かったら、Cursorの成長はもっと遅く、 クラッシュが発生していただろう。 “ “ 『DASH by Datadog 2025 Keynote』 Cursor共同創業者 Sualeh Asif氏
9. OpenAI「On call with Codex」の紹介動画 9 引用：『On call with Codex』https://youtu.be/9nT_t9pZHg8 Datadogの Error Tracking画面
10. 相互に支援し成長 10 AI エージェント サービス オブザーバビリティ プラットフォーム
11. 11 SRE Security Analyst Dev 9/5のセッションとブースで 詳細についてご紹介します！ Bits AI DatadogのAI エージェント 自律的に原因調査
12. DatadogとAI エージェント 12 Datadog オブザーバビリティ プラットフォーム Bits AI AI エージェント Cursorなど AI エージェント サービスとして提供 サービスを支援
13. AI エージェントについて 13
14. そもそも AI エージェントとは 目的を達成するためにAI技法を適用する 自律的または半自律的なソフトウェア タスクを理解、計画、実行するために 自律的に動作できるソフトウェア・プログラム 14 “ “ 引用： ・『Gartner、AIエージェントとエージェント型AIに関する見解を発表』https://www.gartner.co.jp/ja/newsroom/press-releases/pr-20250514-ai-agent ・『2025年のAIエージェント：期待と現実』https://www.ibm.com/jp-ja/think/insights/ai-agents-2025-expectations-vs-reality “ “
15. そもそも AI エージェントとは 15 1.目的やタスクを与える 2.自律的に必要なツール(Web検索など)を呼び出して調査 例：ChatGPTのDeep research
16. AI エージェントの運用 16 ユーザーはAI エージェントを利用する際、 従来のアプリケーションと同じ品質の体験(UX)を求める が、 運用者は AI エージェントの自律的動作の中身が分からない ユーザー体験の悪化につながる遅延・エラー・品質低下の原因特定が困難に... 把握したい/可視化したい！　　 ？
17. AI エージェントの運用 17 ここまでは AI エージェント単体に焦点を当てた議論でしたが、 ？
18. AI エージェントを支えるシステム全体 18 ？ ？ ？ ？ ？ ？ ？ ？ AI エージェントはそれのみで独立して動作するわけではなく、 従来のアプリケーション同様、システムの一部として動作する AI エージェントを含めた、システム全体の運用設計と可視化が必要
19. オブザーバビリティについて 19
20. そもそもオブザーバビリティについて 20 オブザーバビリティ(可観測性) =外部出力からどれだけ中の状態を把握できるかを示す尺度 オブザーバビリティのゴール =外部出力からシステムの状態を把握できるようにする 引用：『CNCF Tag Observability White Paper』 https://github.com/cncf/tag-observability/blob/main/whitepaper.md
21. AI エージェントとオブザーバビリティ 21 ？ ？ ？ ？ ？ ？ ？ ？ 出力から中の状態を わかるようにする オブザーバビリティ 可視化したい 可視化する ブラックボックス化した AI エージェントを含むシステム
22. AI エージェントに対する オブザーバビリティの実践 22
23. 1. まずはCNCFのObservability White Paper(原理原則)を抑える ※Cloud Native Computing Foundation(CNCF) とは、Linux Foundationの一部として、Kubernetesや OpenTelemetryなどのクラウドネイティブなプロジェクトのサポート、監査、方向性の示唆を行う団体 オブザーバビリティの実践におけるポイント 23
24. 1. まずはCNCFのObservability White Paper(原理原則)を抑える 2. 実践のステップは、シグナルを取得し、相関付ける オブザーバビリティの実践におけるポイント 24 ソース：『CNCF Observability White Paper』 https://github.com/cncf/tag-observability/blob/main/whitepaper.md
25. 1. まずはCNCFのObservability White Paper(原理原則)を抑える 2. 実践のステップは、シグナルを取得し、相関付ける 3. AI エージェント自体と、システム全体両方の運用を考える オブザーバビリティの実践におけるポイント 25 ？ ？ ？ ？ ？ ？ ？ ？
26. AI エージェントの実運用における運用課題 26 自律的に呼び出されたツールやモデルの事象の把握や問題原因の特定が難しい 確率論的に生成された回答の品質や速度の把握が難しい 自律的に呼び出されるプロンプトやAPIコールのコストの把握と最適化が困難 プロンプト経由の機密情報の流出とシステム全体の安全性の担保が必要 複雑さ 回答品質 コスト 安全性
27. 27 Demo AI エージェントに対する オブザーバビリティの実践
28. 28 Demo① AI エージェントの構成と処理
29. Demo② AI エージェントの統計情報(1/3) エラー 29
30. Demo② AI エージェントの統計情報(2/3) 評価 30
31. Demo② AI エージェントの統計情報(3/3) コスト 31
32. Demo③ AI エージェントのハルシネーション原因分析 32 最終回答でハルシネーションを 検知 前段の処理でToolsの呼び出しの エラー
33. Demo④ AI エージェントの安全性 33
34. Demo⑤ AI エージェントとアプリデータの相関付け 34
35. Demo⑤ AI エージェントとアプリデータの相関付け 35
36. 36 まとめ AI エージェントは自律的に動作しブラックボックス化するため、 オブザーバビリティが有用 AI エージェントを実運用する上で直面する課題は、 複雑さ、回答品質、コスト、安全性 オブザーバビリティを実践する上では次の3つがポイント - CNCFが提唱するWhite Paper(原理原則)を抑える - AI エージェント単体とシステム全体の両方を考慮する - 収集したシグナルを相関付ける
37. ありがとうございました! 9/5 ブースでお会いしましょう！ 37