Previewでもここまで追える！ Azure AI Foundryで始めるLLMトレース

概要
Azure AI Foundry が Public Preview で提供する LLM Tracing 機能を、10 分間の LT 形式で要点整理したスライドです。OpenTelemetry で収集した span を Application Insights に送信し、Foundry ポータルでトークン数・レイテンシ・コストを可視化するまでの流れを、Inference SDK／LangChain それぞれのコード例と合わせて解説しています。

収録内容

LLM トレーシングが運用にもたらす価値（ワークフロー解析、ボトルネック特定、ファインチューニング用データ取得）
Azure AI Inference SDK による最小構成のトレース実装
LangChain 連携と非 Azure モデル（Anthropic Claude 等）の追跡手順
Foundry Studio「Tracing」タブの読み解き方と Application Insights 上での分析ポイント

関連リソース
実装手順を含む詳細解説は ブログ記事 に掲載しています。

Transcript

1. Previewでもここまで追える！ Azure AI Foundryで始めるLLMトレース
2. 名前 吉川友哉 業務 SIerの生成AI活用推進 社内で Azure OpenAI API 公開・運用 生成AI LT大会 社内プロセスの生成AIによる業務効率化 今期のおすすめアニメ ざつ旅 That's Journey ロックは淑女の嗜みでして 自己紹介 01 X：@Tomodo_ysys
3. Why LLM Tracing？ 02
4. └ 2025 春の今も “Preview” ロゴ付きの新機能 Announced at Microsoft Ignite 2024 (Nov 2024) Azure AI Foundry ― LLM Tracing (Public Preview) 03 SDK が OpenTelemetry 形式で span を発行 Application Insights に自動送信（追加インフラ 要らず） Foundry ポータルでタイムライン & コスト/レイ テンシを可視化 🛠️ しくみ
5. pythonでLLMを呼び出し、AI Foundryでトレース 🔔今日試す内容 🛠️ 事前準備 今日試す内容 03 AI FoundryのHub,Projectの作成 AI FoundryにApplication Insightsを紐づけ モデルカタログでLLMをデプロイ 事前準備手順、コードなど詳細はZenn記事で！
6. ✍️openai パッケージ似た使用感で使えるMS謹製のSDK ※Inference = 推論 一番簡単な方法でさっと試す 04 一番簡単な方法は？ → Azure AI Inference SDKを使う OpenAI SDK Inference SDK
7. トレースの設定自体は2行で終わり 05 Application Insightsの接続識別子取得 Traceの設定 InferenceSDKで普通にAI呼び出し （Traceの見やすさのため `AIInference_AzureMonitor_Dist`と名前だけ設定） Azure Monitor Opentelemetryディストリビ ューションをimport
8. AI FoundryからLLM用トレースが見られる 06
9. Application Insights側からも確認可能 06 ※見え方わかりやすくするために、DeepSeekの前後に１秒pause処理を挟んでいます。
10. Azure AIのモデルを呼び出すようライブラリ langchain-azure-ai AI Foundryにトレースするモジュールが存在 AI FoundryだけでなくAOAIも対応 07 📚MS LearnにLangchainからのトレース方法解説あり （疑問1：Inference SDK以外からのトレースは？） Develop applications with LangChain and Azure AI Foundry
11. LangchainからAI Foundryのモデルをトレース 08 内部的には同じAzure Monitor Opentelemetryディストリ ビューションが使われており、同じように表示
12. （疑問2：Azure関係ないモデルでもトレース可？） 09 📚MSの人がブログを出してくれ ている Langchainを使って任意のモデルのト レースをAI Foundryに表示するコード サンプル Tracing LangChain Code on Azure with OpenTelemetry and Application Insights
13. AI FoundryでClaude 3.7 Sonnetをトレース 10 見た目は本家よりちょっと素っ気ない（Raw JSON）
14. まとめ 10 🔷 数行のコードでAzure AI Foundry上でLLMトレースが可能 🔷 InferenceSDKだけでなく、Langchainなど他SDKでも可能 🔷 Langchain使えばAzureで公開されているモデル以外もAI Foundryでトレース可能 🔷 ただし、見た目は少し劣る
15. ご清聴ありがとうございました！ THANK YOU X：@Tomodo_ysys