LangfuseでAIエージェントの 可観測性を高めよう！/Enhancing AI Agent Observability with Langfuse!

2025-4-16に開催された ML OpsコミュニティのAI AgentOps LT大会でお話しした内容です。 https://mlops.connpass.com/event/347046/

Transcript

1. AI AgentOps LT大会！！！ LT#6 LangfuseでAIエージェントの 可観測性を高めよう！ 2025.04.16 KDDIアジャイル開発センター株式会社(KAG) MJ （三宅 潤也 @jnymyk）
2. 1 KDDI Agile Development Center Corporation 結論 • LangfuseでAIエージェントを見える化しよう （可観測性を高 めよう！） • チームやプロジェクトに応じて適切なLLM Opsツールを選択しよ う！ ◦ Langfuseじゃなくても可観測性が担保できればどんなツールでもOK！ • AIがどのような情報を受け取って、どんな処理をしているのか？ 目的を達成するまでのプロセスやコストを適切に把握する必要が ある。（AIでも人でもこれは一緒） ◦ AIエージェントの開発・運用を持続可能な活動にしよう
3. 2 KDDI Agile Development Center Corporation 自己紹介 • 三宅 潤也 Miyake Junya(@jnymyk) • MJ(えむじぇー)という芸人ネームで最近活動し 始めました！まずはXとSlackから ◦ コミュニティで三宅かぶり(ZENアーキテクツ三宅さん)、今日もトップバッターの @zawakinさんも三宅さん・・・ ◦ 社内でJunya Miyakeの字面かぶり(JunXX MiyaXXまで同じ)による誤爆メンショ ン多数・・・ • KDDIアジャイル開発センター(KAG)のスクラムマスター/エンジニア • チーム開発, クラウド(Azure/AWS), CI/CD, 生成AI/LLMアプリ開発が好 きです New!!!
4. 3 KDDI Agile Development Center Corporation なぜ、AI AgentOpsでObservability ？ • 複雑なマルチステップでの失敗要因を特定するため ◦ Traceで各ステップの入力・出力・LLM呼び出しを可視化 ◦ バグ・ハルシネーションを素早く特定
5. 4 KDDI Agile Development Center Corporation なぜ、AI AgentOpsでObservability ？ • 精度とコストのトレードオフのバランスを取るため ◦ リアルタイムでコストやレイテンシを見える化 ◦ 高コストな呼び出しを抑制しながら精度を検証
6. 5 KDDI Agile Development Center Corporation AI AgentOpsツールとしてのLangfuseとは？ • Langfuseとは？ ◦ 生成AI（LLM）アプリケーション向けのOSS監視・ 分析プラットフォーム ◦ Self hosting or Cloudを選択可能。 • 複数人でクローズドな環境で利用するならSelf hosting • Self hostingは構築・継続メンテが大変なので、プラット フォームエンジニアリングチームで共通基盤にできると ベスト
7. 6 KDDI Agile Development Center Corporation AI AgentOpsツールとしてのLangfuseとは？ • Langfuseで出来ること ◦ トレース ◦ コスト追跡 ◦ LLMアプリケーションのパフォーマンス監視 ◦ プロンプトの管理 ◦ ユーザーフィードバックの収集と分析
8. 7 KDDI Agile Development Center Corporation デモ • LangGraphで簡易的なQA AIエージェントを実装 • 問い合わせに対して複数のロールのエージェントが対応して目的を達成する までの過程をLangfuseで見える化
9. 8 KDDI Agile Development Center Corporation デモ
10. 9 KDDI Agile Development Center Corporation 実際のプロジェクトとLangfuseのユースケース • 社内問い合わせ業務の生成AIによる業務効率化 ◦ 営業・SEからサービス企画部門へのサービス仕様・販売施策・契約手続等 の社内問い合わせ業務で生成AIを活用 ◦ 社内ドキュメントでRAGするAIチャット →正しい検索先を見てるか？ →社内ドキュメント更新時のAI回答の継続的な精度評価
11. 10 KDDI Agile Development Center Corporation 実際のプロジェクトとLangfuseのユースケース • 全社員向けの生成AIチャットへのDeep Research機能の組み込み ◦ Web検索, 社内文書を取り込んだベクトルDBへの検索 ◦ 単に検索結果の一部をコンテキストとして渡すのではなく、必 要な情報が揃ってレポートできるまで何度も検索を繰り返す →何回検索を繰り返して回答すると納得感のあるレポートを生成 できるか？を見極め →検索の繰り返し回数 vs コストのバランス
12. 11 KDDI Agile Development Center Corporation [再掲]結論 • LangfuseでAIエージェントを見える化しよう （可観測性を高 めよう！） • チームやプロジェクトに応じて適切なLLM Opsツールを選択しよ う！ ◦ Langfuseじゃなくても可観測性が担保できればどんなツールでもOK！ • AIがどのような情報を受け取って、どんな処理をしているのか？ 目的を達成するまでのプロセスやコストを適切に把握する必要が ある。（AIでも人でもこれは一緒） ◦ AIエージェントの開発・運用を持続可能な活動にしよう
13. Be a Change Leader. アジャイルに力を与え 共に成長し続ける社会を創る AI/MLやアジャイル開発に想いのあるエンジニア、スクラム マスター、デザイナー、プロダクトオーナー(PdM/PjM)を募 集中です！ みなさん、ぜひ一緒に働きましょう！！！ 採用関連note 採用サイト