LLM Observabilityで切り拓く​LLMプロトタイプ開発の可視化と加速/Datadog_Summit_Tokyo2025

2025年10月16日​、Datadog Summit Tokyo2025に情報サービスユニットの若本さんが登壇しました。
LLM Observabilityで切り拓く​LLMプロトタイプ開発の可視化と加速 というタイトルで発表しました。

Transcript

1. 1 日本経済新聞社 情報サービスユニット 若本 亮佑 2025年10月16日 LLM Observabilityで切り拓く LLMプロトタイプ開発の可視化と加速
2. 2 自己紹介 株式会社日本経済新聞社 情報サービスユニット データサイエンティスト 若本 亮佑 ・2024年に日経にjoin ・今年は博士（工学）を取得
3. 3 本日お話しする内容 ・会社紹介 ・私たちが取り組んでいること ・取り組みの中で出てきた課題 ・どのように課題が改善されたのか
4. 4 日本経済新聞社の事業 ・新聞を中核とする事業持株会社 ・雑誌、書籍、電子メディア、データベースサービス、 速報、電波、映像、経済・文化事業などを展開
5. 5 日本経済新聞社の事業 ・新聞を中核とする事業持株会社 ・雑誌、書籍、電子メディア、データベースサービス、 速報、電波、映像、経済・文化事業などを展開 所属部署が 主とする事業
6. 6 メディア業界とLLM 紙 Web 人 LLM 媒体 人間が記事を「読み」「咀嚼し」「資料等に加工」 テレビ メディア 動画 SNS 情報処理 LLMによって情報処理・情報収集の方法に変革が訪れている LLMが記事を「読み」「咀嚼し」「資料等に加工」
7. 7 メディア業界とLLM 紙 Web 人 LLM 媒体 人間が記事を「読み」「咀嚼し」「資料等に加工」 テレビ メディア 動画 SNS 情報処理 LLMによって情報処理・情報収集の方法に変革が訪れている LLMが記事を「読み」「咀嚼し」「資料等に加工」 データ活用の幅が広がるチャンス！我々が扱うデータで何ができるか？
8. 8 日経の事業とLLM 検索基盤 ・ ・ ・ ・ ・ ・ 記事データ 企業データ ・ ・ ・ マクロ・統計 （＋お預かりしたデータ） （＋お預かりしたデータ） 既存の製品： 生成AIの統合・連携 生成AI製品： 継続的な強化 事業でLLMを活用するにあたって、試行錯誤が必要
9. 9 日経のAIエージェント開発（LLMプロトタイプ） 本番化 事業の意思決定 社内フィードバック / テスト 様々な 活用先 様々な LLM 技術 様々な データ プロトタイプ環境
10. 10 日経のAIエージェント開発（LLMプロトタイプ） 本番化 事業の意思決定 社内フィードバック / テスト プロトタイプ環境 機能A 機能B 機能C 機能D 営業 / 企画 / 技術 など…知恵を持ち寄り、動くものを作って磨く …
11. 11 LLMプロトタイプ開発で直面した課題 1. 本番化が難しい - 本番/技術検証の差異によるバグ/再現性の無さ 2. 改善が難しい - FBに該当する挙動の原因がわからない 3. 運用面の不安 - いつどんな理由で落ちるかわからないLLM - LLMを用いた様々な機能を管理する難しさ
12. 12 LLMプロトタイプ開発で直面した課題 原因：複数のLLM推論×機能の管理 LLM 入力 出力 1 LLMで動く機能の場合 不自然な挙動があった場合に 原因がわかりやすい
13. 13 LLMプロトタイプ開発で直面した課題 原因：複数のLLM推論×機能の管理 各機能は複数の LLM推論で動作する 実際には…
14. 14 LLMプロトタイプ開発で直面した課題 Step.1 ルーティング & 入力チェック …
15. 15 LLMプロトタイプ開発で直面した課題 Step.2 検索 … …
16. 16 LLMプロトタイプ開発で直面した課題 Step.3 回答生成 …
17. 17 LLMプロトタイプ開発で直面した課題 原因：複数のLLM推論×機能の管理 ・どこに主原因があるか追いづらい ・再現実験にも時間がかかる＆再現は 保証されない ・テストを作り込むと開発スピードが 落ちてしまう
18. 18 LLMアプリケーションのログトレース 対策：LLMアプリケーションの内部動作の透明性を確保する ・LLMワークフロー/エージェントの管理/分析ツール ・入力や中間/最終出力をキャプチャする
19. 19 LLM Observabilityの基本的な使い方 手順1. 社内FBをもらう or 頻出エラーを確認する 直近の発生頻度が多い エラーを確認
20. 20 手順2. 該当するログに絞り込む LLM Observabilityの基本的な使い方
21. 21 手順3. 入出力を手掛かりに原因分析・改善・テスト 再現に必要な情報も 入っている 原因が一目でわかる LLM Observabilityの基本的な使い方
22. 22 Datadog LLM Observability を採用 採用理由：プロトタイプ運用との相性◎ インフラ / LLMアプリケーションログの一元管理ができ る 集計とモニタリングで運用/改善が楽 ログが軽量なため、チェックが容易
23. 23 インフラ/LLMアプリケーションの一元管理 LLMプロトタイプは変更が激しく、何が原因で落ちたか わからなくなる ・インフラ/バックエンド ・LLMアプリケーションの内部ロジック ・LLMそのものの挙動 etc … で全て確認できる
24. 24 集計を用いた挙動の改善 Overview / Dashboardから 改善内容を検討 Spans APIを用いてExportした 動作確認用データで検証 原因に対処 … 検索クエリに合致する 質問/Stateを加工して検証
25. 25 モニタリング機能の充実 指標のモニタリングで、「いつの間にか動かない」を防止
26. 26 LLM Observabilityの導入によって得られた効果 1. 本番化が難しい ⇨ LLMアプリの内部の挙動がわかりやすくなり、本番化 にかかるコストが低下 2. 改善が難しい ⇨ 課題の発見 / 改善サイクルが早くなった 3. 運用面の不安 ⇨ アラートやダッシュボードにより、LLMアプリケー ションの管理にかかる負担が減少 ★ ※ ★はDatadogで感じられた効果 ★
27. 27 まとめ 本日お話しした内容 私たちの取り組み：LLMプロトタイプの迅速な開発 課題：LLMアプリケーションの 本番化 / 改善の難しさ、不安定さ 成果：Datadog LLM Observabilityの導入によって、 改善スピードと安定性が向上
28. 28 We are hiring! We are building!