LLMプロダクトの信頼性を上げるには？LLM Observabilityによる、対話型音声AIアプリケーションの安定運用

2025/10/16に開催された「Datadog Summit Tokyo」に、IVRyの森谷が登壇しました。

■リンク集
・コーポレートサイト：https://ivry.jp/company/
・採用ページ：https://ivry-jp.notion.site/
・イベント一覧：https://ivry.connpass.com/event/
・IVRy Tech（Xアカウント）：https://x.com/IVRy_tech

Transcript

1. ~ LLMプロダクトの信頼性を上げるには？ ~ LLM Observabilityによる 対話型⾳声AIアプリケーションの安定運⽤ 2025/10/16 Hiroyuki Moriya
2. LLMを組み込むと、最⾼のプロダクトが作れる！ 2
3. LLMを組み込むと、最⾼のプロダクトが作れる！ 3
4. LLMプロダクトを 安定的にプロダクション運⽤するには？ 4
5. 5 LLM APIのプロダクトへの組み込み LLM APIの監視・運用 Hiroyuki Moriya AI engineer / SRE ⾃⼰紹介
6. 6 1. IVRyについて 2. プロダクトの課題 3. 解決策 4. まとめ アジェンダ
7. IVRyについて 7
8. confidential 会社紹介 8 会社名 代表取締役 事業内容 住所 資本⾦等 設⽴年⽉ 株式会社IVRy（アイブリー） 奥⻄ 亮賀（Ryoga Okunishi） クラウド型AI電話SaaS（アイブリー）の運営 〒108-0073東京都港区三⽥三丁⽬5-19 住友不動産東京三⽥ガーデンタワー10F 46.1億円（準備⾦含む） 2019年3⽉
9. 9 電話⾃動応答サービス
10. 10 システムアーキテクチャ
11. 11 システムアーキテクチャ
12. 12 システムアーキテクチャ
13. IVRyの技術スタック 13
14. 電話は今でも最重要連絡⼿段 14
15. 15 あらゆる業種‧企業規模のお客様に導⼊
16. Medical appointments Restaurant reservations Hotel bookings FAQ inquiries 様々なユースケースに対応している 16
17. 17 1. IVRyについて 2. プロダクトの課題 3. 解決策 4. まとめ アジェンダ
18. ハルシネーションの 抑制 Challenge #1 会話速度の安定化 Challenge #2 LLM APIを本番運⽤する難しさ 18 耐障害性能の確保 Challenge #3
19. ハルシネーションの抑制 19
20. 20 LLMはハルシネーションする Problem
21. 困難は分割せよ 21 Solution
22. AI workflowによる実装 22 1つのタスクを複数のLLM componentで分割して処理する → validation‧error分析が⾏えるようになり、安定した結果を出⼒できる
23. 23 AI workflowの⼀例
24. 24 Output has changed LLM APIのアウトプットが 変動することがある
25. 確認を怠らない 25 Solution
26. 26 1. Test cases 2. Run consistency tests 3. Notify / record results LLM APIのアウトプットの⼀貫性を 定期的に監視する
27. ⾃動 電話 e2e test 27
31. 31 Merge code Deploy latest code Execute automated phone E2E tests Monitor on Datadog LLM Observability 電話 e2e testをコードマージ時に 実⾏させる
32. 32 Datadog LLM Observability による監視
33. 33 トピックごとに クラスタリング
34. 34 Reservation Cancellation Question トピックごとに クラスタリング
35. 会話速度の安定化 35
36. 会話速度の不安定化は、ユーザー体験を損ねる 36 Problem
37. 完璧を求めない 37 Solution
38. 38 Fast, stable, and cheap Slower, more $$$ Stability & performance > latest models 自分たちのユースケースに合っ たモデル選定をする。
39. システム監視を怠らない 39 Solution
40. 40 Datadog Inferred Servicesによる 外部通信の監視
41. 41 Inferred serviceを通して、多くのmetricsを監視できる
42. 耐障害性能の確保 42
43. システム障害は多くの影響を引き起こす 43 Problem
44. LLM APIは不安定である 44 LLM API Status in one day
45. 最悪の事態に備える 45 Solution
46. 46 複数のLLM APIを利用して、 fallbackシステムを実装する LLM fallback strategy
47. 47 緊急時の 電話転送機能
48. 困難は分割せよ / 確認を怠らない 01 ハルシネーションの抑制 完璧を求めない / システム監視を怠らない 02 会話を自然な速度にするために 最悪の事態に備える 03 障害への対策 まとめ： LLMをプロダクト 運⽤するために 48
49. 49 We are Hiring!