Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
LLM Observabilityによる 対話型音声AIアプリケーションの安定運用
Search
Hiroyuki Moriya
January 16, 2026
Programming
600
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
LLM Observabilityによる 対話型音声AIアプリケーションの安定運用
Hiroyuki Moriya
January 16, 2026
Transcript
47 slides
~ LLMプロダクトの信頼性を上げるには? ~ LLM Observabilityによる 対話型⾳声AIアプリケーションの安定運⽤ 2026/01/16 Hiroyuki Moriya
LLMを組み込むと、最⾼のプロダクトが作れる! 2
LLMを組み込むと、最⾼のプロダクトが作れる! 3
LLMプロダクトを 安定的にプロダクション運⽤するには? 4
5 LLMプロダクトの開発 LLM APIの監視・運用 Hiroyuki Moriya (X: @Yamori_ds) AI engineer
/ SRE ⾃⼰紹介
6 1. IVRyについて 2. プロダクトの課題 3. 解決策 4. まとめ アジェンダ
IVRyについて 7
confidential 会社紹介 8 会社名 代表取締役 事業内容 住所 資本⾦等 設⽴年⽉ 株式会社IVRy(アイブリー)
奥⻄ 亮賀(Ryoga Okunishi) クラウド型AI電話SaaS(アイブリー)の運営 〒108-0073東京都港区三⽥三丁⽬5-19 住友不動産東京三⽥ガーデンタワー10F 46.1億円(準備⾦含む) 2019年3⽉
9 電話⾃動応答サービス
10 システムアーキテクチャ
11 システムアーキテクチャ
12 システムアーキテクチャ
IVRyの技術スタック 13
電話は今でも最重要連絡⼿段 14
15 あらゆる業種‧企業規模のお客様に導⼊
Medical appointments Restaurant reservations Hotel bookings FAQ inquiries 様々なユースケースに対応している 16
17 1. IVRyについて 2. プロダクトの課題 3. 解決策 4. まとめ アジェンダ
ハルシネーションの 抑制 Challenge #1 会話速度の安定化 Challenge #2 LLM APIを本番運⽤する難しさ 18
耐障害性能の確保 Challenge #3
ハルシネーションの抑制 19
20 LLMはハルシネーションする Problem
困難は分割せよ 21 Solution
AI workflowによる実装 22 1つのタスクを複数のLLM componentで分割して処理する → validation‧error分析が⾏えるようになり、安定した結果を出⼒できる
23 AI workflowの⼀例
24 Output has changed LLM APIのアウトプットが 変動することがある
確認を怠らない 25 Solution
26 1. Test cases 2. Run consistency tests 3. Notify
/ record results LLM APIのアウトプットの⼀貫性を 定期的に監視する
⾃動 電話 e2e test 27
28
29
30
31 Merge code Deploy latest code Execute automated phone E2E
tests Monitor on Datadog LLM Observability 電話 e2e testをコードマージ時に 実⾏させる
32 Datadog LLM Observability による監視
会話速度の安定化 33
会話速度の不安定化は、ユーザー体験を損ねる 34 Problem
完璧を求めない 35 Solution
36 Fast, stable, and cheap Slower, more $$$ Stability &
performance > latest models 自分たちのユースケースに合っ たモデル選定をする。
システム監視を怠らない 37 Solution
38 Datadog Inferred Servicesによる 外部通信の監視
39 Inferred serviceを通して、多くのmetricsを監視できる
耐障害性能の確保 40
システム障害は多くの影響を引き起こす 41 Problem
LLM APIは不安定である 42 LLM API Status in one day
最悪の事態に備える 43 Solution
44 複数のLLM APIを利用して、 fallbackシステムを実装する LLM fallback strategy
45 緊急時の 電話転送機能
困難は分割せよ / 確認を怠らない 01 ハルシネーションの抑制 完璧を求めない / システム監視を怠らない 02 会話を自然な速度にするために
最悪の事態に備える 03 障害への対策 まとめ: LLMをプロダクト 運⽤するために 46
47 We are Hiring!
More Decks by Hiroyuki Moriya
See All by Hiroyuki Moriya
クライアントの声を聞け
gekko0114
0
54
少人数プロダクト開発において SRE業務を増やさない工夫
gekko0114
0
1.1k
音声データ解析パイプラインの Software Engineering / Context Engineering
gekko0114
0
360
IVRyエンジニア忘年LT大会2024 LLM監視の最前線
gekko0114
1
450
kueueに新しいPriorityClassを足した話
gekko0114
0
850
JobSet超入門
gekko0114
1
1.2k
Other Decks in Programming
See All in Programming
作れるエンジニアから、価値を届けるエンジニアへ
ryunakayama
1
320
Ruby から Emacs を操作したい
phigasui
0
370
祈るテストから、探索するテストへ 〜Lincheckではじめる並行処理テスト〜
yyh_gl
0
400
クラウドゲーミングのパフォーマンス最適化に挑む / Cloud Gaming Performance Tuning
vivion
0
360
AI時代のFlutter品質設計 — アプリ品質を守るQuality Layers
omatty198
0
390
AIコーディング時代のKotest ユニットテストから APIレベルの仕様固定化テストへ
ooga04
0
310
どうしても Eloquent でリポジトリパターンをやりたいんだ #phpcon_niigata / phpcon-niigata-2026
shogogg
0
660
AI駆動開発4年目の現在地(『あなたはFDEになるべきか?』イベント資料)
kumaiu
0
680
SFCで実現する病院・医療システムの動的組み立て式UI
koukimiura
1
180
DroidKnights 2026 Android A2UI Jetpack Compose 기반의 안전한 AI UI 렌더링 - 박제창
itsmedreamwalker
1
260
Enforcing Your Architecture with Unit Tests in the AI Era (Swift Connection X)
steliosf
PRO
1
190
baseline으로 마이그레이션, 리팩토링 안전하게 맡기기
fornewid
1
1k
Featured
See All Featured
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
11
1.1k
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
610
How GitHub (no longer) Works
holman
316
150k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k
Mobile First: as difficult as doing things right
swwweet
225
10k
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
1.6k
We Are The Robots
honzajavorek
0
460
Measuring & Analyzing Core Web Vitals
bluesmoon
9
1.1k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
56
3.5k
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
1k
Kristin Tynski - Automating Marketing Tasks With AI
techseoconnect
PRO
0
600
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
70
69k