Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
文字起こし基盤の信頼性
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
abnoumaru
July 23, 2026
Technology
260
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
文字起こし基盤の信頼性
abnoumaru
July 23, 2026
Transcript
25 slides
⽂字起こし基盤の信頼性 2026/07/23 Tamachi.sre#5 SRE NEXT After Party Special abnoumaru, IVRy
Inc.
⾃⼰紹介 id: abnoumaru Engineering Manager, SRE - - 経歴 -
2024年10⽉⼊社 - 2025年1⽉からSREのリーダー - 2026年からSREのEngineering Manager 最近ハマってること - setlog 2
3
プロダクト IVRとAIであらゆる電話対応を効率化 「アイブリー」 4
もくじ 1. ⽂字起こし基盤について 2. 壊れにくくする 3. 直しやすくする 5
⽂字起こし基盤について 6
通話⽂字起こし 通話後の⾳声をテキスト化 活⽤の例 - 聞き逃しや認識のズレを防⽌ - 電話対応の振り返りやフィードバック - ⽂字起こしされたデータは分析にも活⽤ 7
既存の⽂字起こし基盤の課題 可⽤性、復旧しやすさ、柔軟性の課題が顕在化しはじめていた - キューの持ち⽅ - 失敗した処理の把握と復旧作業の複雑さ - 機能追加の難しさ 8
刷新の機運 とある機能を追加する機会があった SREとして基盤の刷新をしながら既存の課題を機能追加する選択をした 詳細はAdvent Calendar 2025 に記載 👉 https://note.com/abnoumaru/n/n745d03624421 9
新しい⽂字起こし基盤の⽅針 AWS Step Functionsを利⽤して、 実⾏状態を管理しやすく柔軟に機能追加できるパイプラインを⽬指した いまならAWS Lambda Durable Functionsも選択肢 10
新しい基盤の特徴 - ⾒やすさ - パイプライン全体を視覚的に理解 - 実⾏状態の管理と把握ができる - 直しやすさ -
Redriveがデフォルトで備わっている - ログ改善によるトレーサビリティの向上 - 柔軟性 - 新しい機能を分岐で追加しやすい - 処理毎にLambdaの⾔語を選択できる 11
イメージ図 12
壊れにくくする 13
外部のAIサービスを利⽤するということ Pros 😆 Cons 😭 ⾃分たちでリソース管理することなく ⼤量のリソースが必要な処理を APIのリクエストで実現できる こちらの都合とは関係なく 不安定になることもある
14
運⽤しながら挙動を把握してきた ⽂字起こし基盤ではAzureのSpeech-to-Textを利⽤ IVRyでは他にも様々な外部のAIサービスを利⽤している サービスに組み込んで使いながら そしてEmbedded SREがプロダクトと向き合うことで 失敗したときの挙動を把握し対処法を模索してきた 15
素朴なリトライは⼤事 外部のAIサービスの不調の⼤半は⼀時的なもの(429/5xx/タイムアウト) こうした⼀時的な不調の多くはリトライで解消されている リトライはアプリレイヤーとインフラレイヤーで層を分ける⽅針 例えば - アプリ層はhttpx gemの:rate_limiter plugin Retry-Afterに従いリトライ
インフラ層はStep FunctionsのリトライはLambda等のエラー インフラ層でアプリのエラーは原則リトライしない 16
フォールバックも選択肢 リトライで回復しない場合もあるのでフォールバック先の⽤意も⼤事 Azureもプライマリとセカンダリのリージョンでリソースを⽤意して エラーが継続する場合切り替える⼿法を推奨している ref: https://learn.microsoft.com/en-us/azure/ai-services/speech-service/resiliency-and-recovery-plan 17
直しやすくする 18
壊れたときの検知と直すスピードも重要 リトライやフォールバックも無限にできるわけではない このため壊れたときにどうするかも重要 異常に気づきやすい仕組み、そして直しやすい仕組みがあると便利 19
ジョブを直す難しさ Redrive で⽂字起こしのジョブに関しては再実⾏する⼿段が⼿に⼊った それでもジョブの再実⾏は難しい - 検知も復旧⽅法もバラバラだと職⼈技になりがち - ジョブを再実⾏したほうが良いか?というコンテキストも⼤事 - 単純にリトライしても直らない場合さらに情報が必要
20
共通のジョブ基盤があると嬉しい 検知‧通知‧復旧⼿順...をジョブごとに整備するのは⼤変 ちょうど⽂字起こし基盤の開発中に IVRy社内で共通のジョブ実⾏基盤が作られた 旧基盤からの切り替え時に⽂字起こし基盤もここに載せることになった 21
IVRyのジョブ実⾏基盤 IVRyにはDSLでジョブを定義できるジョブ実⾏基盤がある 失敗時は通知が⾏われ、再実⾏に必要な情報はポータルから確認できる 情報の例 - ビジネス影響 依存関係 冪等性やリトライの情報 復旧⼿順 ジョブに関する情報がまとまり、通知や再実⾏の仕組みが整っている
22
ジョブ実⾏基盤の画⾯ 23
まとめ 壊れにくくする仕組みと直しやすくする仕組みで 信頼性を維持しやすくしている - 外部のAIサービスは不安定になる前提で うまく付き合う⽅法をみんなで運⽤しながら育ててきた - 共通のジョブ基盤に載せることで 失敗時の認知負荷を下げて素早く復旧できる仕組みを整えている 24
We are Hiring! 25
More Decks by abnoumaru
See All by abnoumaru
組織にどうSREを根付かせるか?〜IVRyの場合〜
abnoumaru
0
550
IVRyのSREが始まって1年
abnoumaru
1
1.4k
Road to SRE NEXT@仙台 IVRyの組織の形とSLO運用の現状
abnoumaru
1
1.2k
IVRyエンジニア忘年LT大会2024 クリティカルユーザージャーニーの整理
abnoumaru
0
640
ゆるSRE勉強会 #8 組織的にSREが始まる中で意識したこと
abnoumaru
2
2.5k
3-shake SRE Tech Talk #10 LLMのO11yに触れる
abnoumaru
2
13k
マイクロサービスの現場からプラットフォームエンジニアリングの可能性を探る!
abnoumaru
2
13k
SLOいつ決めましょう?
abnoumaru
4
3k
あなたらしくSRE(公開用)
abnoumaru
5
9.5k
Other Decks in Technology
See All in Technology
その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Performance review with k6 and OpenTelemetry
ymotongpoo
3
380
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
480
こんなに変わった! AWSネットワークの常識
shotashiratori
16
11k
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
450
Kubernetes, Agones, WebRTC, GPU で作る クラウドゲーミング基盤を本番運用に乗せるまで
vivion
0
230
認知負荷の減らし方 ~開発にも日常業務にも活かせるノウハウ~
minorun365
PRO
14
9.2k
AIで実装が加速したのに、 なぜ私は仕事の大半で人と話し続けていたのか?
say_no_w
0
210
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
480
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
3
900
20261113_AWS Organizations運用を下支えするCFn StackSetsの柔軟性
dkduppf
0
110
統制されたID・権限をどう利用するか : DPoP/FAPIによるAPIセキュリティ強化
oidfj
1
240
Well, that’s weird…
csswizardry
1
150
Featured
See All Featured
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
570
Imperfection Machines: The Place of Print at Facebook
scottboms
270
14k
Redefining SEO in the New Era of Traffic Generation
szymonslowik
1
530
Impact Scores and Hybrid Strategies: The future of link building
tamaranovitovic
0
490
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
katarinadahlin
PRO
3
3.9k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.7k
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
kimpetersen
PRO
0
540
Music & Morning Musume
bryan
48
7.5k
Building Adaptive Systems
keathley
44
3.3k
A Tale of Four Properties
chriscoyier
163
24k
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
sarafernandez
2
1.7k
The Invisible Side of Design
smashingmag
301
52k