2025_09_05_QAエンジニアの思考を映す_テスト自動化事例.pdf

Transcript

1. 音声認識から画面検証まで 生成AI時代の電話サービス品質を支える 自動テストの全貌 QAエンジニア 株式会社IVRy Ryoma Seki 2025/09/05
2. 2017年~ 建設業の建具工として独立 同年にパーソナルトレーナーとしても独立し、二足のわらじで活動 2021年~ キャリアチェンジをし、学習塾事業の事業責任者を務める 2022年1月~ - IVRyに入社し、QAエンジニアとしてのキャリアをスタート - 現在はアイブリーのプロダクト全般の QAを担当 趣味 - 筋トレやフットサルなど 2 Event Name 2025 2025/06/01 株式会社IVRy QAエンジニア 関 凌麻 (@IvryQa)
3. 3 プロダクト紹介
4. 4 対話型音声 AI SaaS アイブリー 最短5分で登録可能。月2,980円から電話業務を自動化・効率化することができるサービス ボタンプッシュによる自動応答 /SMS送信/電話転送に加えて、 AI音声対話など様々な機能が利用可能
5. 5 業態に合わせた自由な応答設定 ダイヤルプッシュとAIの対話をハイブリッドで設定し、 受けたい電話と自動化したい電話を分類。電話業務を効率化できる
6. ・アイブリーの品質を支える 3つのテスト領域 ・自動テスト導入前の課題 ・段階的に進めたテスト自動化と 3つの取り組み ・成果と新たな課題 ・今後の展望 6 今日話すこと
7. モバイルアプリテスト ・着信・通話操作 ・プッシュ通知 ・ウィジェットなど 電話機能テスト ・IVRフロー ・音声認識 ・予約など 管理画面テスト ・IVR フロー設定 ・通話履歴表示 ・営業時間設定など 7 アイブリーの品質を支える 3つのテスト領域
8. モバイルアプリテスト ・着信・通話操作 ・プッシュ通知 ・ウィジェットなど 電話機能テスト ・IVRフロー ・音声認識 ・予約など 管理画面テスト ・IVR フロー設定 ・通話履歴表示 ・営業時間設定など 8 アイブリーの品質を支える 3つのテスト領域
9. 9 自動テスト導入前の課題
10. 10 ・開発者数十人に対して QA数名で、複数ラインの同時開発とテスト量増大で QAリソースが限界 に ・リリース頻度を可能な限りあげたい ->手動テストだけでは物理的に限界がある 課題1 体制・組織面
11. 11 ・手続き上の制約 　実際に電話をかける必要性がある ・時間的制約 　実際に電話をかけて検証を行っており、 1ケース数分 × 数十〜数百パターンあるので、 　リグレッションテストを行うだけで数時間かかっていた 課題2 電話テスト特有の制約
12. 限界を突破するには効率化が必須 そこでテスト自動化への挑戦を開始 12
13. 13 段階的に進めたテスト自動化
14. 14 テスト自動化の拡張プロセス テスト自動化のこれまでの歩み

15. 15 テスト自動化の拡張プロセス テスト自動化のこれまでの歩み

16. 16 ・内製ツールとして開発 　実際の架電テストを自動化する独自ツールを 　社内エンジニアが構築 ・音声認識 × 音声合成の活用 　Speech-to-Text や Text-to-Speech とリアルタイム音声通信　 を組み合わせ、音声対話を実現 電話自動応答システムの QAのための自動応答システムを作った話 取り組み① 電話自動テストツールの構築
17. テスト項目 約140項目を自動化 重要項目を自動テストでカバー テスト実行時間 約30分/回(約80%削減) 大幅な時間短縮を実現 テスト体制 開発者のみ QAエンジニア不要で、 24時間いつでもテスト実行可能に 17 電話自動テストツールの導入後の効果 テスト項目 約200項目 すべて手動で実施 テスト実行時間 2~3時間/回 リグレッションテストごとに必要 テスト体制 QAエンジニア必須 Before After
18. ->画面操作の E2Eテストと組み合わせて実現 Playwrightと電話の自動テストを組み合わせ ルール設定から架電するテストケースを実現 なぜ必要だったか 電話の自動テストツールでは、すでに設定されているルール への架電は可能だった 新規機能やリファクタリング時には、データの型やロジックが 変わるので、ルール設定 → 架電の一気通貫のテストが必 要でした 18 取り組み② 画面×電話のE2Eテストの実現
19. LLMによる解決 ・対話パターンをLLMが自動生成 ・自然言語でシナリオを記述 ・多様な表現を簡単に実現できるように 従来の課題 ・発話のバリエーションが少ない ・テストシナリオを人間が細かく作成 ・カバレッジ向上に多大な手間 19 取り組み③ LLM活用で電話テストを強化
20. 20 取り組み③ LLM活用で電話テストを強化（対話例：飲食店予約）
21. 21 これらを通しての成果 QAリソース不足と複数ラインでのボトルネック QA不要で開発者のみでテスト完結 課題1 体制・組織面 QAリソース不足と複数ライン 週1-2回の定期リリース実現 実際に電話をかける必要がある 電話不要でテスト実行可能 課題2 電話テスト特有の制約の改善 テスト実行に2-3時間かかる 約30分に短縮 ✔ ✔ ✔ ✔
22. 22 新たに出てきた課題
23. 23 新たに出てきた課題 etc…
24. 開発者でもQA計画・設計ができる社内ツール構築 24 LLM時代のQA体制, プロセスの革新 課題：LLMが生み出す膨大なコード量に QAが追いつかない アドホックテストが簡単にできるようにシナリオベースで、自 動テストコードを生成する仕組みを導入 今後の展望①
25. 25 今後の展望② 人間にしかできない価値の追求 ・「なんか変」を察知する直感的判断力 ・実際の顧客体験としての品質評価 → 自動化で効率を上げつつ、人間の強みを最大化 ※ 見た目の評価や違和感の言語化により、 LLM活用の可能性も模索中 　完全な人間依存からの脱却も目指す
26. アイブリーがテスト自動化で実現したこと ・電話テストの様々な制約を技術で突破 ・少人数でも高頻度リリースを実現 ・LLM活用によって多様な発話パターンをカバーできるように QAのこれから ・効率化できる部分は、徹底的に自動化する ・人間は、顧客視点での体験価値を評価していきたい ・体験自体を言語化・定量化することで、AIと組み合わせてより効率的に 自動化は手段。目的は顧客にとって良い体験を届け続けること 26 まとめ
27. We are Hiring! X カジュ面