音声AIエージェント開発とプロダクトエンジニアチームの挑戦

プロダクトヒストリーカンファレンス2025 発表資料

Transcript

1. 株式会社RightTouch　齋藤成之
 音声AIエージェント開発と 
 プロダクトエンジニアチームの挑戦 

2. © 2024 RightTouch Inc.　|　Confidential 2 自己紹介
 2020 東京大学理学系研究科博士課程修了 
 
 2020-2021 日立製作所
 
 2021-2024 株式会社プレイド
 
 2021-現在 株式会社RightTouch
 
 
 大学院でレーザー物理の研究後、日立製作所で ITプラットフォームの 設計・開発に従事。
 
 その後、プレイド/RightTouchで、テックリード/フルスタックエンジニア としてアプリケーション開発に従事。 
 
 
 
 齋藤 成之
 X: @nakaakist

3. © 2024 RightTouch Inc.　|　Confidential アジェンダ 
 3 会社紹介・プロダクト紹介 
 
 
 「大企業の顧客接点で持続的に運用できる」 AIプロダクトの難しさ 
 
 
 「動くもの」と「評価」中心に探索から運用まで行う AI機能開発プロセス 

4. 4 株式会社RightTouch 設⽴：2021年12⽉ 従業員：55名（2025年4⽉時点） 2020年9⽉ 2021年1⽉ 2021年12⽉ 2022年3⽉ 2023年10⽉ 2023年10⽉ 2024年1⽉ 2024年10⽉ 2024年11⽉ 2024年12⽉ 2025年4⽉ 次世代Customer Supportの実証実験を複数顧客と開始 設⽴準備室を⽴ち上げ 株式会社RightTouchを創業 Webサポートプラットフォーム 「KARTE RightSupport（β）をリリース Webと電話をつなぎ、全く新しい問い合わせ体験を作る 2ndプロダクト「RightConnect by KARTE（β）」をリリース 「RightSupport by KARTE」正式版を提供開始 ベストベンチャー100に初選出 ⽣成AI基盤「Right Intelligence」を発表 新プロダクト「RightVoicebot by KARTE（β）」をリリース 新プロダクト「RightVoC by KARTE（β）」をリリース シリーズAラウンドで8億円の資⾦調達を発表 沿⾰
5. © 2024 RightTouch Inc.　|　Confidential 5 カスタマーサポートについて 
 マーケット規模、関わる人数共に非常に大きく (その多くが大企業)、インパクトが生まれやすい領域。 

6. © 2024 RightTouch Inc.　|　Confidential 事業内容：カスタマーサポートプラットフォーム 
 6
7. © 2024 RightTouch Inc.　|　Confidential 7 今回テーマとなるプロダクト : RightVoicebot
 自己解決不可
 OP接続希望
 CRMデータと突合し
 顧客情報の特定
 顧客に合った内容を
 パーソナライズ
 エンドユーザーからの電話問い合わせに AI (エージェント )が自動応対 
 課題を深掘りしながら
 RAGで自動回答
 本人認証
 困りごと
 ヒアリング
 自己解決可能な問い合わせの回答
 人のオペレータへの転送
 用件振り分け
 発話内容に応じて 
 適切に振り分け 

8. © 2024 RightTouch Inc.　|　Confidential 8 今回テーマとなるプロダクト : RightVoicebot
 エージェントとの対話の様子 (チャットUI状に表示していますが、実際は音声でやり取りが行われます )
 LLMが自律的に 質問を生成し、 問題を絞り込み

9. © 2024 RightTouch Inc.　|　Confidential 9 RightVoicebotの運用状況 
 複数の大手企業さま で、自律的な AI応対を含むボイスボットを本番運用 

10. © 2024 RightTouch Inc.　|　Confidential アジェンダ 
 1 0 会社紹介・プロダクト紹介 
 
 
 「大企業の顧客接点で持続的に運用できる」 AIプロダクトの難しさ 
 
 
 「動くもの」と「評価」中心に探索から運用まで行う AI機能開発プロセス 

11. © 2024 RightTouch Inc.　|　Confidential 1 1 「大企業の顧客接点で持続的に使える」 AIプロダクトの難しさ 
 大企業の電話
 顧客接点で使うAI
 持続的な運用
 プロダクトのインパクト最大化のためには、「とにかく AIで自動化する電話数を増やす」ことが必要。 
 そのため、大企業の顧客接点で、持続的に運用範囲を拡大することを目指している が、ハードルも高い 
 ミッションクリティカル性が高く、サービス全体の信頼性が必要 
 ハルシネーションリスクに対する厳しさ、正確性の要求の高さ 
 「作って終わり」でなく継続的な PDCAによる精度改善の仕組みが必要 

12. © 2024 RightTouch Inc.　|　Confidential 1 2 「大企業の顧客接点で持続的に使える」 AIプロダクトの難しさ 
 そのために、 AIエージェントそのものはもちろん、周辺領域まで含めた全体設計の最適化が重要 
 AIエージェント
 精度評価システム
 ガードレール設計
 ナレッジ管理
 過去応対分析
 インフラ冗長化
 モニタリング
 サクセス体制
 ルールベース応対

13. © 2024 RightTouch Inc.　|　Confidential 正確性/持続的な運用のために : 改善PDCAを回しやすくするための精度評価 (=Eval)の自動化システム 
 1 3 • 現在のAIエージェントに対して、エンドユーザー の挙動を模した 「テストエージェント」 が仮想的な 会話を行い、定められた完了条件をクリアする かをバッチでテストするシステム。 
 
 • これにより、定量データに基づいた、エージェン ト設定の精度改善 PDCAが圧倒的に回しやすく なる

14. © 2024 RightTouch Inc.　|　Confidential 1 4 持続的な運用のために : 企業ナレッジ /過去応対データ (VoC)によるコンテキストを第一に考える 
 エージェントの精度
 モデルの性能
 指示のうまさ
 コンテキスト
 x
 x
 =
 良いモデルは広く使える 
 非常に重要だが、ここを顧客ごとにカスタマ イズ・改善していくのは 職人芸の領域 とな り、持続的でない 
 人も読める /管理できる企業ナレッジや、過去応対 からの示唆出しをプロダクトとして整備 し、コンテキ ストとして投入可能にすることで、 持続的に精度が 改善していくエージェントが実現可能 

15. © 2024 RightTouch Inc.　|　Confidential 1 5 ミッションクリティカル性の担保のために : 堅牢なインフラ構築とモニタリング 
 • 「LLMフォールバック」の仕組みの導入。 仮にデフォルトの LLMモデルが落ちて も、即座に代替の LLMモデルに切り替え て応対を継続 
 
 • 自動架電 /自動対話による電話の E2Eテ ストの導入。一定時間ごとに、ボイスボッ トに実際に架電を行い、正しくボットが応 答するかを外形監視 
 ボイスボットサー バ
 E2Eテスト
 サーバ
 一定時間ごとに自動架電、 
 結果をモニタリングシステムに連携 

16. © 2024 RightTouch Inc.　|　Confidential アジェンダ 
 1 6 会社紹介・プロダクト紹介 
 
 
 「大企業の顧客接点で持続的に運用できる」 AIプロダクトの難しさ 
 
 
 「動くもの」と「評価」中心に探索から運用まで行う AI機能開発プロセス 

17. © 2024 RightTouch Inc.　|　Confidential 1 7 開発プロセス : ディスカバリーからデリバリーまで、動くもの x 評価でコンテキストを揃える 
 顧客ニーズ探索
 設計・開発
 デリバリー
 営業資料のみ 
 仕様書のみ 
 設定して動作確認 
 営業資料 
 デモプロトタイプ 
 開発評価指標 
 設計プロトタイプ 
 feature flag付リリース 
 評価指標 
 自動テスト機能 
 開発プロセスの全体で、ドキュメントよりも動くものと評価指標をベースに顧客 /Biz/Devメンバーが 
 会話、エンジニアがフル参画し、高速で開発を進める 
 BizDev PdE AIE BizDev PdE AIE CS PdE AIE CS
18. © 2024 RightTouch Inc.　|　Confidential 1 8 なぜ動くものと Evalを重視するのか？ : 非機能要件の認識のズレを最小化する 
 顧客
 開発チーム
 デモ
 評価結果
 顧客・開発チーム間での 
 期待値のイメージすり合わせ 
 BizDev
 AI Engineer
 設計プロト
 評価結果
 チーム内での 
 精度目標ギャップの解消 
 そもそも LLMは出力が不安定。 
 特に音声エージェントは、 機能的な UI/UXの幅が限られている ため、
 精度・レイテンシ・自然な音声・安定性 といった非機能要件が論点の多くを占める場合が多い。 
 この場合、 実際の技術を反映した 動くものと評価指標を元に会話するのが一番ずれず、手戻りが少ない 

19. © 2024 RightTouch Inc.　|　Confidential 顧客ニーズ特定 : difyその他簡易プロトによるデモベースでの顧客ニーズ探索 
 1 9 • プロダクト初期段階の探索の例 
 
 • エンジニアが BizDevからのニーズ可能 性を元に difyによるプロトエージェントを 作成 
 
 • BizDevと一緒に顧客に当てる、を 1週間 スパンで繰り返し、バーニングニーズと、 非機能要件に対する顧客の期待値を探 る

20. © 2024 RightTouch Inc.　|　Confidential 開発: 定量的/定性的な精度評価を組み込んだエージェント設計と開発 
 2 0 • エージェント機能設計では、 bizdev/engineer が実顧客のデータを元に、 エージェントがクリア すべき精度の「テストケース」、付随するレイテン シ要件などを合意 
 
 • AI engineerが実プロトを作りつつ設計・チュー ニング、 内製の自動評価ツールで精度評価 
 
 • 完成次第、可能な限り早く feature flagで本番 リリース。 biz/devメンバー両方が参加する「ぽ ちぽち会」で実際に機能を触る会を繰り返し開 催、本番運用を見据えた定性的な評価によりブ ラッシュアップ 

21. © 2024 RightTouch Inc.　|　Confidential デリバリー : リリース後の定量的な評価 
 2 1 • 機能デリバリー後、顧客とカスタマーサクセス は、前述の 精度自動評価システム を使い、定量 データで精度を取得。 
 
 • 場合によってはエンジニアがこのテスト結果を参 照し、プロダクトそのものの改善を行う 

22. © 2024 RightTouch Inc.　|　Confidential チーム体制 : 専門性を持ちつつ、越境を是として補い合う少数精鋭チームによる開発 
 2 2 開発プロセス全般において、 高い顧客解像度 /技術解像度が同時に要求される。 
 そのため、各役割が職能に縛られず越境し合い、共通理解を持って開発を行っている。 
 BizDev/Success
 AI Engineer
 Product Engineer
 高い顧客解像度 
 高い技術解像度 
 • ビジネスモデル /戦 略設計
 • 機能/非機能要件の 定義
 • 顧客へのプロダクト 導入
 • アプリケーション開 発
 • 機能/非機能要件の 定義
 • AIアーキテクチャ設 計
 • 機能/非機能要件の 定義
 • LLMチューニング 

23. © 2024 RightTouch Inc.　|　Confidential まとめ
 2 3 • 音声AIエージェントを含む RightVoicebotを、大企業の顧客接点で継続的に運用する難しさと、 AI エージェント以外の部分でそこに取り組む施策の一部をご紹介 
 
 • 特に非機能要件が重要になる AIエージェント開発において有用な開発パターンとして、「動くもの」 (=プ ロトタイプ /実機能)と、「評価」 (=定性/定量の評価指標と計測 )でコンテキストを揃える例をご紹介 
 
 
 今後類似のプロダクト作りに取り組む方にとってご参考になれば幸いです