いかにしてIVRyのエンジニアは電話の未来を創造しているか

2025/07/08に開催された「顧客価値をドライブするエンジニアリングとは ── 事業開発×エンジニアリングの最前線」に、IVRyの町田が登壇しました。

■リンク集
・コーポレートサイト：https://ivry.jp/company/
・採用ページ：https://ivry-jp.notion.site/
・イベント一覧：https://ivry.connpass.com/event/
・IVRy Tech（Xアカウント）：https://x.com/IVRy_tech

Transcript

1. いかにして IVRyのエンジニアは 
 電話の未来を創造しているか 
 IVRy 町田

2. confidencial ⾃⼰紹介 ▪ 学⽣時代: 京都⼤学･⼤学院  ⾃然⾔語処理を学ぶ ▪ 2015年: 株式会社リクルートホールディングス  アプリ･Webのディレクター、データ分析等 ▪ 2019年: エクサウィザーズ  NLPエンジニア、チームリード、エンジニアリングマネージャー ▪ 2022年: IVRy  Point: 休⽇はボルダリングしかしていません 町⽥ 雄⼀郎 VP of AIE
3. 対話型電話AI SaaS IVRy 対話型電話AI SaaS IVRy(アイブリー)は、 ⽉額3,000円からカスタム電話をカンタンに作成できるサービス。 全ての電話業務を誰でもすぐにAIを使って効率化できます
4. confidential 累計5000万着電に⾃動応答しています
5. confidential IVRyのMission 最⾼の技術を、すべての⼈と企業に届ける →どのような仕組みで実現しているか？
6. confidential Mission実現のための開発体制 - Project制の採⽤ - ユーザーインタビューへの積極的な参加 - Slackでのオープンなコミュニケーション - Whyからの関与 - Feature Flag - Coding Agentによる開発⽣産性の向上 - 信頼できる対話体験の確⽴
7. confidential Project制の採⽤ - 3ヶ⽉に1回 Projectが⾒直される - Projectのフェーズに応じた⽬的‧⼈員構成 - フェーズに応じた⾼速な仮説検証 技術検証 PJ PoC PJ PMF PJ
8. confidential Mission実現のための開発体制 - Project制の採⽤ - ユーザーインタビューへの積極的な参加 - Slackでのオープンなコミュニケーション - Whyからの関与 - Feature Flag - Coding Agentによる開発⽣産性の向上 - 信頼できる対話体験の確⽴ 少しだけ技術的な話
9. confidential 信頼できる対話体験のために: 対話の評価技術 ユーザー体験の向上のためには⾼速な仮説検証が必要 ↓ 「本当によくなったのか？」を⽰す指標が必要 → IVRyでは様々な客観指標で⾃動評価している
10. confidential 対話の評価技術: オフライン評価 IVRyのAIはworkflow的に複数のモジュールからできている。 それらのモジュールについては評価データによって外部評価を常に実⾏している。 なんとなく良くなったではなく客観的に評価することが⼤事
11. confidential 対話の評価技術: オフライン評価 例: 以前のモデルではFew-Shotデータを与えることで性能を向上させることができていたが 最新のモデルではむしろ悪影響となるケースがある
12. confidential 対話の評価技術: 完了率評価 実際の対話がうまくいったかどうかは、例えば最後のタスクが成功したかどうか(Task Completed Ratio)で⽐較することもできるが、対話全体をLLMに評価させることもで きる(LLM as a judge) 様々なユースケースでの完了率のモニタリング figure
13. confidential 対話の評価技術: End2Endの対話テスト 電話アプリケーションQAではWebとは異なり、実際に電話しなければならない。 IVRyではテスト⽤のペルソナを与えたLLMに実際に電話をかけさせ、完全 End-to-Endの対話QAシステムを作成中している。 XXXです 080... お名前は？ 電話番号は？
14. confidential