Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Try to make a call center ver3

SatakeYusuke
May 22, 2024
3.4k

Try to make a call center ver3

OnYourDataの使用で独自データも扱えるコールセンターができたと思いきや、コストメリットが足りず、再検討へ。 今度はRAGアーキテクチャ×GPT-4oを使って再チャレンジ!

SatakeYusuke

May 22, 2024
Tweet

Transcript

  1. @fe_js_engineer satyus 佐⽵祐亮 / Yusuke Satake 株式会社エーピーコミュニケーションズ Experience • 株式会社エーピーコミュニケーションズ

    • 学習塾経営 • プログラミングスクール経営 • PoC部運営 Expertise ž 学習塾経営 ž プログラミングスクール経営 ž プリセールス
  2. Agenda ž ご報告 ž 本⽇の概要 ž 前回までのおさらい ž 今回チャレンジしたこと ž

    使⽤するアーキテクチャ ž 前回のアーキテクチャ ž 今回のアーキテクチャ ž DEMO ž 最後に
  3. TeamTopologies Trainingが⽇本初開催 ž 7/9 10:00〜18:00でPlatform Engineering kaigi 2024が開催 ž 7/10-7/11

    Manuel Pais⽒によるTeam Topologiesトレーニングが開催 ž https://www.cnia.io/pek2024/
  4. 本⽇の概要 ž Azure Communication ServiceとAzure OpenAI Serviceを使ってコールセンター を作ってみました。 今回のメインテーマとしては、RAGアーキテクチャを⽤いて実装し、コストカットに 挑もうと思います!

    ž OpenAIが⾃動応答するコールセンターを作ってみよう📲 https://zenn.dev/yusu29/articles/azure_callautomation ž Azure Communication Serviceで電話番号を取得しよう https://zenn.dev/yusu29/articles/azure_callautomation
  5. 学習塾導⼊に向けての会議にて出た懸念事項① パフォーマンスの観点 ž speechToText→データソースへの検索とOpenAIでの回答⽣成→TextToSpeechを実施するので、応答までに 時間が多少かかる。 ž On Your Dataを使った電話での質問→回答までの時間が平均して17秒~22秒程度。 ž

    果たして、⼤阪のお姉さん(おばちゃん)が22秒も回答を待てるのか? 経営者としての佐⽵:「待てるわけない。やめとこ。」 技術者としての佐⽵:「待てるわけない。時間短縮せねば。」
  6. 学習塾導⼊に向けての会議にて出た懸念事項② コストの観点 ž コスト⾯はAzure Communication Service周りは⽉1,000円程度で、On Your Dataを導⼊する為、AI SearchはBasic以上を設定する必要があり、それは⽉14,000円程度。 なので運⽤費は15,000円/⽉。

    現状把握 ž ⽉架電される電話数は20件 ž 1回あたり6分程度 ž ⽉間トータルの電話にかかる時間は2時間程度 ž 講師の時給3,000円 ž ということは、電話にかける時間は6,000円/⽉ 経営者としての佐⽵:「⾚字なんはいかんな。ほな、⾃動化せんでええな。」 技術者としての佐⽵:「⾚字なんはいかんな。どっかええ感じに削ったれ。」
  7. 懸念事項をまとめると… パフォーマンスの観点 ž よくある質問をプロンプトに組み込み、いい感じに応答速度を向上出来ないか? ž GPT-4oはなんだか処理速度が速いらしい。(MS Build情報) なんだかいけそうな気がしてきたので、とりあえずGo!! コストの観点 ž

    On Your Dataを導⼊する為、AI SearchはBasic以上を設定する必要があり、それが⽉14,000円程度かかる ので、そこをFreeにすればお安く済むのでは? Freeにすると、On Your Dataは使えないので、RAGアーキテクチャを⽤いて⾃分で実装すれば良いのでは?
  8. ReActとは? 1. ⼈からの質問 2. Azure OpenAIへ質問を送る 3. OpenAIだけで回答を出すのが難しい 場合、Bing Searchを⽤いて検索を

    ⾏い情報を得る 4. Bing Searchから得た情報も含めて OpenAIへ送り、回答の要約を作成 5. ⼈へ回答を返す ž 実際に図にしてみると以下のイメージ。 思考(推論)と⾏動 を⾏っていることがわかります。
  9. パフォーマンス向上・コストカット結果 パフォーマンスの観点 ž AI SearchのFree版でも、RAGアーキテクチャをLangChain.jsで実装することで独⾃データに対応した返答が出 来ることを確認でき、GPT-4oでは⽇本語の正確性に加え、応答速度が向上していることが確認出来た。 ž ⽋席のデモ ž GPT-4-32k→19s

    ž GPT-4o→9s ž 体感ではコールセンターで½の時間短縮が出来ている! コストの観点 ž Azure AI SearchがFree版へ変更した為、14,000円→0円に変更することができた。これでコールセンターは⽉ 額2,000円程度で運⽤出来ることとなる。 経営者の観点 ž ⽉2,000円であれば、お客様満⾜度を計測する効果測定⽬的でも導⼊してみても良いのではと検討中
  10. 最後に いかがだったでしょうか。 ž スモールビジネスやスタートアップビジネスには、制限が多く、何か新しいことを始 めるにはスモールスタートで始めることが多いです。 ž そんな中でも、AI Searchの価格プランを⼯夫すれば、スモールにAI施策が導⼊ 出来ることがわかりました。 ž

    最後に、学習塾を経営しておりますが、教育事業やスモールビジネスにもまだま だAzureが⼊り込む余地があると考えています。 何か⾯⽩い施策があれば、これからも続けていこうと思います!