Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

GPT 回答精度を上げるアプローチ

GPT 回答精度を上げるアプローチ

SoftBank Tech Night

July 28, 2023
Tweet

More Decks by SoftBank Tech Night

Other Decks in Technology

Transcript

  1. IVR と GPT 3 今月の料金 は? 今月の料金は ・・・ 1 -

    1 今月の料金は ・・・ IVR(自動音声応答)に「自然言語」を導入したい →GPTを使えば簡単に出来るのではないか? DTMF 自然言語 GPT
  2. お題設定 #お題 自然言語で問い合わせ可能なIVRを ChatGPTで組み立てる ・右図のフローを想定 ・契約者情報を必要とする問い合わせは  直接回答を生成 ・契約者情報を必要としないよくある  お問合せはFAQの内容を検索して回答 ・今回は本人確認を考慮しない

    オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI 照会 or 手続き AI ナレッジ検索 クロージング or 4 お電話ありがとうございます。 〇〇モバイルサポートセンターです。 お問い合わせ内容をお話しください 例:今月の料金はいくらですか? 今月の請求料金について、ですね お客さまの 7月 ご請求金額は 税込3,585 円 になります。 他に何かご不明な点はございません でしょうか? お電話ありがとうございました。
  3. 復唱 Few-Shotプロンプティング 7 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI

    照会 or 手続き AI ナレッジ検索 クロージング or 7 回答例を追加 (few shot) 不要な表現が 削除された
  4. 契約者情報利用判定 Zero-Shotプロンプティング ん・・・? 8 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定

    AI 照会 or 手続き AI ナレッジ検索 クロージング or 8 問い合わせ内容を回答するために、 お客様の契約情報を確認せず回答が必要かGPTで判定
  5. 契約者情報利用判定 Zero-Shot CoT 9 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定

    AI 照会 or 手続き AI ナレッジ検索 クロージング or 9 「ステップバイステップで考えてみよう」 を追加 (Zero-Shot CoT) 未払金の残額を確認したい なので 「いいえ=契約者情報が必要」は正しい
  6. AI 料金案内 10 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI

    照会 or 手続き AI ナレッジ検索 クロージング or 10 ん・・・? 契約者情報は質問内容によらず まとめて渡したい
  7. AI 料金案内 11 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI

    照会 or 手続き AI ナレッジ検索 クロージング or 11 回答例を追加 (few shot) 不要な表現が 削除された
  8. AI 料金案内 応用 12 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI

    照会 or 手続き AI ナレッジ検索 クロージング or 12 お問合せ月を7月に設定 6月(=先月)の料金を質問 ん・・・? 今月と先月の請求料金を設定
  9. AI 料金案内 応用 13 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI

    照会 or 手続き AI ナレッジ検索 クロージング or 13 「お問合せの月が先月か今月かを判断 して」のフレーズを追加 先月=6月 請求金額 2,700円 なので正しく判断出来ている
  10. AI ナレッジ検索 Embeddings API 14 オープニングトーク お客さま 質問発話 AI 復唱

    契約者情報利用判定 AI 照会 or 手続き AI ナレッジ検索 クロージング or 14 ① FAQの内容を元にQ & Aをベクトル化 ② 質問内容をベクトル化 ③ 質問内容に近しいFAQを検索→回答内容を生成
  11. さいごに • Zero-Shotプロンプティングでは余計な回答を生成する事がある →EU向けなど、回答フォーマットを揃えたい場合は  Few-Shotプロンプティングが効果的 • 「当月は何月か?」、や「この問い合わせに契約情報は不要か?」など 常識や推論で判断するタスクにはCoTが効果的 (但し、推論する分だけ実行時間が伸びます) •

    GPTを使ったサービスを考える上で、事前に想定されうる質問文を生成する 方法はお勧めしたい ※初期設計段階での考慮漏れ防止になります • ナレッジをEmbeddings APIで検索する手法は事前に思ったよりも効果が薄く感じた WebコンテンツのFAQは会員サイトへの誘導が多いため →GPTでの活用を前提として、FAQやナレッジサイトの再整備が必要? 15