Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
GPT 回答精度を上げるアプローチ
Search
SoftBank Tech Night
July 28, 2023
Technology
8.6k
5
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
GPT 回答精度を上げるアプローチ
SoftBank Tech Night
July 28, 2023
Transcript
16 slides
GPT 回答精度を上げるアプローチ 202307Tech Night #12 2023.07.28
自己紹介 #氏名 大石 雄介 #プロフィール 2013年 ソフトバンク中途入社 入社当時はIVR(自動音声応答)システムの 開発を担当していました 直近では社内の開発業務改善にGPTを活用する 取り組みに参画しています
2
IVR と GPT 3 今月の料金 は? 今月の料金は ・・・ 1 -
1 今月の料金は ・・・ IVR(自動音声応答)に「自然言語」を導入したい →GPTを使えば簡単に出来るのではないか? DTMF 自然言語 GPT
お題設定 #お題 自然言語で問い合わせ可能なIVRを ChatGPTで組み立てる ・右図のフローを想定 ・契約者情報を必要とする問い合わせは 直接回答を生成 ・契約者情報を必要としないよくある お問合せはFAQの内容を検索して回答 ・今回は本人確認を考慮しない
オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI 照会 or 手続き AI ナレッジ検索 クロージング or 4 お電話ありがとうございます。 〇〇モバイルサポートセンターです。 お問い合わせ内容をお話しください 例:今月の料金はいくらですか? 今月の請求料金について、ですね お客さまの 7月 ご請求金額は 税込3,585 円 になります。 他に何かご不明な点はございません でしょうか? お電話ありがとうございました。
始める前に:問い合わせ文の生成 あなたは携帯電話の契約者です。 以下の<制約条件>、<希望オペレーション>のうちいずれか一つを含む質問を生成してください。 表形式にまとめてください。 表の項目に料金に関係するものとしないものをわかるように出力してください <希望オペレーション> 料金照会、料金プラン変更、未払金照会、未払金支払、有人対応、その他 <制約条件> ・20%は料金に関係のない質問文を作成してください ・質問文を30個生成してください。
・質問文は話し言葉で生成してください。 ・質問文にフィラーを含めてください。 ・今月の料金または先月の料金を確認する質問を1つ 以上生成してください。 5 Chat GPTを使って、お客様の問い合わせ文を自動生成
復唱 Zero-Shotプロンプティング ん・・・? 6 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定
AI 照会 or 手続き AI ナレッジ検索 クロージング or 6
復唱 Few-Shotプロンプティング 7 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI
照会 or 手続き AI ナレッジ検索 クロージング or 7 回答例を追加 (few shot) 不要な表現が 削除された
契約者情報利用判定 Zero-Shotプロンプティング ん・・・? 8 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定
AI 照会 or 手続き AI ナレッジ検索 クロージング or 8 問い合わせ内容を回答するために、 お客様の契約情報を確認せず回答が必要かGPTで判定
契約者情報利用判定 Zero-Shot CoT 9 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定
AI 照会 or 手続き AI ナレッジ検索 クロージング or 9 「ステップバイステップで考えてみよう」 を追加 (Zero-Shot CoT) 未払金の残額を確認したい なので 「いいえ=契約者情報が必要」は正しい
AI 料金案内 10 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI
照会 or 手続き AI ナレッジ検索 クロージング or 10 ん・・・? 契約者情報は質問内容によらず まとめて渡したい
AI 料金案内 11 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI
照会 or 手続き AI ナレッジ検索 クロージング or 11 回答例を追加 (few shot) 不要な表現が 削除された
AI 料金案内 応用 12 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI
照会 or 手続き AI ナレッジ検索 クロージング or 12 お問合せ月を7月に設定 6月(=先月)の料金を質問 ん・・・? 今月と先月の請求料金を設定
AI 料金案内 応用 13 オープニングトーク お客さま 質問発話 AI 復唱 契約者情報利用判定 AI
照会 or 手続き AI ナレッジ検索 クロージング or 13 「お問合せの月が先月か今月かを判断 して」のフレーズを追加 先月=6月 請求金額 2,700円 なので正しく判断出来ている
AI ナレッジ検索 Embeddings API 14 オープニングトーク お客さま 質問発話 AI 復唱
契約者情報利用判定 AI 照会 or 手続き AI ナレッジ検索 クロージング or 14 ① FAQの内容を元にQ & Aをベクトル化 ② 質問内容をベクトル化 ③ 質問内容に近しいFAQを検索→回答内容を生成
さいごに • Zero-Shotプロンプティングでは余計な回答を生成する事がある →EU向けなど、回答フォーマットを揃えたい場合は Few-Shotプロンプティングが効果的 • 「当月は何月か?」、や「この問い合わせに契約情報は不要か?」など 常識や推論で判断するタスクにはCoTが効果的 (但し、推論する分だけ実行時間が伸びます) •
GPTを使ったサービスを考える上で、事前に想定されうる質問文を生成する 方法はお勧めしたい ※初期設計段階での考慮漏れ防止になります • ナレッジをEmbeddings APIで検索する手法は事前に思ったよりも効果が薄く感じた WebコンテンツのFAQは会員サイトへの誘導が多いため →GPTでの活用を前提として、FAQやナレッジサイトの再整備が必要? 15
EoD 16
More Decks by SoftBank Tech Night
See All by SoftBank Tech Night
検索品質がRAGを決める
sbtechnight
0
69
ソフトバンク流!プラットフォームエンジニアリング実現へのアプローチ
sbtechnight
1
800
"作る"から"使われる"へ:Backstage 活用の現在地
sbtechnight
0
860
AIファーストを前提とした開発スタイルの変化
sbtechnight
0
550
ソフトバンクのネットワーク基盤を支えるSRv6 のこれまでとこれから
sbtechnight
0
1.4k
生成AI と Microsoft Power Apps を活用したとにかく早く PoC を回す環境の検討
sbtechnight
1
1.6k
生成AI離れを防ぐ、組織定着化のヒント
sbtechnight
11
7.9k
Blockchain/Web3 Walletの技術動向について
sbtechnight
0
1k
GPT3.5以降に性能がアップした理由に関する理論ほか
sbtechnight
3
2.3k
Other Decks in Technology
See All in Technology
20261113_JAWS_Osaka
takuyay0ne
1
600
cdkdがどんだけ早いか、実際に動かして見てみよう
smt7174
1
140
Platform Engineering をベースとした Agentic Software Factory の実践
110y
1
430
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
2
1.7k
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
260
人の努力に頼らないセキュリティをエンジニアリングする在り方 / An approach to engineering security that does not rely on human effort
carta_engineering
0
230
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
440
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
250
おうち環境でも「なるべく止めたくない!」 ― おうち環境の機器冗長化の理想と現実
yuutosi
1
620
みん強Lightning! データ基盤ひとりでできるかな
endonanana
0
120
AIで実装が加速したのに、 なぜ私は仕事の大半で人と話し続けていたのか?
say_no_w
0
200
Taking back control of your AI development
inesmontani
PRO
0
300
Featured
See All Featured
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k
Writing Fast Ruby
sferik
630
63k
Navigating Algorithm Shifts & AI Overviews - #SMXNext
aleyda
1
1.7k
Java REST API Framework Comparison - PWX 2021
mraible
34
9.8k
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
2
400
技術選定の審美眼(2025年版) / Understanding the Spiral of Technologies 2025 edition
twada
PRO
121
130k
HDC tutorial
michielstock
2
1k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.9k
Fashionably flexible responsive web design (full day workshop)
malarkey
409
67k
Introduction to Domain-Driven Design and Collaborative software design
baasie
1
1.1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
128
56k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
11
1.1k