Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Webカスタマーサポート向けSaaSにおけるLLMの活用

RightTouch
December 18, 2023
980

 Webカスタマーサポート向けSaaSにおけるLLMの活用

LLMProd#3 Production目線で振り返る OpenAI DevDay (https://llm-in-production.connpass.com/event/303685/ ) でのRightTouchからの発表資料です。

RightTouch

December 18, 2023
Tweet

Transcript

  1.   |  © PLAID, Inc. 株式会社プレイド PLAID, Inc. 沿⾰ 4 About Company

    2011.1 創業 2015.3 KARTEの正式版を提供開始 2018.3 KARTE for Appを提供開始 2018.5 約27億円を調達 2019.11 Googleからの資⾦調達を発表 2020.12 東京証券取引所マザーズ(現東証グロース市場)に上場 2021.8 三井物産と新会社 株式会社ドットミーを設⽴ 2021.8 株式会社エモーションテックの過半数株式を取得し、 NPSなどサーベイ分野におけるサービス提供を本格化 2021.12 新会社 株式会社RightTouchを設⽴し カスタマーサポート領域に正式参⼊ 2022.1 アジト株式会社の過半数株式を取得し、 インターネット広告領域におけるサービスを拡充   |  © PLAID, Inc. 設⽴:2011年10⽉ 所在地:東京都中央区銀座6-10-1 GINZA SIX 10F 従業員(連結/単体):389/316⼈(2023年9⽉末時点)
  2. © RightTouch Inc. © RightTouch Inc. RightTouchについて
 沿革 
 2021年12月

    株式会社RightTouch設立
 2022年3月 次世代のコンタクトセンターを創ることに賛同いただいた
 お客様との実証実験を経て、KARTE RightSupport(β版)
 をリリース 2023年10月 Webサイトとコールセンターの分断をなくし、問い合わせ体験を抜 本から変革する新プロダクト「RightConnect by KARTE」β版を提 供開始
 2023年10月 RightSupport by KARTEの正式版をリリース
 
 主な導入企業様 設立:2021年12月
 従業員:22名(2023年8月1日現在)
 資本金:10,000,000円(資本準備金含む)

  3. © RightTouch Inc. 自己紹介
 齋藤成之 (twitter: @nakaakist)
 
 
 2020

    東京大学理学系研究科博士課程修了
 
 2020-2021 日立製作所
 
 2021-現在 株式会社プレイド/株式会社RightTouch
 
 
 レーザー物理で博士号取得後、日立製作所でITプラットフォームの設計・ 開発に従事。
 
 その後、プレイド/RightTouchで、テックリード、フルスタックエンジニアと して、アプリケーション開発に従事。
 
 LLM活用機能の設計・実装も担当
 
 好きなもの: 旬
 
 
 
 

  4. - © RightTouch Inc. © RightTouch Inc. - 7 次世代カスタマーサポート基盤|RightSupport

    by KARTE
 サイトに来ているお客様を可視化し 最適なカスタマーサポートを
 可能にするサービス
  5. © RightTouch Inc. © RightTouch Inc. 8 © RightTouch Inc.

    RightSupport by KARTEの概要
 顧客行動を正確に計測し、 各ページで問い合わせに至るまでのつまずきを把握 Webサイトを拡張し、
 つまずきに即したFAQ/チャネルを提示 Webサイト全体を俯瞰して
 どこでどんなつまずきが起きているかを
 可視化 問い合わせに至るまでのカスタマーの迷いやつまずきを捉え、 エフォートレスなWebサポートを実現 <サポートウィジェット> <レポート/ダッシュボード> <n1のつまずき行動取得 /KARTE Live> 問い合わせ前のつまずきの把握 つまずきに合わせた先回りサポート
  6. © RightTouch Inc. © RightTouch Inc. 1 0 © RightTouch

    Inc. プロダクトの課題
 顧客行動を正確に計測し、 各ページで問い合わせに至るまでのつまずきを把握 Webサイトを拡張し、
 つまずきに即したFAQ/チャネルを提示 Webサイト全体を俯瞰して
 どこでどんなつまずきが起きているかを
 可視化 レポートデータからサポート施策を出すまでに、一定の仮説立て、思考が必要
 Webサイト分析に馴染みのないクライアントも多く、ここで詰まってしまうケースが多い。
 <サポートウィジェット> <レポート/ダッシュボード> <n1のつまずき行動取得 /KARTE Live> 問い合わせ前のつまずきの把握 つまずきに合わせた先回りサポート ここが難しい

  7. © RightTouch Inc. © RightTouch Inc. 1 1 © RightTouch

    Inc. プロダクトの課題
 顧客行動を正確に計測し、 各ページで問い合わせに至るまでのつまずきを把握 Webサイトを拡張し、
 つまずきに即したFAQ/チャネルを提示 Webサイト全体を俯瞰して
 どこでどんなつまずきが起きているかを
 可視化 レポートデータからサポート施策を出すまでに、一定の仮説立て、思考が必要
 Webサイト分析に馴染みのないクライアントも多く、ここで詰まってしまうケースが多い。
 → データから自動で施策の「叩き台」を作り、始めの一歩をアシストする
 <サポートウィジェット> <レポート/ダッシュボード> <n1のつまずき行動取得 /KARTE Live> 問い合わせ前のつまずきの把握 つまずきに合わせた先回りサポート LLMで半自動化

  8. © RightTouch Inc. © RightTouch Inc. 1 2 © RightTouch

    Inc. 機能デモ: サポートシナリオの自動生成

  9. © RightTouch Inc. © RightTouch Inc. 1 3 裏側の仕組み
 工夫した点


    • LLMへの入力:「レポート数値の羅列」ではなく、「シナリオに入れるべきFAQ一覧」という具体情報をルールベースで抽 出
 • LLMに行わせるタスクは分割し、並列実行することで速度と安定性を向上
 • 利用フローに人間の確認ステップを設け、あまりにおかしいアウトプットを抑制

  10. © RightTouch Inc. © RightTouch Inc. 1 4 © RightTouch

    Inc. LLM機能をリリースしてみて
 • クライアントの声
 ◦ 0からシナリオを作る時間がかなり短縮された
 ◦ コールセンターのオペレータもシナリオ作成できるようになった
 
 • ML・AIエンジニアが社内にいなくても、企画からリリースまで短期間で実装できた
 ◦ 曖昧な入出力をカジュアルにシステムに組み込めるのはでかい
 
 • LLMの向き不向き(e.g., 100%の正確性は無理)を考慮したユースケースの見極めが難しい
 ▪ 今回の場合、施策作成の始めの一歩に課題がありそうなことがビジネスメンバーへのヒアリングでわかった
 
 • SaaSとして、様々なクライアントのデータに対し、安定したアウトプットを出させるのに苦労した
 ◦ 雑にデータを与えて「いい感じにシナリオにしてください」はうまく行かなかった
 ◦ 今後ここはLLMの進化でどんどん改善していきそう。逆に過去の工夫がすぐ陳腐化する
 

  11. © RightTouch Inc. © RightTouch Inc. 1 6 © RightTouch

    Inc. 今後 (OpenAI DevDayを受けて)
 • 画像・動画データの活用 (=マルチモーダル)
 ◦ 例えば、エンドユーザーのweb行動を動画にとって、そのままLLMにユーザーの困りごとを分析させる
 
 • 大量データの分析 (=コスト/レイテンシの低下、トークン数上限の増加)
 ◦ 問い合わせデータ、webでの行動履歴などを大量に食わせる
 
 • エンドユーザー接点
 ◦ 電話、チャット、フォームなど、エンドユーザー接点で直接LLMを使う
 ◦ ハルシネーションを抑える工夫をしつつ
 
 LLMの進化が激しく、やりたいことはどんどん増えるが開発リソースが全然足りない