Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize r...

ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize rapid and correct customer support with ML

Customer Support Tech Meetup #1 (2020/03/25)

Mitsunobu Homma

March 25, 2020
Tweet

More Decks by Mitsunobu Homma

Other Decks in Technology

Transcript

  1. (C) mixi, Inc. Customer Support Tech Meetup #1 2020年3月25日 株式会社ミクシィ

    本間 光宣 ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する
  2. (C) mixi, Inc. ◦ 本間 光宣(@_mitsu9) ◦ 2018年新卒入社 ◦ 2018年4月〜:CRE

    ◦ CSが利用する各種ツールの開発・運用 ◦ 機械学習を用いたCSの業務効率化 2 自己紹介
  3. (C) mixi, Inc. ◦ テンプレ対応するような問い合わせは返信時間が満足度に直結する ◦ テンプレ対応における課題 ◦ テンプレを探すことに時間がかかる ◦

    異なるテンプレートを選択してしまい対応を間違えることがある ◦ 技術の力で何とかできたりしないだろうか?というところからプロジェクトが開始! ◦ チームでは初の機械学習を用いたプロジェクト 5 テンプレ対応効率化の取り組みについて 問い合わせ一覧を見る 問い合わせを選ぶ 対応するテンプレを探す テンプレ返信をする 問い合わせ対応の基本的な流れ
  4. (C) mixi, Inc. 6 テンプレ対応効率化システムを用いたオペレーションの流れ テンプレ推薦ありの 問い合わせ一覧 CSが推薦された テンプレで返信 して良いか判断

    テンプレ推薦無しの 問い合わせ一覧 システムが テンプレで返信 OK NG AIが問い合わせに 対してテンプレを推 薦する システムが対応する箇所 CSが対応する箇所 従来通りに対応 AIは問い合わせに対して 「テンプレA, テンプレB, … or 該当なし」から該当 するラベルを付与する 問い合わせ入信 該当あり 該当なし
  5. (C) mixi, Inc. ◦ 内部的には問い合わせ文に対してとあるテンプレートで返信できるか どうかを判定する二値分類器を複数作成 8 AIシステムの概要 テンプレAで返信できるかど うかを判定する分類器

    テンプレBで返信できるかど うかを判定する分類器 返信できない 返信できる AIシステム 問い合わせ文 「XXXXX」に 適切なテンプレは 何? テンプレB!
  6. (C) mixi, Inc. 9 AIシステムの構成 SageMaker Endpoint Zendesk CodeBuild (定期実行)

    定期更新 推論リクエスト 推論・組み込み SageMaker Training Job S3 モデル取得 Zendesk 分析 学習 S3 インポート 取得 Athena S3 学習用データ 生データ 加工済みデータ 取得 保存 学習済みモデル ◦ システムは3つのコンポーネントから構成される 第10回Amazon SageMaker事例祭り(https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-fes-10/)で詳しく話しましたのでこちらも参考にどうぞ
  7. (C) mixi, Inc. 13 システム構築の中で発生した問題 学習用のデータ作成に時間が かかるので精度改善がなかな か進まない・・ AIを作ってみたけど精度が 低いためこれでは使えない

    ・・ いざ実際に動かすと問い 合わせ件数が思ったより 少ない・・ 作成していた時よりもAIの 正解率が低いな・・ 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに 組み込む 実運用
  8. (C) mixi, Inc. 16 効率化の対象を決定するステップ テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する •

    今の問い合わせ数だけでなく、継続して入信す る問い合わせを選ぶと長い目で見た時に 効果が高い • CSの知識・経験・肌感が必要な領域 • AIを作成しやすい問い合わせを対象とすること でAI作成をスムーズに進めることができる • エンジニアの技術・分析が必要な領域 ◦ 効率化の対象を選ぶ時のポイント ◦ 長期的に見て効果が高い x AIを作成することができる
  9. (C) mixi, Inc. 17 テンプレ対応効率化の効果が高い対象の探し方 過去の問い合わせを100件〜200件 ランダムに抽出する 件数が多い & テンプレ対応している

    問い合わせを候補に選ぶ 候補の問い合わせが今後も継続的 に入信する問い合わせか確認する テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する ◦ まずは長期的に見て効果の高い問い合わせを探す
  10. (C) mixi, Inc. ◦ 問い合わせの傾向の変化を考慮し、継続的に入信する問い合わせを選択す る 19 継続的に入信する問い合わせを選択する 効率化の対象に向いている 効率化の対象に向いていない

    ◦ サービスのコア機能に関する 問い合わせ ◦ FAQを読んでも自力解決が 難しい問い合わせ ◦ 一時的なキャンペーン関連の 問い合わせ ◦ FAQやサービスの改善によって 解決する問い合わせ
  11. (C) mixi, Inc. 20 AIを作成することが可能かどうかを確認する 複数人で分類をおこなった時に 回答が一致するかどうか クラスタリング・可視化をおこない 機械が分類できそうかどうか そもそも機械学習を使う必要が

    あるのかどうか ◦ 効果が高い候補が決まれば次にAIを作成可能かどうかを確認 テンプレ対応効率化の効果が 高い問い合わせを候補とする AIを作成することが可能か どうかを考え対象を決定する
  12. (C) mixi, Inc. ◦ 複数人で分類をおこない回答が一致するかどうかを調べる ◦ 回答が異なるとAIは誰を信じれば良いのかわからない ◦ 一致しない時はなぜその判断をしたのかを話し合い基準を擦り合わせる 21

    人が分類できるかを調べる Q: 問い合わせ「XXXXX」はテンプレAで返信して良い? 基本的には良いけど 最後の文章をちょっと 変えたいな・・ ちょっと変えたい ところはあるけど これで返信しても 大丈夫!
  13. (C) mixi, Inc. 24 システム構築の中で発生した問題 学習用のデータ作成に時間が かかるので精度改善がなかな か進まない・・ AIを作ってみたけど精度が 低いためこれでは使えない

    ・・ いざ実際に動かすと問い 合わせ件数が思ったより 少ない・・ 作成していた時よりもAIの 正解率が低いな・・ 問い合わせ分析 効率化の対象を 決定する AIを作成する オペレーションに 組み込む 実運用
  14. (C) mixi, Inc. 25 システム構築の中で得られた学び ◦ これらの問題は丁寧に対象を決定することでほとんど解決する 問い合わせ分析 効率化の対象を 決定する

    AIを作成する オペレーションに 組み込む 実運用 「長期的に見て効果が高い x AIを作成できる対象」を選択する!