Upgrade to Pro — share decks privately, control downloads, hide ads and more …

人の仕事、機械の仕事。エンジニアによるカスタマーサポート改善 / The improvemen...

人の仕事、機械の仕事。エンジニアによるカスタマーサポート改善 / The improvements of Customer Support by Customer Reliability Engineer

Developers Summit 2020 Summer (2020/07/21)

Mitsunobu Homma

July 21, 2020
Tweet

More Decks by Mitsunobu Homma

Other Decks in Technology

Transcript

  1. (C) mixi, Inc. Developers Summit 2020 Summer 2020年7月21日 株式会社ミクシィ 統括管理本部

    CS部 CREグループ 本間 光宣 人の仕事、機械の仕事。 エンジニアによるカスタマーサポート改善 #devsumiC C-6
  2. (C) mixi, Inc. #devsumiC ◦ 本間 光宣(@_mitsu9) ◦ 株式会社ミクシィ・CRE ◦

    2018年新卒入社 ◦ CSが利用する各種ツールの開発・運用 ◦ 新規サービスリリースに伴うCS環境の構築 ◦ 機械学習を用いたCSの業務効率化 3 自己紹介
  3. (C) mixi, Inc. #devsumiC Customer Reliability Engineer ◦ Googleが2016年に提唱した職種 ◦

    顧客信頼の最大化を目的としたエンジニア ミクシィCREはCS専属のエンジニア ◦ CSの業務に必要なシステムの開発・運用 ◦ 問い合わせ調査 ◦ 問い合わせ起因のプロダクト開発(バグ修正など) ◦ より良いCSを作るためにCSの問題分析やシステム開発 4 CREとは 「CREチームを設立しました!」 https://career.xflag.com/report/engineer/cre/
  4. (C) mixi, Inc. #devsumiC 問い合わせ例 ◦ 仕様についての質問 ◦ 操作がわからない・エラーになる等問題の解決方法について ◦

    機種変更時のデータ移行に関する問い合わせ ◦ クリアできないなど不満をぶつける問い合わせ 問い合わせの分類 ◦ 必要な情報を取得するための問い合わせ ◦ 感情を伝えるための問い合わせ 6 ゲームの問い合わせ
  5. (C) mixi, Inc. #devsumiC 必要な情報を取得するための問い合わせ ◦ 内容: 問題発生時にどうすれば良いのかを聞く等 ◦ 期待:

    正しい情報を素早く返信されること ◦ 対応: テンプレートをベースにユーザーに合わせて微調整 →機械を活用することで効率的・効果的に対応できる問い合わせ 7 基本的な問い合わせ対応方針
  6. (C) mixi, Inc. #devsumiC 感情を伝えるための問い合わせ ◦ 内容: 喜び・怒り・悲しみなどの感情を伝える ◦ 期待:

    話をきちんと聞いてくれること ◦ 対応: テンプレートは使わず1から作文を行う →人にしか対応できない問い合わせ 8 基本的な問い合わせ対応方針
  7. (C) mixi, Inc. #devsumiC CSのクリエイティビティを最大化する ◦ 必要な情報を取得するための問い合わせ ◦ システムによって効率化できるプロセスを効率化 ◦

    感情を伝えるための問い合わせ ◦ 人にしかできない対応をサポートするシステムを作る ◦ ユーザーのことをより深く理解するための管理ツール作り ◦ 暗黙知になりやすいCSのナレッジをデジタル化する ◦ 類似ユーザー・類似案件の分析を通してナレッジを活用する 9 ミクシィCREのミッション
  8. (C) mixi, Inc. #devsumiC CSの抱える課題 ◦ 大量のテンプレを中から適切なテンプレを検索することに時間がかかる ◦ テンプレは1000件以上存在する 今日話すこと

    ◦ 構築したシステムの概要 ◦ 施策を進めるにあたっての課題と対応 今日話さないこと ◦ 機械学習のモデルの詳細 12 機械学習を活用してテンプレ対応を効率化した事例
  9. (C) mixi, Inc. #devsumiC ◦ チームに機械学習のナレッジがない ◦ 過去に機械学習を利用したことがない ◦ 問い合わせデータは大量にあるが活用できる形ではない

    ◦ CRMに全て保管されている状態 ◦ CS・CREのリソースをあまり割けない ◦ CSは既存業務で手一杯 ◦ CREもそれぞれの施策を進めている 13 施策開始時のチーム状況
  10. (C) mixi, Inc. #devsumiC ◦ 新規問い合わせに対してシステムがテンプレを推薦 ◦ CSスタッフは推薦結果を確認し正解であればシステムで返信 ◦ テンプレを検索する時間とテンプレで返信する時間を効率化

    15 テンプレ対応効率化施策の概要 新規問い合わせ テンプレ推薦 システムが返信 通常対応 (テンプレ検索→返信) 正解 不正解 CSスタッフ システム ユーザー
  11. (C) mixi, Inc. #devsumiC AWSを用いてシステムを構築 16 テンプレ推薦システムの構成 問い合わせデータ 学習済みモデル S3

    CodeBuild SageMaker データ分析 学習の実行 推論エンドポイントの構築 テンプレ推薦 CSスタッフがOKを選択した 問い合わせへの返信 CRM 更新・返信 CloudWatch Event 推論リクエスト 定期実行 CRM モデルの学習 推論・CRMとの繋ぎこみ 過去の問い合わせを インポート
  12. (C) mixi, Inc. #devsumiC シンプルな構成で作るものを減らす x マネージドサービスを活用する 今回必要だったものは次の3つ ◦ CRMにある過去データを利用するための仕組み

    ◦ モデルの学習・推論を行うための環境構築 ◦ CRMにテンプレ推薦・返信をする仕組み 25 システム開発について
  13. (C) mixi, Inc. #devsumiC 26 CRMにある過去データを利用するための仕組み CRM CodeBuild S3 Athena

    SQLで取得 Athenaを活用することでS3のJSONファイルに対してクエリを実行できる データの加工が不要なのでデータを保存するスクリプトの実装のみで実現 1.問い合わせ取得 2.保存 CloudWatch Event 定期実行
  14. (C) mixi, Inc. #devsumiC 27 モデルの学習・推論を行うための環境構築 「カスタマーサポートにおける Amazon SageMakerを活用した自然言語処理・ MLシステム構築」

    https://pages.awscloud.com/rs/112-TZM-766/images/20191128_mixi_sagemaker-fes10.pdf SageMakerを活用することで必要な環境を簡単に用意できる 必要なものは学習モデルを記述したコードのみ 学習環境の構築 学習したモデルの管理 推論エンドポイントの構築
  15. (C) mixi, Inc. #devsumiC 29 チームが抱えていた課題 機械学習における課題 初めて機械学習に取り組むチームが利用可能なモデルを開発すること →問題を簡単にし精度の高い試行を繰り返すことで必要なモデルを  獲得することに成功

    システム開発における課題 少ないリソースでできるだけ早くシステム開発をすること →シンプルな構成で作るものを減らす x マネージドサービスを活用する
  16. (C) mixi, Inc. #devsumiC 効率化の効果 ◦ 問い合わせの約1%をシステムで対応 ◦ 1件あたり約3分の効率化 その他の効果

    ◦ CSスタッフの中でAIに興味を持ってくれる人が増えた ◦ 今後AIを活用するためにはどのようなデータを蓄積すると良いのかと いう視点が生まれた 30 施策によって得られた効果