Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
問い合わせ対応のデータを宝の山にするために/How to collect correct da...
Search
Mitsunobu Homma
August 27, 2020
Technology
2
890
問い合わせ対応のデータを宝の山にするために/How to collect correct data to utilize inquiry data
Customer Support Tech Meetup #2 (2020/08/27)
Mitsunobu Homma
August 27, 2020
Tweet
Share
More Decks by Mitsunobu Homma
See All by Mitsunobu Homma
若手主体のチームで全員の力を合わせて新規事業を創っている話 / Develop a startup product in cooperation with all team members
mitsu9
2
1.3k
エンジニアリングでCSの生産性を高める / Build highly productive customer support team by engineering
mitsu9
1
930
人の仕事、機械の仕事。エンジニアによるカスタマーサポート改善 / The improvements of Customer Support by Customer Reliability Engineer
mitsu9
2
2.2k
ユーザーも驚きの高速かつ正確な対応をAIを用いて実現する / How to realize rapid and correct customer support with ML
mitsu9
1
2.1k
新卒Customer Reliability Engineerの半年間 / How to effectively read code
mitsu9
2
1.8k
Other Decks in Technology
See All in Technology
Writing Ruby Scripts with TypeProf
mame
0
360
Linuxのパッケージ管理とアップデート基礎知識
go_nishimoto
0
470
コスト最適重視でAurora PostgreSQLのログ分析基盤を作ってみた #jawsug_tokyo
non97
1
610
AIでめっちゃ便利になったけど、結局みんなで学ぶよねっていう話
kakehashi
PRO
1
380
【Oracle Cloud ウェビナー】ご希望のクラウドでOracle Databaseを実行〜マルチクラウド・ソリューション徹底解説〜
oracle4engineer
PRO
1
110
意思決定を支える検索体験を目指してやってきたこと
hinatades
PRO
0
270
【Λ(らむだ)】最近のアプデ情報 / RPALT20250422
lambda
0
120
Notion x ポストモーテムで広げる組織の学び / Notion x Postmortem
isaoshimizu
1
120
4/16/25 - SFJug - Java meets AI: Build LLM-Powered Apps with LangChain4j
edeandrea
PRO
2
130
AWSのマルチアカウント管理 ベストプラクティス最新版 2025 / Multi-Account management on AWS best practice 2025
ohmura
4
320
Spring Bootで実装とインフラをこれでもかと分離するための試み
shintanimoto
7
880
バクラクの認証基盤の成長と現在地 / bakuraku-authn-platform
convto
4
690
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
9
760
Building an army of robots
kneath
304
45k
Optimizing for Happiness
mojombo
377
70k
YesSQL, Process and Tooling at Scale
rocio
172
14k
How STYLIGHT went responsive
nonsquared
99
5.5k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
2.9k
Building Applications with DynamoDB
mza
94
6.3k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.1k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
Transcript
(C) mixi, Inc. Customer Support Tech Meetup #2 2020年8月27日 株式会社ミクシィ
統括管理本部 CS部 CREグループ 本間 光宣 問い合わせ対応のデータを宝の山にするために
(C) mixi, Inc. ◦ 本間 光宣(@_mitsu9) ◦ 株式会社ミクシィ・CRE ◦ 2018年新卒入社
◦ CSで利用する様々なシステムの開発・運用保守 ◦ 機械学習を用いてテンプレ対応を効率化 ◦ 問い合わせデータを活用するためのデータ基盤構築 2 自己紹介
(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう! お話すること データを活用できなかった事例を通して データを活用するための環境構築において意識すると良いこと 3 今日の発表の概要
(C) mixi, Inc. CSで問い合わせ対応のデータを活用できる場面はたくさんある ◦ サポートの質の向上 ◦ 席数の見積もり ◦ 過去の類似案件を参考に対応
◦ よくある対応の効率化・自動化 ◦ サービスの改善 ◦ VOC (Voice of Customer)の活用 ◦ 自己解決率の向上 ◦ FAQの改善 4 CS x データ活用
(C) mixi, Inc. ◦ モンスターストライク ◦ 今年秋で7周年 ◦ 1日の問い合わせ件数 x
2555(365日 x 7年) のデータを持つ ◦ 機能が非常に多く日々多様な問い合わせが届く ◦ 問題だけでなくゲームへの意見等もある ◦ 問題発生時のスパイクが大きい ◦ 過去最高は1日に2万件以上 ソフトウェアを活用して効率的にデータを分析・活用することが必要 5 ミクシィCS x データ
(C) mixi, Inc. リアルタイム分析の事例 ◦ 直近の問い合わせの頻出単語をSlackに通知 ◦ 閾値以上の回数登場した単語を通知 ◦ 直近の問い合わせ数が閾値以上の場合Slackに通知
◦ 委託先と弊社で分けて対応しているため全体の問い合わせ数を監視 6 データを活用している事例①
(C) mixi, Inc. 大量の過去の問い合わせを活用する事例 ◦ 過去の対応履歴を活用して返信テンプレートを推薦 ◦ 数千〜数万件の問い合わせを利用して機械学習を行う 7 データを活用している事例②
問い合わせ文 「XXXXX」 テンプレB 「ユーザーも驚きの高速かつ正確な対応を AIを用いて実現する」 https://speakerdeck.com/mitsu9/how-to-realize-rapid-and-correct-customer-support-with-ml
(C) mixi, Inc. カテゴリ分けを自動化しようとした事例 ◦ 問い合わせをカテゴリに分けて管理している ◦ カテゴリ分けは人が行なっていたので、機械で自動化をしようとした ◦ 過去のカテゴリ分けに問題があり自動化できなかった
8 データを活用できなかった事例 ガチャ クエスト 決済 ガチャ クエスト 決済 「カスタマーサポート AIの失敗と教訓」 https://medium.com/mixi-developers/challenge-of-cs-ai-15c65ef7066a
(C) mixi, Inc. 9 データ活用のフロー データ活用には「収集」「加工」「活用」と3つのプロセスがある 必要なデータを集める データを加工したり、 機械学習をしたりする Slack通知など、
システムに組み込み 利用する 収集 加工 活用
(C) mixi, Inc. 10 データを活用する時に直面する課題 収集フェーズで問題がありその先に進めないケースがある 過去1年分の問い合わせと カテゴリのデータ カテゴリ分けを行う モデルを作成
カテゴリ分けを自動化する カテゴリ分けの事例の場合 収集 加工 活用 データ自体が間違っていたためうまく分類できなかった
(C) mixi, Inc. 11 データを収集する時に直面する課題 データがない データはあるが 正しくない データはあるらしいが どこにあるかわからない
(C) mixi, Inc. 12 データを収集する時に直面する課題 データがない データはあるが 正しくない 今日は「正しくないデータ」に焦点を当て、 なぜそのようなデータが生まれたのかという事例を紹介します
データはあるらしいが どこにあるかわからない データを取るようにしよう どこにどのデータがあるのか きちんと管理しよう
(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 新しいカテゴリに入るべき問い合わせが既存のカテゴリに含まれていた 13 正しくないデータが生まれた原因① ガチャ クエスト 決済
新機能に関する問い合わせ 新カテゴリ 正しくカテゴリ分けする ためには新しくカテゴリを 作成する必要がある 新機能だからカテゴリがない・・ なんとなく近いカテゴリに入れよう
(C) mixi, Inc. 問い合わせの傾向変化に追従できていなかった 後からカテゴリを追加すると時間軸によるデータのずれが生じた →同じ問い合わせでも入信した時間によって別カテゴリになってしまう 14 正しくないデータが生まれた原因① 時間 新機能追加
新しい問い合わせが入信 新カテゴリ追加 新しい問い合わせを 正しくカテゴリ分けできるように 正しくカテゴリ分けされて いない期間 正しくカテゴリ分けされて いる期間
(C) mixi, Inc. 人によって判断が異なっていた ルールが曖昧な時に独自のルールでカテゴリ分けを行なっていた ルールを決めてもそれ以前のデータはルール通りに分けられていなかった 15 正しくないデータが生まれた原因② ガチャ クエスト
決済 2つの内容を含んでいるけど どう分類すれば良いだろう・・ 1つ目の話でカテゴリを決めよう Aについて・・ あとBについてもな んですけど・・
(C) mixi, Inc. 運用のためのカテゴリ分けになっていた 対応や集計など運用の都合でカテゴリが変わることがあった 16 正しくないデータが生まれた原因③ カテゴリA カテゴリB カテゴリC
内容的にはカテゴリ Bだけど 熱量が高くて早く対応した方が 良さそうだからカテゴリ Aにしよう! 優先度高 優先度中 優先度低
(C) mixi, Inc. ◦ 問い合わせの傾向の変化に対して対応していない ◦ 人によって判断が異なるデータが存在する ◦ ルールを決めた時に過去のデータについて修正していない ◦
運用のためのデータになっており正しいデータが保管されていない 17 正しくないデータが生まれる危険な匂い
(C) mixi, Inc. ◦ 定期的に正しくないデータが生まれていないか確認する ◦ 正しくないデータを見つけた時には修正して正しいデータにする 大量のデータを修正することは大変なので 定期的に見直し少しずつ修正することが大切 18
正しいデータを貯めるためには
(C) mixi, Inc. 今日のテーマ 問い合わせ対応のデータを活用してより良いCSを作っていこう! お話したこと データを活用するときに収集したデータに問題があるケースがある 正しくないデータが発生するいくつかのパターンを紹介 定期的にルールを見直すことで正しいデータを貯めていくことが大切 19
まとめ