DMM.comにおけるレコメンドへのDeep Learningの活用

Transcript

1. Copyright © since 2017 DMM All Rights Reserved. における レコメンドへの Deep Learning の活⽤ 中野 裕貴, 領家 ⾶⿃ DMM.comラボ ビッグデータ部 レコメンドチーム DMM.com Copyright © since 2017 DMM All Rights Reserved.
2. Copyright © since 2017 DMM All Rights Reserved. WHO IS 2
3. Copyright © since 2017 DMM All Rights Reserved. 3 中野 裕貴 Yuki Nakano 株式会社 DMM.comラボ ビッグデータ部 レコメンドチーム ⼤学院では服装のレコメンドを研究 →2016年4⽉1⽇からDMM.comラボ新卒⼊社
4. Copyright © since 2017 DMM All Rights Reserved. 4 領家 ⾶⿃ Asuka Ryoke 株式会社 DMM.comラボ ビッグデータ部 レコメンドチーム ⼤学院ではニューラルネットの進化的学習を研究 →2016年4⽉1⽇からDMM.comラボ新卒⼊社
5. Copyright © since 2017 DMM All Rights Reserved. 5
6. Copyright © since 2017 DMM All Rights Reserved. 6 DMM.comは1999年から続く ⽼舗サービスサイトです。 時代のニーズに合わせた多彩 なコンテンツを、17年間培った 独⾃プラットフォームで安定的 に提供しています。 About DMM.com サービスについて
7. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 7 ビッグデータ部の仕事 DMMユーザのログ ビッグデータ 基盤 レコメンド基盤 検索基盤 メルマガ 収集・クレンジング レコメンドを提供 検索を提供
8. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 8 これまでの活動 登壇 2015/02：Developers Summit Winter 2015： リアルタイムレコメンド(Spark) 2015/11：Cloudera World Tokyo 2015: Kafka 2016/02：Hadoop/Spark Conference Japan 2016： Hive on Spark 2016/11：Cloudera World Tokyo 2016： ディープラーニング プレスリリース 2015/09：“Sparkを活⽤したアジアパシフィック初のレコメンド基盤実現” 2017/05：“DMM.comラボとIDCフロンティア、コンテンツレコメンドの精度向上を共同検証”
9. Copyright © since 2017 DMM All Rights Reserved. 9 本題の前に…
10. Copyright © since 2017 DMM All Rights Reserved. 10 DMM.com Deep Learning 使って何かしたい Deep Learningを⽤いた レコメンドとかは？ Deep Learningを⽤いてコ ンテンツをパーソナライズ できないか？ ⼿動で⾏っている作業を Deep Learningなどを 使って⾃動化したい
11. Copyright © since 2017 DMM All Rights Reserved. 11 Deep Learning が社内で盛り上がってる ふわっと
12. Copyright © since 2017 DMM All Rights Reserved. 12 Deep Learning で実現したいことを社内で投票してもらった
13. Copyright © since 2017 DMM All Rights Reserved. 13 Deep Learning で実現したいことを社内で投票してもらった Deep Learning を使ってシーンの特徴を抽出 Deep Learning を使って不正検出・⾃動化
14. Copyright © since 2017 DMM All Rights Reserved. 14 本⽇のテーマ
15. Copyright © since 2017 DMM All Rights Reserved. 15 ⼿始めとして取り組んだ Deep Learningを活⽤したレコメンドの話
16. Copyright © since 2017 DMM All Rights Reserved. 16 ⼿始めとして取り組んだ Deep Learningを活⽤したレコメンドの話 ...と⾔うより 『モデル作成までの道のりの話』
17. Copyright © since 2017 DMM All Rights Reserved. 17 Deep Learning の活⽤
18. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 18 画像 Deep Learning Deep Learningの活⽤ 特徴量
19. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 19 Deep Learningの活⽤ Deep Learningの活⽤ 特徴量 レコメンド 画像 ⾃動タグ付け 利⽤ Deep Learning 動画, ⾳声 など 応⽤ 検索
20. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 20 Deep Learningを活⽤したレコメンド 商品のパッケージ画像が類似した商品をレコメンド
21. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 21 Deep Learningを活⽤したレコメンド 画像の特徴を使ってレコメンド …パッケージ買いのような効果を期待 商品のパッケージ画像が類似した商品をレコメンド
22. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 22 画像特徴を算出するモデル モデル ⼊ ⼒ 出 ⼒ 商品画像 brown hair : 0.9 smile : 0.8 long hair : 0.8 特徴タグとスコア
23. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 23 パッケージ画像レコメンドのアーキテクチャ IDCF クラウド
24. Copyright © since 2017 DMM All Rights Reserved. 24 画像特徴を算出するモデルの作成
25. Copyright © since 2017 DMM All Rights Reserved. 25 キャラクターの特徴 を 抽出できるモデルが必要
26. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 26 Illustration2Vec Illustration2Vec : http://illustration2vec.net/ 様々なイラストを学習したモデル 画像から特徴 (タグ)とスコアを取得可能 Illustlatio n2vec brown hair : 0.9 smile : 0.8 long hair : 0.8 特徴タグとスコア
27. Copyright © since 2017 DMM All Rights Reserved. 27 弊社コンテンツの美少⼥たち の特徴としては不⼗分
28. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 28 ⾃作モデルの作成 Illustration2Vec で得られない特徴も算出したい Deep Learning Illustlatio n2vec ⾃作 モデル cute : 0.9 brown hair : 0.9 smile : 0.8 long hair : 0.8 young : 0.6 特徴タグとスコア
29. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 29 ⾃作モデルの作成の流れ 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング
30. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 30 学習データの収集 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング
31. Copyright © since 2017 DMM All Rights Reserved. 31 データの収集
32. Copyright © since 2017 DMM All Rights Reserved. 32 データの収集 ①オープンなデータセットを使うパターン 例： Google提供 The Open Images Dataset
33. Copyright © since 2017 DMM All Rights Reserved. 33 イラストのオープンなデータセットはない ※研究⽤途では、 ニコニコ静画のイラストデータセットなどが存在 https://nico-opendata.jp/ja/index.html データの収集
34. Copyright © since 2017 DMM All Rights Reserved. 34 データ収集 ②⾃社保有のコンテンツ データの収集
35. Copyright © since 2017 DMM All Rights Reserved. 35 検索 ③Webから取得 データの収集
36. Copyright © since 2017 DMM All Rights Reserved. 36 検索 Web Search API データの収集
37. Copyright © since 2017 DMM All Rights Reserved. 37 かわいい イラスト 検索 Bing Search API データの収集
38. Copyright © since 2017 DMM All Rights Reserved. 38 かわいい イラスト 検索 Bing Search API データ収集 データの収集
39. Copyright © since 2017 DMM All Rights Reserved. 39 ⽬grep
40. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 40 学習データの精査 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング 学習データの収集
41. Copyright © since 2017 DMM All Rights Reserved. 41 画像を⽬で確認 ⽬grep 乱雑なデータ 精査したデータ ⽬grep
42. Copyright © since 2017 DMM All Rights Reserved. 42 ⽬grep 乱雑なデータ 精査したデータ ⽬grep とてもたいへん
43. Copyright © since 2017 DMM All Rights Reserved. 43 ⽬grep 乱雑なデータ 精査したデータ ⽬grep 現在、 機械的処理に挑戦中
44. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 44 学習データの加⼯ 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング
45. Copyright © since 2017 DMM All Rights Reserved. 45 データ加⼯
46. Copyright © since 2017 DMM All Rights Reserved. 46 データ加⼯
47. Copyright © since 2017 DMM All Rights Reserved. 47 データ加⼯ アニメ顔検出： OpenCV ＋ カスケード分類器 https://github.com/nagadomi/lbpcascade_animeface
48. Copyright © since 2017 DMM All Rights Reserved. 48 データ加⼯
49. Copyright © since 2017 DMM All Rights Reserved. 49 データ加⼯ なぜこのような処理をする？ メリット： ノイズ除去により少ないデータで精度がでる デメリット： 顔画像の取得有無に左右される
50. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 50 モデルの作成・学習 学習データの収集 学習データの加⼯ モデルの作成・学習 モデルの完成 精査 チューニング
51. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 51 Deep Learningの利⽤ Deep Learning を⼀から 学んで利⽤するのは難しそう...
52. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 52 Deep Learning: 実装⾯ ライブラリ 言語 TensorFlow Python, C++ Caffe Python, C++ Chainer Python Torch7 Lua H2O R, Python Deeplearning4j Java/Scala (JVM言語) Deep Learning の利⽤までの学習や実装がたいへんではないか？ ・Tensorflow や Caffe などの Deep Learning ライブラリの利⽤
53. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 53 Deep Learning: 実装⾯ ライブラリ 言語 TensorFlow Python, C++ Caffe Python, C++ Chainer Python Torch7 Lua H2O R, Python Deeplearning4j Java/Scala (JVM言語) ① 過去の資産が豊富 ② NVIDIAのDeepLearning 学習ツールDIGITSが便利 Deep Learning の利⽤までの学習や実装がたいへんではないか？ ・Tensorflow や Caffe などの Deep Learning ライブラリの利⽤
54. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 54 Deep Learning ⽤の環境の準備が⼤変ではないか？ ・Cloudサービスで簡単にGPU環境が使える Deep Learning: 環境⾯ IDCF クラウド (M40 インスタンス) NVIDIA Tesla M40
55. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 55 Deep Learning: モデルの作成と学習 モデルの作成と学習を実装するのが⼤変ではないか？ ・NVIDIA DIGITS の活⽤ …GUI上でデータセット作成, モデル作成・学習, 結果の確認が可能
56. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 56 既存モデルの利⽤ Deep Learning: モデルの作成と学習
57. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 57 モデルの構築 Deep Learning: モデルの作成と学習
58. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 58 モデルのチューニング 学習データの収集 学習データの加⼯ モデルの完成 精査 チューニング モデルの作成・学習
59. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 59 学習曲線から汎化能⼒と過学習の有無を判断しパラメータをチューニング 30 epoch 200 epoch Deep Learning: モデルのチューニング
60. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 60 30 epoch 200 epoch 過学習 汎化誤差と学習誤差に ⼤きな差がある - Dropoutの調整 - ユニット数・レイヤー数の調整 Deep Learning: モデルのチューニング 学習曲線から汎化能⼒と過学習の有無を判断しパラメータをチューニング
61. Copyright © since 2017 DMM All Rights Reserved. 61 実装した画像レコメンドの例 ※ 著作権等の理由のため公開資料に関しては このセクションのスライドを省いております
62. Copyright © since 2017 DMM All Rights Reserved. 62 まとめと今後の展開
63. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 63 まとめ 商品のパッケージ画像が類似した商品をレコメンド ・画像特徴を算出するモデルの作成 • 学習データやモデルの作成に関して説明 • 学習データ周りは泥臭いことが多々 • ライブラリ等を活⽤すればDeep Learning⾃体の実装は簡単 課題はあるが簡単に様々なサービスへ活⽤可能
64. Copyright © since 2017 DMM All Rights Reserved. Copyright © since 2017 DMM All Rights Reserved. 64 今後の展開 ディープラーニングの動画への適応を予定 ・動画のシーン抽出 ・今後、IDCF主催のイベントで発表予定