Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DSOps #1
Search
Yusuke Kaneko
February 28, 2022
3
33k
DSOps #1
公開用
Yusuke Kaneko
February 28, 2022
Tweet
Share
More Decks by Yusuke Kaneko
See All by Yusuke Kaneko
効果検証、入門の入門(後半)
ykaneko1992
3
390
Kdd 2021 読み会(clustering for private interest-based advertising & learning a logistic model from aggregated data)
ykaneko1992
0
22
企業の中の経済学
ykaneko1992
0
32
DSOps #2
ykaneko1992
0
27k
DSOps #4
ykaneko1992
0
30k
DSOps #5-1
ykaneko1992
0
27k
DSOps #5-2
ykaneko1992
0
27k
DSOps #6-1
ykaneko1992
0
26k
DSOps #6-2
ykaneko1992
0
22k
Featured
See All Featured
Building an army of robots
kneath
302
43k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.5k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.2k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
96
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Building Adaptive Systems
keathley
38
2.3k
How STYLIGHT went responsive
nonsquared
95
5.2k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Transcript
DSOps #1. 改善に向けたData Science 1
自己紹介 名前:安井翔太(34) 職業:Economic Research Scientist 経歴: 2011年 立教大学 経済学部卒業 2013年
Norwegian School of Economics MSc in Economics 2013年 Cyberagent 入社(総合職, 微妙な分析の量産) 2015年 アドテク部門へ異動(専門職, MLの応用) 2017年 AILabへ異動(研究職, ML + CI回りの応用) 2
自己紹介 3 名前: 金子 雄祐(29) 職業: AI事業本部 Dynalyst データサイエンスチームリーダー 経歴:
2018: 東京大学大学院経済学研究科統計学コース卒 (修士) 2018年: CyberAgent 新卒入社 2019年: Dynalyst異動 やってるタスク: 予測モデル開発, クリエイティブ評価&最適化改善, チームマネジメント paper: Kenshi Abe, Yusuke Kaneko: “Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games” AAMAS 2021
この研修で話さない事 • 実装の話(MLエンジニア固有・・・?) ◦ 人によってはやらない ◦ 学習機会が非常に多い+すでに別の研修でやった ▪ プロダクトで学べる ▪
世の中に良いドキュメントが大量にある • 各手法の詳細 ◦ 学習機会が非常に多い ▪ 論文読めばおk ▪ 教科書読めばおk 4
Q. Data Scientistって なんで必要なんだっけ? 5
ビジネスモデルとDS • DSにとってのビジネスモデルは大まかに2パターン ◦ 分析・予測自体が商品である場合 ◦ 分析・予測の結果を使った意思決定が商品である場合 • この二つを混同すると ◦
伸ばすべきスキルがよくわからない ◦ 自分のやることに価値があるかわからない ◦ 自分の給与が妥当なのかわからない →いったんこの2パターンをおさらいする 6
①分析・予測自体が商品である場合(分析コンサル) 7 顧客に説明 DSによる分析 顧客が施策実行 DSによる 施策の効果分析 効果の説明 分析した情報の流れ
売上が発生するポイント 8 効果の説明 分析した情報の流れ 継続時にDSの 売上発生 施策が上手くいくと 顧客の売上発生
DSによる分析 DSによる 施策の効果分析 顧客に説明 顧客が施策実行
Q. このビジネスモデルの問題点は何か? 9 顧客に説明 顧客が施策実行 効果の説明 分析した情報の流れ 継続時にDSの 売上発生
施策が上手くいくと 顧客の売上発生 DSによる分析 DSによる 施策の効果分析
分析・予測自体が商品である場合 • レポートの作成やワンショットのML案件が多い ◦ 社内で横軸コンサル組織を作るとこの座組になることがある • 良い分析=売れる分析とは限らない ◦ コミュニケーションが上手ければ売上が発生する
◦ 顧客の欲しいものが良い分析とは限らない 10
DS/AI バブル説は多分正しい 11 • お客から「予測できそう」と思われること で売上が得られてしまう • スキルのわりに稼げる
• クライアント側で評価を持たないと基本 的にこの構造は変わらなさそう
Some Special Cases... 12 モデルの学習 API利用 • これも分析自体が売上に繋がるケース •
この系統のビジネスは大体Googleが強い • ex) google vision api →ここ数年でこれに近いビジネスモデルがCAでも増えた
②分析・予測の結果を使った意思決定がお金を産む 13 分析 施策の効果分析 効果の説明 分析した情報の流れ プロダクトで説明 プロダクトに実装
上手くいくと売上発生 (プロダクト) →効果の観測は難しい 全てがプロダクト内の出来事
例)ビジネスでの意思決定 • あるユーザーがサイト来訪時にどの広告を表示するか? • ECサイトでユーザーにどの商品を推薦するか? • 施策A, Bがある時にどちらを選ぶか? • 商品の値段を100円あげるべきか否か?
→単位や頻度や決定方法は違えど全て意思決定 14
分析・予測の結果を使った意思決定がお金を産む 15 プロダクトで説明 分析 プロダクトに実装 効果分析 効果の説明 お金の流れ
上手くいくと売上発生(プロ ダクト) →効果の観測は難しい 分析それ自体に 金銭は発生しない 全てがプロダクト内の出来事
分析・予測の結果を使った意思決定が商品 • とにかく売上や利益の様なKPIの改善が重要 ◦ 良い分析=改善が起きる分析(売上が上がる/利益が上がる/etc..) ◦ 自動化された意思決定を導入して改善を起こす ◦ より良い施策をデータから判別して改善を起こす •
AIスタジオはほぼこのスタイル?in2020 ◦ 改善のためのスキルを磨く必要がある ◦ という研修です。 16
AIスタジオ in 2021 • 実質後者の話も増えてきた ◦ アプリ運用センター ◦ XX DX系
• あんまりコンセンサスはないけど・・・ ◦ ②の経験と実績を強みとして①の市場に殴り込んでいる感じ ▪ プロダクト開発で培った経験技術で①を行うパターン(ハイブリッド) ◦ けど、あまりこれを理解せずに事業を進めている所もあるのは事実 ▪ 受注のために「ドラえもん作ろう」という話はよく聞く 17
まとめ:DSの役割=なんでDS必要なんだっけ? • プロダクトのKPIを改善するのが役割 ◦ ビジネスの意思決定を変えて改善する ▪ 機械学習・強化学習による 意思決定の自動化 ▪ 因果推論や統計学を使った
意思決定の改善 ◦ 改善の確認を効果検証として担保する必要がある ▪ A/B テスト等の実験設計と結果分析 ▪ 実験が不可能な場合の効果分析 ◦ ビジネスのどこでこれらを使うかを考える →これらの事をプロダクト内外の様々な人たちと協力しながら進めるのがお仕事 18
改善ってどうしたらできる? 19
改善が起きる条件 =改善のために担保するべき4つのスキル • 改善する余地が存在する ◦ すでに最適なものは改善不可能 • 改善する余地を埋める手段がある ◦
理想的な行動をした時に改善できるのか? • 改善のための活動が機能している ◦ 手段が意図通りに機能しているのか? • 改善が計測可能 ◦ 改善したことがちゃんとわかるか? 20
改善する余地 • 余地とは・・・? ◦ 余地 = 最適な状態 - 今の状態 ◦
この2つがよくわかってないと見つけられない • 今の状態→可視化 ◦ プロダクトのデータをよく見よう ◦ 分析結果を深く理解しよう • 最適な状態→事業ドメインに詳しくなる ◦ これを考えられるくらいプロダクトに詳しくなろう ▪ 説明できないことは知らないこと→研修後半のディスカッションの意義 ◦ 自分で理想を定義して誰かと議論してみよう 21
改善する余地を埋める手段 • 余地を埋める手段 ◦ 機械学習で何かを予測して、それに基づいて施策を行う。(機械学習) ◦ 因果推論で選択肢の効果を検証して、意思決定を行う。(因果推論) ◦
か、それよりもっと単純な何かしらの仕組み。 • 理想的に動くと改善できそうか?を考える必要がある ◦ 埋めるべき余地に適切な対処ができているのか? ◦ そもそもムリゲーに挑んでいないか? ▪ 「ドラえもんを作ればプロダクトの売り上げは100倍!」→それはそう ◦ これらの判断には各方法論の基礎と限界を知っている必要 がある 22
手段が機能しているか? • 手段が意図通りに動いているか? ◦ 頭の中の理想→開発環境→プロダクトと具現化されていく ◦ 頭の中の理想はちゃんと開発環境上で再現されているか? ◦ 開発環境上の実装はプロダクト上で再現されているか? •
どうやったら気が付けるか? ◦ 理想的には何が起るのかをよく理解している(手法の理解) ◦ プロダクトのデータをよくみている(可視化) 23
改善が計測可能 • 改善結果の計測 ◦ 作ったものがどんな結果を引き起こすのかは誰もわからない ◦ ↑の前提では起きた結果を正しく計測することが非常に大事 ▪ 次どうするか?の材料になる
▪ 改善施策が機能してない可能性の検証 ▪ 計測できない = フィードバックほぼなし = DSとしての経験値ほぼなし・・・ • どう計測するか? ◦ A/Bテストや因果推論 24
ディスカッション 25 「改善=売上」ではない状況ってあるんだろうか? • 例えばユーザー体験の向上は直接は売上を増やさない • これはやる意味が無い事を意味するのか?
後半の議論パートについて • 目的: 自分と他新卒メンバのプロダクトのビジネスモデルを理解し,適切なDSタスクを行 うための議論ができるようにする • 今やっている業務内容についてディスカッション ◦ ホワイトボードを使って説明
▪ 1回目 : プロダクトのビジネスモデルの説明. 自分のタスクについて背景とタスクの説明 ▪ 2回目 : 現状やっていること, プロダクトでやるべきこと, 今後やりたいこと ◦ それを元にみんなで議論 ▪ どの部分でプロダクトにお金が発生しているのか? / 何を改善すればお金が発生するのか? ▪ タスクにどんな価値があるのか? / 何か致命的なミスをしてないか? / 何か他の手法が使えないか? 26