Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Econ Fiesta
Search
森脇大輔
August 28, 2020
Technology
1
2.8k
Econ Fiesta
森脇大輔
August 28, 2020
Tweet
Share
More Decks by 森脇大輔
See All by 森脇大輔
Evidence-to-Decisionについて
daimoriwaki
0
280
EBPMにおける生成AI活用について
daimoriwaki
0
360
Global Evidence Summit (GES) 参加報告
daimoriwaki
0
300
Developing “EBPM Database” to Improve Policy Making Process in Japan
daimoriwaki
0
55
保育:待機児童数を減らす取り組み
daimoriwaki
0
45
「EBPMエコシステム」の可能性
daimoriwaki
0
300
RecSys22読み会_MTRS
daimoriwaki
0
650
CADEVCONF
daimoriwaki
0
120
GovTechとマーケットデザイン発表資料(CA森脇)
daimoriwaki
0
420
Other Decks in Technology
See All in Technology
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
450
大「個人開発サービス」時代に僕たちはどう生きるか
sotarok
20
10k
現場で効くClaude Code ─ 最新動向と企業導入
takaakikakei
1
260
2025年夏 コーディングエージェントを統べる者
nwiizo
0
180
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
310
バイブスに「型」を!Kent Beckに学ぶ、AI時代のテスト駆動開発
amixedcolor
2
580
共有と分離 - Compose Multiplatform "本番導入" の設計指針
error96num
2
1k
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.8k
250905 大吉祥寺.pm 2025 前夜祭 「プログラミングに出会って20年、『今』が1番楽しい」
msykd
PRO
1
980
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
190
実践!カスタムインストラクション&スラッシュコマンド
puku0x
0
480
下手な強制、ダメ!絶対! 「ガードレール」を「檻」にさせない"ガバナンス"の取り方とは?
tsukaman
2
450
Featured
See All Featured
Building Adaptive Systems
keathley
43
2.7k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
850
4 Signs Your Business is Dying
shpigford
184
22k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Thoughts on Productivity
jonyablonski
70
4.8k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Navigating Team Friction
lara
189
15k
Embracing the Ebb and Flow
colly
87
4.8k
Code Review Best Practice
trishagee
71
19k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
経済学と機械学習の応用 ー因果効果にもとづいた入札戦略ー Econ Fiesta 2020.8.28
自己紹介 • 森脇大輔 @dmoriwaki 個人ページ • AILab@CyberAgent • 最近流行りの霞が関→テック企業転職組 • Ph.D.
in Econ from University at Albany
研究分野 オンライン広告における機 械学習/経済学の応用 オルタナティブデータ/ ビッグデータ 経済政策・社会保障 今日のメインテーマ GPSデータによる失業率予測 行政データによる統計 etc.
博士課程時代の研究テーマ
今日のお話
AILab経済学チームとは
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.
- 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.
- 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
リサーチサイエンティストの働き方
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト こんなんやりたいんや けどどう?
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト ええんちゃう?でき る?
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト 考えてみるわー できるんちゃうん?
リサーチサイエンティストの立ち位置 • 研究として成立していてプロダクトに貢献しそうなアイデアの提案、論文 としての発表 • アイデア出し、提案、プロトタイプ実装、オフライン検証、論文執筆 • プロダクトへの橋渡しはDSのみなさんにお任せ ビジネス エンジニアのみなさん
データサイエンティスト リサーチサイエン ティスト
Unbiased Lift-based bidding system
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい 広告枠オークションを開催
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい オークションによって効率的に配分 最高入札の企業が落札。ハッピーエンド? No!
広告枠オークションの入札戦略 • 入札価格は各企業の私的価値にもとづく 広告枠を買って広告を配信 できたとき(ω=1)に得られる 利益τは・・・?
広告枠オークションの入札戦略 広告枠を買って広告を配信 できたとき(ω=1)に得られる 利益τは・・・? • 入札価格は各企業の私的価値にもとづく
実際の広告枠オークション ? • 何十億のオークションが開催
実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札
実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札 • 広告配信後のクリックやページ来訪に対して報酬支払い
インセンティブ整合的? 広告配信後のクリックやページ来訪に対して報酬支払い • DSPの最適戦略は、広告をクリックしそうな 人、ページ来訪しそうな人の広告枠を買い付 ける • しかし、広告配信後のクリックやページ来訪 は必ずしも最終的な売り上げの増加を意味し ない(右図)
• 広告効果の最大化には 効果がありそうな人 の広告枠を買うべき
アップリフトモデリング • ユーザーの属性から個別的因果効果を予測するアップリフトモデリングの研究が 近年盛ん(サーベイ: Olaya and Coussement 2020) • 予測された因果効果にもとづいて入札することが最適
• 課題 ◦ 広告配信データにおけるバイアス ◦ オークションの不確実性 ビジネス エンジニ アのみな さん データサイエンティスト リサー チサイ エンティ スト
広告配信データにおけるバイアス • 予測モデルを訓練するために必要なデータは過去の広告キャンペーンのから入手 • 誰に広告を配信するかは ランダムではない • 広告配信のされやすさとアウトカムが相関している場合、予測が過大もしくは過少ににある (例)家電量販店の広告キャンペーン 定期的に来訪するAさん
普段はライバル店を利用するBさん リタゲロジックによって高値で入札 来店経験がないので安値で入札 高値で入札されるAさんのほうが広告を配信されやすく来訪しやすい ≠ 因果効果
Unbiased Lift-effect Estimation • ロス関数を広告配信のされやすさの予測値( IPS)で割り引くことでデータのバイアスを除去した学習を 実現 • 計算された予測値から効果を推定
オークションの不確実性 ・・・ • それぞれのDSPは各期にどれくらい広告枠のオークションがおきるか、またライバルがどれくらい存在 するか知らない • キャンペーン予算の消化は必須なので環境に対応して入札額を変動させる必要がある • PID制御を用いる
システム全体 • 環境変動への対応パラメータ αと予測されたτを用いて入札額を計算 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ
エンティスト
実装、実験 • 実際の広告キャンペーンにおいて従来の入札戦略と比較 • ユーザーと予算を比例的に分配して実際の広告オークションに 参加させる • ユーザーのコンバージョンなどで比較 ビジネス エンジニアのみなさん
データサイエンティスト リサーチサイエン ティスト
結果 • CVRでは有意な差がつかなかったが、 1コンバージョンあたりコスト( effective CPA)で大きな差が出 た。 • 若干の考察 既存の入札戦略は他の
DSPと似通っているため、高値で入札してもなかなか落札できない 新たな入札戦略は他の DSPと全く違う戦略をとっているので、簡単に広告枠を買うことができた
論文化、採択 • 実験で手一杯だったので、インターンにきてくれていた USCの松井さん、さらにラストのほうで東工大 /半熟仮想の齋藤さんの助力を得て突貫で論文化(二人がいなかったら完成していなかった) • AdKDD2020に採択、リリースを打ってもらう
発表、反省、今後 • AdKDDでの指摘への対応 ◦ 主に実験の不備 • 理想状態は、学術貢献+事業貢献 ◦ 事業貢献側を進めたい