Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Econ Fiesta
Search
森脇大輔
August 28, 2020
Technology
1
2.8k
Econ Fiesta
森脇大輔
August 28, 2020
Tweet
Share
More Decks by 森脇大輔
See All by 森脇大輔
Evidence-to-Decisionについて
daimoriwaki
0
270
EBPMにおける生成AI活用について
daimoriwaki
0
330
Global Evidence Summit (GES) 参加報告
daimoriwaki
0
280
Developing “EBPM Database” to Improve Policy Making Process in Japan
daimoriwaki
0
44
保育:待機児童数を減らす取り組み
daimoriwaki
0
35
「EBPMエコシステム」の可能性
daimoriwaki
0
290
RecSys22読み会_MTRS
daimoriwaki
0
630
CADEVCONF
daimoriwaki
0
100
GovTechとマーケットデザイン発表資料(CA森脇)
daimoriwaki
0
410
Other Decks in Technology
See All in Technology
Definition of Done
kawaguti
PRO
6
460
Amazon S3標準/ S3 Tables/S3 Express One Zoneを使ったログ分析
shigeruoda
2
380
キャディでのApache Iceberg, Trino採用事例 -Apache Iceberg and Trino Usecase in CADDi--
caddi_eng
0
170
Model Mondays S2E02: Model Context Protocol
nitya
0
180
新卒3年目の後悔〜機械学習モデルジョブの運用を頑張った話〜
kameitomohiro
0
370
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
200
Абьюзим random_bytes(). Фёдор Кулаков, разработчик Lamoda Tech
lamodatech
0
270
Liquid Glass革新とSwiftUI/UIKit進化
fumiyasac0921
0
110
監視のこれまでとこれから/sakura monitoring seminar 2025
fujiwara3
10
2.8k
Create a Rails8 responsive app with Gemini and RubyLLM
palladius
0
140
Microsoft Build 2025 技術/製品動向 for Microsoft Startup Tech Community
torumakabe
1
200
LinkX_GitHubを基点にした_AI時代のプロジェクトマネジメント.pdf
iotcomjpadmin
0
160
Featured
See All Featured
Speed Design
sergeychernyshev
31
1k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
The Cost Of JavaScript in 2023
addyosmani
51
8.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
137
34k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Embracing the Ebb and Flow
colly
86
4.7k
Side Projects
sachag
455
42k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Transcript
経済学と機械学習の応用 ー因果効果にもとづいた入札戦略ー Econ Fiesta 2020.8.28
自己紹介 • 森脇大輔 @dmoriwaki 個人ページ • AILab@CyberAgent • 最近流行りの霞が関→テック企業転職組 • Ph.D.
in Econ from University at Albany
研究分野 オンライン広告における機 械学習/経済学の応用 オルタナティブデータ/ ビッグデータ 経済政策・社会保障 今日のメインテーマ GPSデータによる失業率予測 行政データによる統計 etc.
博士課程時代の研究テーマ
今日のお話
AILab経済学チームとは
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ、ゲーム 機械学習チーム - ハイパラサーチ - 強化学習・ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
メンバー 安井翔太 - ベストセラー「効果検証入門」 - 成田助教授(Yale)や齋藤優太さ ん(東工大)らとトップティアカン ファレンスに論文量産 - 因果推論、OPE
冨田燿志 - 東大経済学部卒業生総代/経済学研 究科修士課程修了生総代 - メカデザ 機械学習チーム - ハイパラサーチ, BB最適化 - 強化学習&ゲーム データサイエンティスト - 課題議論 - 実プロダクトでの実験 外部研究者(星野慶応大教授、成田イエール助 教授、前原AIPユニットリーダー など) 加藤真大 - 学部経済からの院コンピュータサ イエンス - 論文生産マシーン - 因果推論、適応的実験、強化学 習など
これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.
- 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
これまでの取組 - 学術貢献※ - AAAI2019, WWW2020, ICML2020, SIGIR2020, AdKDD2020 etc.
- 昨年以降日本経済学会各回で、企画セッション登壇・主催 - J. of Comp. Soc. Sci. - 事業貢献 - 広告効果の分析 - 広告効果予測モデル改善 - 新たな入札アルゴリズム etc. ※経済学チームだけの成果。クリエイティブリサーチ、HCIチームもそれぞれの分野でトップ会議採択
リサーチサイエンティストの働き方
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト こんなんやりたいんや けどどう?
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト ええんちゃう?でき る?
よくあるDS/MLミーティングの風景 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ エンティスト 考えてみるわー できるんちゃうん?
リサーチサイエンティストの立ち位置 • 研究として成立していてプロダクトに貢献しそうなアイデアの提案、論文 としての発表 • アイデア出し、提案、プロトタイプ実装、オフライン検証、論文執筆 • プロダクトへの橋渡しはDSのみなさんにお任せ ビジネス エンジニアのみなさん
データサイエンティスト リサーチサイエン ティスト
Unbiased Lift-based bidding system
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい 広告枠オークションを開催
オンライン広告の仕組み 複数の企業がスマホの広告枠を獲得したい オークションによって効率的に配分 最高入札の企業が落札。ハッピーエンド? No!
広告枠オークションの入札戦略 • 入札価格は各企業の私的価値にもとづく 広告枠を買って広告を配信 できたとき(ω=1)に得られる 利益τは・・・?
広告枠オークションの入札戦略 広告枠を買って広告を配信 できたとき(ω=1)に得られる 利益τは・・・? • 入札価格は各企業の私的価値にもとづく
実際の広告枠オークション ? • 何十億のオークションが開催
実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札
実際の広告枠オークション • 何十億のオークションが開催 • DSPが代わりに入札 • 広告配信後のクリックやページ来訪に対して報酬支払い
インセンティブ整合的? 広告配信後のクリックやページ来訪に対して報酬支払い • DSPの最適戦略は、広告をクリックしそうな 人、ページ来訪しそうな人の広告枠を買い付 ける • しかし、広告配信後のクリックやページ来訪 は必ずしも最終的な売り上げの増加を意味し ない(右図)
• 広告効果の最大化には 効果がありそうな人 の広告枠を買うべき
アップリフトモデリング • ユーザーの属性から個別的因果効果を予測するアップリフトモデリングの研究が 近年盛ん(サーベイ: Olaya and Coussement 2020) • 予測された因果効果にもとづいて入札することが最適
• 課題 ◦ 広告配信データにおけるバイアス ◦ オークションの不確実性 ビジネス エンジニ アのみな さん データサイエンティスト リサー チサイ エンティ スト
広告配信データにおけるバイアス • 予測モデルを訓練するために必要なデータは過去の広告キャンペーンのから入手 • 誰に広告を配信するかは ランダムではない • 広告配信のされやすさとアウトカムが相関している場合、予測が過大もしくは過少ににある (例)家電量販店の広告キャンペーン 定期的に来訪するAさん
普段はライバル店を利用するBさん リタゲロジックによって高値で入札 来店経験がないので安値で入札 高値で入札されるAさんのほうが広告を配信されやすく来訪しやすい ≠ 因果効果
Unbiased Lift-effect Estimation • ロス関数を広告配信のされやすさの予測値( IPS)で割り引くことでデータのバイアスを除去した学習を 実現 • 計算された予測値から効果を推定
オークションの不確実性 ・・・ • それぞれのDSPは各期にどれくらい広告枠のオークションがおきるか、またライバルがどれくらい存在 するか知らない • キャンペーン予算の消化は必須なので環境に対応して入札額を変動させる必要がある • PID制御を用いる
システム全体 • 環境変動への対応パラメータ αと予測されたτを用いて入札額を計算 ビジネス エンジニアのみ なさん データサイエンティス ト リサーチサイ
エンティスト
実装、実験 • 実際の広告キャンペーンにおいて従来の入札戦略と比較 • ユーザーと予算を比例的に分配して実際の広告オークションに 参加させる • ユーザーのコンバージョンなどで比較 ビジネス エンジニアのみなさん
データサイエンティスト リサーチサイエン ティスト
結果 • CVRでは有意な差がつかなかったが、 1コンバージョンあたりコスト( effective CPA)で大きな差が出 た。 • 若干の考察 既存の入札戦略は他の
DSPと似通っているため、高値で入札してもなかなか落札できない 新たな入札戦略は他の DSPと全く違う戦略をとっているので、簡単に広告枠を買うことができた
論文化、採択 • 実験で手一杯だったので、インターンにきてくれていた USCの松井さん、さらにラストのほうで東工大 /半熟仮想の齋藤さんの助力を得て突貫で論文化(二人がいなかったら完成していなかった) • AdKDD2020に採択、リリースを打ってもらう
発表、反省、今後 • AdKDDでの指摘への対応 ◦ 主に実験の不備 • 理想状態は、学術貢献+事業貢献 ◦ 事業貢献側を進めたい