Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
嘘(Data Science)はとびきりの愛なんだよ?
Search
CyberAgent
PRO
October 05, 2023
Technology
1
400
嘘(Data Science)はとびきりの愛なんだよ?
CyberAgent
PRO
October 05, 2023
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
ABEMAにおけるLLMを用いたコンテンツベース推薦システム導入と効果検証
cyberagentdevelopers
PRO
1
720
クリエイティブ制作領域の データ活用を0から推進した話
cyberagentdevelopers
PRO
2
500
opt-in camera:カメラによる行動計測におけるオプトインの仕組みの実現
cyberagentdevelopers
PRO
2
420
競輪選手の体力を視覚化するための物体認識とデータサイエンスの融合
cyberagentdevelopers
PRO
3
380
学園アイドルマスターの アイドルをより輝かせる ライティング手法
cyberagentdevelopers
PRO
3
17k
スマートフォンGPUの特性を解析! 社内で実施予定のGPUパフォーマンスチューニング研修を紹介します!
cyberagentdevelopers
PRO
1
400
NAB Show 2024 動画技術関連レポート/ NAB Show 2024 Report
cyberagentdevelopers
PRO
3
500
CI/CDのススメ(サイバーエージェント新卒研修2024)
cyberagentdevelopers
PRO
1
140
Kubernetesのススメ(サイバーエージェント新卒研修2024)
cyberagentdevelopers
PRO
2
170
Other Decks in Technology
See All in Technology
Github Actions 로 Android 팀의 효율성 극대화
hadonghyun
0
160
20240724_cm_odyssey_hibiyatech
hiashisan
0
110
目標設定は好きですか? アジャイルとともに目標と向き合い続ける方法 / Do you like target Management?
kakehashi
10
3k
Docker互換のセキュアなコンテナ実行環境「Podman」超入門
devops_vtj
6
3.2k
GoとアクターモデルでES+CQRSを実践! / proto_actor_es_cqrs
ytake
1
150
推薦システムを本番導入する上で一番優先すべきだったこと~NewsPicks記事推薦機能の改善事例を元に~
morinota
0
120
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
900
JBUG岡山 #6 WordCamp男木島の チームビルディング
takeshifurusato
0
150
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
140
フルリモートワークはエンジニアの夢を叶えたか? #cm_odyssey
mamohacy
2
600
[2024最新版]AWS Control Towerを使ったセキュアなマルチアカウント環境の作り方
hiashisan
0
270
[I/O Extended Android 2024] What`s new in Android 2024
kyeongwan
0
220
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
35
4.4k
The Illustrated Children's Guide to Kubernetes
chrisshort
39
47k
RailsConf 2023
tenderlove
16
720
Into the Great Unknown - MozCon
thekraken
20
1.3k
Bootstrapping a Software Product
garrettdimon
PRO
304
110k
A Philosophy of Restraint
colly
200
16k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
353
29k
Agile that works and the tools we love
rasmusluckow
325
20k
Being A Developer After 40
akosma
72
580k
Facilitating Awesome Meetings
lara
46
5.8k
Mobile First: as difficult as doing things right
swwweet
219
8.8k
Typedesign – Prime Four
hannesfritz
37
2.2k
Transcript
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
1 嘘 はとびきりの愛なんだよ? 2023 September 20th 〜アニメ分析におけるギリギリのラインを攻める〜 Haruka Matsuzaki Data Science
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
matsuzaki haruka 苺プロ所属 東 大 ( 数 理 科 学 )→ 院 →Works→Recruit→PKSHA(EM) →FEZ(CDS)→苺プロ ベイズ・画像・LLMetc 2 Profile
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
3 キャプション 【推しの子】紹介 公式サイト: ichigoproduction.com
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
4 キャプション このコーナーの趣旨 【推しの子】に関するデータサイエンスを 擬似体験していただき、 一緒に困難を乗り越えていただくことで、 ABEMAのデータに興味を持っていただけるのではないか
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
5 キャプション Now *:・゚✧ On Air✧*。・゚
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
6 キャプション 配属 あなたはABEMAのDSです。1ヶ月後放送の大型アニメ。 そのUUを増やす宣伝プロジェクトに配属されました。 収益=広告単価 x UU (月額課金は今回考慮しないとする) Unique User
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
7 キャプション マーケティングチームの主な構成 • マーケティングボード(担当執行役員) • マーケティング企画 • デジタルマーケティング運用 • クリエイティブ制作(宣伝素材画像・動画作成) • あなた(効果測定・軌道修正担当)
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
8 キャプション マーケティング企画との会話 • プロモーション期間は放映日前後2週間 • 年間宣伝予算から獲得したのはXXX円 • KPIは視聴数(サブ:インストール数・復帰数) • 出稿デジタルメディアはTwitter(X)をはじめ10個 • 直接効果が見えるものが2個・それ以外が8個
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
9 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
10 キャプション クリエイティブ担当との会話
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
11 キャプション あなたが考えたこと • 大まかには2段階のモデルになるのではないか。 ◦ RoI推定 ◦ 数理最適化 Return on Investment UU=Σメディア効果 x 予算
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
12 キャプション メディア効果予測モデル 出来るだけ普通のモデルを採用 Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects (2017) https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/46001.pdf
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
13 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
14 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
15 キャプション メディア効果予測モデル 星野瑠美衣(著作権保護済)です。 いくつか質問させていただきたいのですが
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
16 キャプション メディア効果予測モデル Q: なぜβ0はbaseにしかないのですか?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
17 キャプション メディア効果予測モデル Q: なぜコントロール変数は γ・zなの?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
18 キャプション メディア効果予測モデル Q: なぜ1足すの?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
19 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
20 キャプション メディア効果予測モデル Q: なぜxではなくbなの?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
21 キャプション メディア効果予測モデル:補足 AdStockの考え方 忙 忙 忙 推 暇 暇 推 推 budget=Intention x=Treat Time
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
22 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
23 キャプション メディア効果予測モデル ただの内積じゃない。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
24 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
25 キャプション メディア効果予測モデル ふうん・・・
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
26 キャプション メディア効果予測モデル Q: 素人質問で大変恐縮なのですが、なぜ Hill 関数を使ってないのですか?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
27 キャプション メディア効果予測モデル(確定)
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
28 キャプション 予測vs実績 ベース/広告効果分解 ▪ 予測誤差 ▪ 広告効果 ▪ ベースUU ←2話目と比較すると1日目の来訪者は過剰。 広告開始が2日遅れたため、広告効果ではない
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
29 キャプション メディア効果予測 • シンプルな予測モデル • 決定係数の高さ
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
30 キャプション ところで問題です これから起こりうる 事件にはどのような ものがあるか?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
31 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
32 キャプション では解答 これから情報を小出しに していきます。 最初に作ったモデルを補 正してください。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
33 キャプション 解答①TVの存在 • https://ichigoproduction.com/onair/ • TOKYO MXほか • ABEMAほか • Migration Model • 2話目から見る人がいるのでモデルを直してください。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
34 キャプション 解答②動画/静止画バナー • 動画バナーは静止画バナーに比べクリック率が高い。 ◦ 2倍ぐらい?→XX倍 • 動画の権利問題で出せたメディアは限定的です。 • 動画バナーが掲載されたメディアを補正してください。 • ちなみにクリック率と視聴率は相関が低いです。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
35 キャプション 解答③ゴールデンウィーク無料開放 • 通常 最新話無料 • 5/1~7無料開放イッキ見狙い • 介入としてモデリング可能 • Migration Model • 顧客は連続話をみません。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
36 キャプション 解答④Twitterバズ 第7話 • 原作で炎上した黒川あかねのエピソードの炎上 • 第7話だけ視聴数が多い(+20%~30%) • 第8話へ定着する人もいる • 事前にバズのサイズは分かりませんが、 モデルに組み込んでください。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
37 キャプション 解答⑤2023年6月10日 アイドルビルボード入り • YOASOBIが米ビルボードで首位になってしまいました ◦ “Global Excl. U.S.” • 6/10以降の全ての回が影響を受けます
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
38 キャプション 解答⑥最終話第11話 • 原作ファンにとっては最終話は途中 • どこまで見るか確認の意味で最終話だけ見る人がいる • これはZero Inflationでモデリングできる • ただしパラメーターは増えます
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
39 キャプション 解答⑦自由度 • パラメーター数 > データ数だと過学習します。 • アニメ宣伝は情報解禁日〜放映日(14) x メディア数(10) • パラメーターごとに学習に必要なサンプル数を考慮 • AICは参考にはなるが当然漸近してないので自己責任で ※WAICは漸近する
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
40 キャプション Fin *:・゚✧ いいモデルはでき✧*。・゚ *:・゚✧ ましたか?✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
41 キャプション 疑問 データサイエンスは正しいしすごい。が、 それはデータと時間が無限にあればの話である じゃあデータが貯まるまで待ってればいいのか? それじゃ何年もかかるし、 アニメが終わってしまうというか宣伝の入稿締切ががが
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
42 星野瑠美衣の言葉
AbemaTV, Inc. All Rights Reserved 大人の時間で考えないで。 43
AbemaTV, Inc. All Rights Reserved 私達は今を走ってる 44
AbemaTV, Inc. All Rights Reserved そうだ、εに入れよう。 45
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
46 キャプション メディア効果予測モデル(確定) 完成
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
47 キャプション 結論 • Simple is Best / このモデルはリリースされ、 その後も使われ続けている(決定係数が高くdim小) • 途中で起こった事件はεがサンプルされたに過ぎない ◦ この状況でシンプル選好するのはリスク管理 • LTV/数理最適化については紙幅がない フェルマー バイアス
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
48 研究組織⇄事業組織 大人の時間で考えてる人 (合理性を追求する人) 今を走ってる人 (お金を動かす人) ❤
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
49 キャプション ※タイトルに込められた”愛” 『世の中には3種類の嘘がある: 嘘、大嘘、そして統計だ』 星野アイの名言:『嘘はとびきりの愛なんだよ?』 →「データサイエンスは競合優位な意思決定が全て」 →「自然界にパターンを見出す」人間の特性の限界を示唆 →最善性を現実の複雑性が決定するなら、シンプルさが愛 Data Science バリアンス バイアス
AbemaTV, Inc. All Rights Reserved 50
AbemaTV, Inc. All Rights Reserved 【宣伝:時系列以外を知りたいあなたへ!】 51
AbemaTV, Inc. All Rights Reserved ベイズ時系列 boosting/bagging サーベイ処理 統計的仮説検定 LTV
数理最適化 レコメンド 動画解析 LLM 52
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
53 キャプション
AbemaTV, Inc. All Rights Reserved
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
55 キャプション
AbemaTV, Inc. All Rights Reserved