Lock in $30 Savings on PRO—Offer Ends Soon! ⏳
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
嘘(Data Science)はとびきりの愛なんだよ?
Search
CyberAgent
PRO
October 05, 2023
Technology
0
500
嘘(Data Science)はとびきりの愛なんだよ?
CyberAgent
PRO
October 05, 2023
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
未来のテレビを形づくる ABEMAのグロース戦略:ユーザー体験と品質向上のアプローチ
cyberagentdevelopers
PRO
1
320
IBC 2024 動画技術関連レポート / IBC 2024 Report
cyberagentdevelopers
PRO
1
180
生成AIは安心・安全に貢献できるのか
cyberagentdevelopers
PRO
0
21
AIの血肉となるアノテーションデータのために大事にしている事
cyberagentdevelopers
PRO
2
26
ABEMA NEWSにおける映像データを活用した記事生成AI 〜記事制作者に寄り添ったソリューションにするまで〜
cyberagentdevelopers
PRO
0
49
ACL 2024 参加報告
cyberagentdevelopers
PRO
0
62
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
300
SNSマーケティングに革新! ABEMA サッカー動画切り出しを生成AIで自動化し、業務効率化を狙う! / abema-ai-marketing
cyberagentdevelopers
PRO
2
170
新卒1年目が挑む!生成AI × マルチエージェントで実現する次世代オンボーディング / operation-ai-onboarding
cyberagentdevelopers
PRO
1
270
Other Decks in Technology
See All in Technology
Amazon Forecast亡き今、我々がマネージドサービスに頼らず時系列予測を実行する方法
sadynitro
0
220
SONY AITRIOSによるAIエッジセンシングの新たな可能性(仮)
iotcomjpadmin
0
180
ONNX推論クレートの比較と実装奮闘記
emergent
0
250
AWS認定試験の長文問題を早く解くコツ
keke1234ke
0
120
総会員数1,500万人のレストランWeb予約サービスにおけるRustの活用
kymmt90
3
2.6k
EthernetベースのGPUクラスタ導入による学びと展望
lycorptech_jp
PRO
0
400
次のコンテナセキュリティの時代 - User Namespace With a Pod / CloudNative Days Winter 2024
pfn
PRO
4
400
Hyperledger Fabric(再)入門
gakumura
3
6.7k
B11-SharePoint サイトのストレージ管理を考えよう
maekawa123
0
110
偶有的複雑性と戦うためのアーキテクチャとチームトポロジー
knih
7
5.8k
GDGoC開発体験談 - Gemini生成AI活用ハッカソン / GASとFirebaseで挑むパン屋のフードロス解決 -
hotekagi
1
390
共創するアーキテクチャ ~チーム全体で築く持続可能な開発エコシステム~ / Co-Creating Architecture - A Sustainable Development Ecosystem Built by the Entire Team
bitkey
PRO
1
3.8k
Featured
See All Featured
Building Your Own Lightsaber
phodgson
103
6.1k
Happy Clients
brianwarren
98
6.7k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Fashionably flexible responsive web design (full day workshop)
malarkey
405
65k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
47
2.1k
[RailsConf 2023] Rails as a piece of cake
palkan
52
5k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
The Cost Of JavaScript in 2023
addyosmani
45
6.9k
YesSQL, Process and Tooling at Scale
rocio
169
14k
Transcript
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
1 嘘 はとびきりの愛なんだよ? 2023 September 20th 〜アニメ分析におけるギリギリのラインを攻める〜 Haruka Matsuzaki Data Science
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
matsuzaki haruka 苺プロ所属 東 大 ( 数 理 科 学 )→ 院 →Works→Recruit→PKSHA(EM) →FEZ(CDS)→苺プロ ベイズ・画像・LLMetc 2 Profile
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
3 キャプション 【推しの子】紹介 公式サイト: ichigoproduction.com
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
4 キャプション このコーナーの趣旨 【推しの子】に関するデータサイエンスを 擬似体験していただき、 一緒に困難を乗り越えていただくことで、 ABEMAのデータに興味を持っていただけるのではないか
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
5 キャプション Now *:・゚✧ On Air✧*。・゚
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
6 キャプション 配属 あなたはABEMAのDSです。1ヶ月後放送の大型アニメ。 そのUUを増やす宣伝プロジェクトに配属されました。 収益=広告単価 x UU (月額課金は今回考慮しないとする) Unique User
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
7 キャプション マーケティングチームの主な構成 • マーケティングボード(担当執行役員) • マーケティング企画 • デジタルマーケティング運用 • クリエイティブ制作(宣伝素材画像・動画作成) • あなた(効果測定・軌道修正担当)
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
8 キャプション マーケティング企画との会話 • プロモーション期間は放映日前後2週間 • 年間宣伝予算から獲得したのはXXX円 • KPIは視聴数(サブ:インストール数・復帰数) • 出稿デジタルメディアはTwitter(X)をはじめ10個 • 直接効果が見えるものが2個・それ以外が8個
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
9 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
10 キャプション クリエイティブ担当との会話
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
11 キャプション あなたが考えたこと • 大まかには2段階のモデルになるのではないか。 ◦ RoI推定 ◦ 数理最適化 Return on Investment UU=Σメディア効果 x 予算
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
12 キャプション メディア効果予測モデル 出来るだけ普通のモデルを採用 Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects (2017) https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/46001.pdf
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
13 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
14 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
15 キャプション メディア効果予測モデル 星野瑠美衣(著作権保護済)です。 いくつか質問させていただきたいのですが
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
16 キャプション メディア効果予測モデル Q: なぜβ0はbaseにしかないのですか?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
17 キャプション メディア効果予測モデル Q: なぜコントロール変数は γ・zなの?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
18 キャプション メディア効果予測モデル Q: なぜ1足すの?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
19 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
20 キャプション メディア効果予測モデル Q: なぜxではなくbなの?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
21 キャプション メディア効果予測モデル:補足 AdStockの考え方 忙 忙 忙 推 暇 暇 推 推 budget=Intention x=Treat Time
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
22 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
23 キャプション メディア効果予測モデル ただの内積じゃない。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
24 キャプション メディア効果予測モデル
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
25 キャプション メディア効果予測モデル ふうん・・・
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
26 キャプション メディア効果予測モデル Q: 素人質問で大変恐縮なのですが、なぜ Hill 関数を使ってないのですか?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
27 キャプション メディア効果予測モデル(確定)
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
28 キャプション 予測vs実績 ベース/広告効果分解 ▪ 予測誤差 ▪ 広告効果 ▪ ベースUU ←2話目と比較すると1日目の来訪者は過剰。 広告開始が2日遅れたため、広告効果ではない
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
29 キャプション メディア効果予測 • シンプルな予測モデル • 決定係数の高さ
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
30 キャプション ところで問題です これから起こりうる 事件にはどのような ものがあるか?
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
31 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
32 キャプション では解答 これから情報を小出しに していきます。 最初に作ったモデルを補 正してください。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
33 キャプション 解答①TVの存在 • https://ichigoproduction.com/onair/ • TOKYO MXほか • ABEMAほか • Migration Model • 2話目から見る人がいるのでモデルを直してください。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
34 キャプション 解答②動画/静止画バナー • 動画バナーは静止画バナーに比べクリック率が高い。 ◦ 2倍ぐらい?→XX倍 • 動画の権利問題で出せたメディアは限定的です。 • 動画バナーが掲載されたメディアを補正してください。 • ちなみにクリック率と視聴率は相関が低いです。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
35 キャプション 解答③ゴールデンウィーク無料開放 • 通常 最新話無料 • 5/1~7無料開放イッキ見狙い • 介入としてモデリング可能 • Migration Model • 顧客は連続話をみません。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
36 キャプション 解答④Twitterバズ 第7話 • 原作で炎上した黒川あかねのエピソードの炎上 • 第7話だけ視聴数が多い(+20%~30%) • 第8話へ定着する人もいる • 事前にバズのサイズは分かりませんが、 モデルに組み込んでください。
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
37 キャプション 解答⑤2023年6月10日 アイドルビルボード入り • YOASOBIが米ビルボードで首位になってしまいました ◦ “Global Excl. U.S.” • 6/10以降の全ての回が影響を受けます
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
38 キャプション 解答⑥最終話第11話 • 原作ファンにとっては最終話は途中 • どこまで見るか確認の意味で最終話だけ見る人がいる • これはZero Inflationでモデリングできる • ただしパラメーターは増えます
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
39 キャプション 解答⑦自由度 • パラメーター数 > データ数だと過学習します。 • アニメ宣伝は情報解禁日〜放映日(14) x メディア数(10) • パラメーターごとに学習に必要なサンプル数を考慮 • AICは参考にはなるが当然漸近してないので自己責任で ※WAICは漸近する
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
40 キャプション Fin *:・゚✧ いいモデルはでき✧*。・゚ *:・゚✧ ましたか?✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
41 キャプション 疑問 データサイエンスは正しいしすごい。が、 それはデータと時間が無限にあればの話である じゃあデータが貯まるまで待ってればいいのか? それじゃ何年もかかるし、 アニメが終わってしまうというか宣伝の入稿締切ががが
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
42 星野瑠美衣の言葉
AbemaTV, Inc. All Rights Reserved 大人の時間で考えないで。 43
AbemaTV, Inc. All Rights Reserved 私達は今を走ってる 44
AbemaTV, Inc. All Rights Reserved そうだ、εに入れよう。 45
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
46 キャプション メディア効果予測モデル(確定) 完成
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
47 キャプション 結論 • Simple is Best / このモデルはリリースされ、 その後も使われ続けている(決定係数が高くdim小) • 途中で起こった事件はεがサンプルされたに過ぎない ◦ この状況でシンプル選好するのはリスク管理 • LTV/数理最適化については紙幅がない フェルマー バイアス
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
48 研究組織⇄事業組織 大人の時間で考えてる人 (合理性を追求する人) 今を走ってる人 (お金を動かす人) ❤
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
49 キャプション ※タイトルに込められた”愛” 『世の中には3種類の嘘がある: 嘘、大嘘、そして統計だ』 星野アイの名言:『嘘はとびきりの愛なんだよ?』 →「データサイエンスは競合優位な意思決定が全て」 →「自然界にパターンを見出す」人間の特性の限界を示唆 →最善性を現実の複雑性が決定するなら、シンプルさが愛 Data Science バリアンス バイアス
AbemaTV, Inc. All Rights Reserved 50
AbemaTV, Inc. All Rights Reserved 【宣伝:時系列以外を知りたいあなたへ!】 51
AbemaTV, Inc. All Rights Reserved ベイズ時系列 boosting/bagging サーベイ処理 統計的仮説検定 LTV
数理最適化 レコメンド 動画解析 LLM 52
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
53 キャプション
AbemaTV, Inc. All Rights Reserved
AbemaTV, Inc. All Rights Reserved AbemaTV, Inc. All Rights Reserved
55 キャプション
AbemaTV, Inc. All Rights Reserved