Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

嘘(Data Science)はとびきりの愛なんだよ?

CyberAgent
October 05, 2023

嘘(Data Science)はとびきりの愛なんだよ?

CyberAgent

October 05, 2023
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    1 嘘   はとびきりの愛なんだよ? 2023 September 20th 〜アニメ分析におけるギリギリのラインを攻める〜 Haruka Matsuzaki Data Science
  2. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    matsuzaki haruka 苺プロ所属
 東 大 ( 数 理 科 学 )→ 院 →Works→Recruit→PKSHA(EM) →FEZ(CDS)→苺プロ
 ベイズ・画像・LLMetc
 2 Profile
  3. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    3 キャプション 【推しの子】紹介 公式サイト: ichigoproduction.com
  4. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    4 キャプション このコーナーの趣旨 【推しの子】に関するデータサイエンスを 擬似体験していただき、 一緒に困難を乗り越えていただくことで、 ABEMAのデータに興味を持っていただけるのではないか
  5. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    5 キャプション Now *:・゚✧ On Air✧*。・゚
  6. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    6 キャプション 配属 あなたはABEMAのDSです。1ヶ月後放送の大型アニメ。 そのUUを増やす宣伝プロジェクトに配属されました。 収益=広告単価 x UU (月額課金は今回考慮しないとする) Unique User
  7. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    7 キャプション マーケティングチームの主な構成 • マーケティングボード(担当執行役員) • マーケティング企画 • デジタルマーケティング運用 • クリエイティブ制作(宣伝素材画像・動画作成) • あなた(効果測定・軌道修正担当)
  8. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    8 キャプション マーケティング企画との会話 • プロモーション期間は放映日前後2週間 • 年間宣伝予算から獲得したのはXXX円 • KPIは視聴数(サブ:インストール数・復帰数) • 出稿デジタルメディアはTwitter(X)をはじめ10個 • 直接効果が見えるものが2個・それ以外が8個
  9. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    9 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
  10. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    10 キャプション クリエイティブ担当との会話
  11. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    11 キャプション あなたが考えたこと • 大まかには2段階のモデルになるのではないか。 ◦ RoI推定 ◦ 数理最適化 Return on Investment UU=Σメディア効果 x 予算
  12. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    12 キャプション メディア効果予測モデル 出来るだけ普通のモデルを採用 Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects (2017) https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/46001.pdf
  13. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    13 キャプション メディア効果予測モデル
  14. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    14 キャプション メディア効果予測モデル
  15. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    15 キャプション メディア効果予測モデル 星野瑠美衣(著作権保護済)です。 いくつか質問させていただきたいのですが
  16. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    16 キャプション メディア効果予測モデル Q: なぜβ0はbaseにしかないのですか?
  17. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    17 キャプション メディア効果予測モデル Q: なぜコントロール変数は γ・zなの?
  18. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    18 キャプション メディア効果予測モデル Q: なぜ1足すの?
  19. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    19 キャプション メディア効果予測モデル
  20. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    20 キャプション メディア効果予測モデル Q: なぜxではなくbなの?
  21. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    21 キャプション メディア効果予測モデル:補足 AdStockの考え方 忙 忙 忙 推 暇 暇 推 推 budget=Intention x=Treat Time
  22. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    22 キャプション メディア効果予測モデル
  23. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    23 キャプション メディア効果予測モデル ただの内積じゃない。
  24. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    24 キャプション メディア効果予測モデル
  25. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    25 キャプション メディア効果予測モデル ふうん・・・
  26. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    26 キャプション メディア効果予測モデル Q: 素人質問で大変恐縮なのですが、なぜ Hill 関数を使ってないのですか?
  27. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    27 キャプション メディア効果予測モデル(確定)
  28. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    28 キャプション 予測vs実績 ベース/広告効果分解 ▪ 予測誤差 ▪ 広告効果 ▪ ベースUU ←2話目と比較すると1日目の来訪者は過剰。 広告開始が2日遅れたため、広告効果ではない
  29. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    29 キャプション メディア効果予測 • シンプルな予測モデル • 決定係数の高さ
  30. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    30 キャプション ところで問題です これから起こりうる 事件にはどのような ものがあるか?
  31. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    31 キャプション Now *:・゚✧ Thinking Time✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
  32. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    32 キャプション では解答 これから情報を小出しに していきます。 最初に作ったモデルを補 正してください。
  33. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    33 キャプション 解答①TVの存在 • https://ichigoproduction.com/onair/ • TOKYO MXほか • ABEMAほか • Migration Model • 2話目から見る人がいるのでモデルを直してください。
  34. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    34 キャプション 解答②動画/静止画バナー • 動画バナーは静止画バナーに比べクリック率が高い。 ◦ 2倍ぐらい?→XX倍 • 動画の権利問題で出せたメディアは限定的です。 • 動画バナーが掲載されたメディアを補正してください。 • ちなみにクリック率と視聴率は相関が低いです。
  35. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    35 キャプション 解答③ゴールデンウィーク無料開放 • 通常 最新話無料 • 5/1~7無料開放イッキ見狙い • 介入としてモデリング可能 • Migration Model • 顧客は連続話をみません。
  36. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    36 キャプション 解答④Twitterバズ 第7話 • 原作で炎上した黒川あかねのエピソードの炎上 • 第7話だけ視聴数が多い(+20%~30%) • 第8話へ定着する人もいる • 事前にバズのサイズは分かりませんが、 モデルに組み込んでください。
  37. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    37 キャプション 解答⑤2023年6月10日 アイドルビルボード入り • YOASOBIが米ビルボードで首位になってしまいました ◦ “Global Excl. U.S.” • 6/10以降の全ての回が影響を受けます
  38. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    38 キャプション 解答⑥最終話第11話 • 原作ファンにとっては最終話は途中 • どこまで見るか確認の意味で最終話だけ見る人がいる • これはZero Inflationでモデリングできる • ただしパラメーターは増えます
  39. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    39 キャプション 解答⑦自由度 • パラメーター数 > データ数だと過学習します。 • アニメ宣伝は情報解禁日〜放映日(14) x メディア数(10) • パラメーターごとに学習に必要なサンプル数を考慮 • AICは参考にはなるが当然漸近してないので自己責任で ※WAICは漸近する
  40. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    40 キャプション Fin *:・゚✧ いいモデルはでき✧*。・゚ *:・゚✧ ましたか?✧*。・゚ 10秒で泣ける天才子役の重曹ちゃん 限定販売中
  41. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    41 キャプション 疑問 データサイエンスは正しいしすごい。が、 それはデータと時間が無限にあればの話である じゃあデータが貯まるまで待ってればいいのか? それじゃ何年もかかるし、 アニメが終わってしまうというか宣伝の入稿締切ががが
  42. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    46 キャプション メディア効果予測モデル(確定) 完成
  43. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    47 キャプション 結論 • Simple is Best / このモデルはリリースされ、 その後も使われ続けている(決定係数が高くdim小) • 途中で起こった事件はεがサンプルされたに過ぎない ◦ この状況でシンプル選好するのはリスク管理 • LTV/数理最適化については紙幅がない フェルマー バイアス
  44. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    48 研究組織⇄事業組織 大人の時間で考えてる人 (合理性を追求する人) 今を走ってる人 (お金を動かす人) ❤
  45. AbemaTV, Inc. All Rights Reserved
 AbemaTV, Inc. All Rights Reserved


    49 キャプション ※タイトルに込められた”愛” 『世の中には3種類の嘘がある: 嘘、大嘘、そして統計だ』 星野アイの名言:『嘘はとびきりの愛なんだよ?』 →「データサイエンスは競合優位な意思決定が全て」 →「自然界にパターンを見出す」人間の特性の限界を示唆 →最善性を現実の複雑性が決定するなら、シンプルさが愛 Data Science バリアンス バイアス