クリエイティブ制作領域の データ活用を０から推進した話

Transcript

1. AbemaTV, Inc. All Rights Reserved
 クリエイティブ制作領域の データ活用を０から推進した話 2024 July 4th
 Kamioka Masaya 1 株式会社AbemaTV 上岡 将也
2. AbemaTV, Inc. All Rights Reserved
 上岡 将也（かみおか まさや） 株式会社AbemaTV Development Headquarters Content Division DX Promotion Team Engineering Manager 2 Profile 所属 経歴 学生時代 入社直後 2019 2021 2022 2024 研究 コンピュータビジョン・画像生成 ML開発 タップル画像監視システムの開発 ML開発 動画解析基盤の開発 PjM・分析 クリエイティブ領域のデータ活用 EM 社内のDXを推進
3. AbemaTV, Inc. All Rights Reserved
 こんなことありませんか？ 3
4. AbemaTV, Inc. All Rights Reserved
 4 論文の〇〇を 弊社でも導入したい！ 競合の△△ うちでもできない？
5. AbemaTV, Inc. All Rights Reserved
 5 論文の〇〇を 弊社でも導入したい！ 競合の〇〇 うちでもできない？ 事業・領域の解像度が薄く どこのだれとどうするとよいのかわからない ただ、、、
6. AbemaTV, Inc. All Rights Reserved
 6 データ活用と事業・領域の間にはあらゆる隙間、距離がある（当たり前） データ活用 事業・領域 ？
7. AbemaTV, Inc. All Rights Reserved
 7 今回はデータ活用 と クリエイティブ制作 との間の話をします。 データ活用 クリエイティブ制作
8. AbemaTV, Inc. All Rights Reserved
 8 1. 目的と手段が逆転！映像から最強のクリエイティブ作るんや 2. おっと？クリエイティブのことなんもわかってなかった、、、 3. ABテストによって獲得したナレッジの再現性・インパクトすごい 4. あらデータサイエンティスト・運用がスケールしないぞ？ クリエイティブ制作領域のデータ活用の歴史
9. AbemaTV, Inc. All Rights Reserved
 歴史の前に前提を、、、 9
10. AbemaTV, Inc. All Rights Reserved
 10 ABEMAにおけるコンテンツ消費の流れ クリック
11. AbemaTV, Inc. All Rights Reserved
 11 ABEMAにおけるコンテンツ消費の流れ クリック ここで何を見せるかがコンテンツ消費に影響する ・どのコンテンツを見せるか?（推薦） ・どのクリエイティブを見せるか？（クリエイティブ）
12. AbemaTV, Inc. All Rights Reserved
 推薦とクリエイティブの役割の違い 12 ユーザーに表示された コンテンツの魅力を伝える クリエイティブ ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たち結婚しました 4. チャンスの時間
13. AbemaTV, Inc. All Rights Reserved
 推薦とクリエイティブの役割の違い 13 ユーザーに表示された コンテンツの魅力を伝える クリエイティブ ユーザーの 好みのコンテンツを表示 推薦 • 私たち結婚しました • オオカミちゃん • 恋愛ドラマな恋がしたい • チャンスの時間 1. オオカミちゃん 2. 恋愛ドラマな恋がしたい 3. 私たち結婚しました 4. チャンスの時間
14. AbemaTV, Inc. All Rights Reserved
 14 1. 目的と手段が逆転！映像から最強のクリエイティブ作るんや 2. おっと？クリエイティブのことなんもわかってなかった、、、 3. ABテストによって獲得したナレッジの再現性・インパクトすごい 4. あらデータサイエンティスト・運用がスケールしないぞ？ クリエイティブ制作領域のデータ活用の歴史
15. AbemaTV, Inc. All Rights Reserved
 きっかけ 15 目的と手段が逆転！映像から最強のクリエイティブ作るんや
16. AbemaTV, Inc. All Rights Reserved
 16 競合他社がクリエイティブ制作にコンピュータビジョンを活用 1: きっかけ 引用: AVA: The Art and Science of Image Discovery at Netflix
17. AbemaTV, Inc. All Rights Reserved
 17 映像データからクリエイティブ制作を自動化するPJTを企画 最強AI 1: きっかけ 競合もやってるし 論文調べて最強AI作りたい
18. AbemaTV, Inc. All Rights Reserved
 18 ただ... 1: きっかけ どういった クリエイティブが ユーザエンゲージ メントを高める？
19. AbemaTV, Inc. All Rights Reserved
 19 ただ... 1: きっかけ そもそもだれが どのようにして クリエイティブを 作っている？ どういった クリエイティブが ユーザエンゲージ メントを高める？
20. AbemaTV, Inc. All Rights Reserved
 20 デザイナーを探して聞いてみよう 1: きっかけ デザイナーを 探して聞いてみよう
21. AbemaTV, Inc. All Rights Reserved
 21 ちなみにネタバラシ：この手段は実現可能性が０だった • ABEMAではそもそも映像からクリエイティブを制作していない • クリエイティブの構造が複雑すぎた • クリエイティブを評価する仕組みがない 1: きっかけ
22. AbemaTV, Inc. All Rights Reserved
 22 クリエイティブ制作について何もわからない状態（対象も距離も） データ活用 クリエイティブ制作 △ 1: きっかけ
23. AbemaTV, Inc. All Rights Reserved
 ステークホルダーへのヒアリング 23 おっと？クリエイティブのことなんもわかってなかった...
24. AbemaTV, Inc. All Rights Reserved
 24 ステークホルダーへのヒアリング • 事前に準備 ◦ 見れるデータ・資料は見ておく ▪ 相手が何に興味があり、どういう業務をしているのか、目標はなんなのかなど • やり方 ◦ とにかくいろんな人を捕まえて聞く ▪ ランチやコーヒーなどいろんな手段で ◦ ステークホルダーマップや業務プロセスの可視化を行い、解像度を上げる 2: ステークホルダーへのヒアリグ
25. AbemaTV, Inc. All Rights Reserved
 25 ヒアリング結果 • どういったクリエイティブがユーザエンゲージメントを高める？ ◦ 「〇〇風のテキストをいれると効果がいい」という体感 ◦ ただし 過去の前後比較によるもの（仮説とファクトが曖昧に） • そもそもだれがどうやってクリエイティブを作っている？ ◦ 各番組制作担当が使用する画像、構成、パターンなどすべてを決定していた ▪ 毎週番組制作担当とデザイナーで構成のすり合わせMTGがある ◦ 映像データからクリエイティブを制作していない ▪ クリエイティブにはスチールと呼ばれる撮影時に撮った画像を使用 • その他 ◦ 目標がステークホルダーごとに異なる ▪ デザイナー：クリエイティブの指標 ▪ 番組制作担当：番組全体の指標 2: ステークホルダーへのヒアリグ
26. AbemaTV, Inc. All Rights Reserved
 26 アクション 2: ステークホルダーへのヒアリング • どういったクリエイティブがユーザエンゲージメントを高める？ ◦ 「〇〇風のテキストをいれると効果がいい」という体感 ◦ ただし 過去の前後比較によるもの（仮説とファクトが曖昧に） • そもそもだれがどうやってクリエイティブを作っている？ ◦ 各番組制作担当が使用する画像、構成、パターンなどすべてを決定 ▪ 毎週番組制作担当とデザイナーで構成のすり合わせMTGがある ◦ 映像データからクリエイティブを制作していない ▪ クリエイティブにはスチールと呼ばれる撮影時にカメラがとった画像を使用 • その他 ◦ 目標がステークホルダーごとに異なる ▪ デザイナー：クリエイティブの指標 ▪ 番組制作担当：番組全体の指標 ABテストの 開発リクエスト 各番組に ABテストを交渉 目標を統一 　① ABテストの結果 　② ナレッジ数
27. AbemaTV, Inc. All Rights Reserved
 ABテストに協力いただいたコンテンツ 27 番組概要 最高の恋を手にするために集まった男女10人。 ただし、メンバーの中には、 女子側に「恋をしないオオカミちゃん」が1人以上 そして、男子側にも 「恋をしないオオカミくん」が1人以上 潜んでいる。 オオカミの甘い誘惑や嘘に惑わされることなく 最高の恋を見つけることができるのか？ 2: ステークホルダーへのヒアリグ
28. AbemaTV, Inc. All Rights Reserved
 28 ヒアリング前 データ活用 クリエイティブ制作 2: ステークホルダーへのヒアリグ
29. AbemaTV, Inc. All Rights Reserved
 29 解像度が上がった。距離はわかったが遠い データ活用 クリエイティブ制作 2: ステークホルダーへのヒアリグ
30. AbemaTV, Inc. All Rights Reserved
 ABテストを実施 30 ABテストによって獲得したナレッジの再現性・インパクトすごい
31. AbemaTV, Inc. All Rights Reserved
 31 第１回：検証に用いたサムネイル 3つのサムネイルでABテストを実施 3: ABテストを実施
32. AbemaTV, Inc. All Rights Reserved
 32 経緯：最初は２枚だった 3: ABテストを実施
33. AbemaTV, Inc. All Rights Reserved
 33 経緯：最初は２枚だった どちらが勝っても 未来のクリエイティブ制作に活かしにくい 番組担当 3: ABテストを実施
34. AbemaTV, Inc. All Rights Reserved
 34 経緯：最初は２枚だった どちらが勝っても 未来のクリエイティブ制作に活かしにくい 番組担当 タイトルロゴのみでやってみませんか？ 3: ABテストを実施
35. AbemaTV, Inc. All Rights Reserved
 35 経緯：最初は２枚だった どちらが勝っても 未来のクリエイティブ制作に活かしにくい 番組担当 タイトルロゴのみでやってみませんか？ やってみましょう！！！ （あんまりやりたくないけど、、、） 3: ABテストを実施
36. AbemaTV, Inc. All Rights Reserved
 36 第１回：結果 高 低 それぞれのサムネイルで差のある結果が得られた +12.5% 3: ABテストを実施
37. AbemaTV, Inc. All Rights Reserved
 37 第１回：検証結果から考えられる仮説 • キャストの興味がユーザごとに異なる? • キャプションで差が出ている? • タイトルの大きさ? +12.5% 3: ABテストを実施
38. AbemaTV, Inc. All Rights Reserved
 38 第１回：検証結果から考えられる仮説 • タイトルの視認性かも?? 3: ABテストを実施
39. AbemaTV, Inc. All Rights Reserved
 39 第２回：検証に用いたサムネイル • 検証1回目ではバラバラだった素材画像を統一する • キービジュアル(オレンジ背景のサムネイル)を追加 3: ABテストを実施
40. AbemaTV, Inc. All Rights Reserved
 40 第２回：結果 高 低 +19.9% 3: ABテストを実施
41. AbemaTV, Inc. All Rights Reserved
 41 第２回：結果 タイトルの視認性が重要な可能性が高い!! 3: ABテストを実施
42. AbemaTV, Inc. All Rights Reserved
 42 第３回：検証に用いたサムネイル • 検証２回目と同じサムネイル構成を採用し、再現性を確かめる 3: ABテストを実施
43. AbemaTV, Inc. All Rights Reserved
 43 第３回：結果 高 低 +23.4% 3: ABテストを実施
44. AbemaTV, Inc. All Rights Reserved
 44 第３回：結果 タイトルの視認性が重要なことが再確認できた！ 3: ABテストを実施
45. AbemaTV, Inc. All Rights Reserved
 45 他番組でも高い再現性 高 低 +7.9% 3: ABテストを実施
46. AbemaTV, Inc. All Rights Reserved
 46 他番組でも高い再現性 高 低 +7.4% 3: ABテストを実施
47. AbemaTV, Inc. All Rights Reserved
 47 結果 • クリエイティブがコンテンツの消費に大きく影響する • 再現性のある結果が得られている 3: ABテストを実施
48. AbemaTV, Inc. All Rights Reserved
 48 ABテスト前 データ活用 クリエイティブ制作 3: ABテストを実施
49. AbemaTV, Inc. All Rights Reserved
 49 一部番組でデータ活用が進められる状態になってきた データ活用 クリエイティブ制作 3: ABテストを実施
50. AbemaTV, Inc. All Rights Reserved
 レポート自動化 クリエイティブ配信システムの開発 50 あらデータサイエンティスト・運用がスケールしないぞ？
51. AbemaTV, Inc. All Rights Reserved
 51 結果 4: レポート自動化・クリエイティブ配信システムの開発 • クリエイティブがコンテンツの消費に大きく影響する • 再現性のある結果が得られている
52. AbemaTV, Inc. All Rights Reserved
 52 結果 4: レポート自動化・クリエイティブ配信システムの開発 • クリエイティブがコンテンツの消費に大きく影響する • 再現性のある結果が得られている 検証・改善を拡大
53. AbemaTV, Inc. All Rights Reserved
 53 ただ、、、
54. AbemaTV, Inc. All Rights Reserved
 54 疲弊するデータサイエンティスト 4: レポート自動化・クリエイティブ配信システムの開発 分析・レポート作成の時間が取れないんで ABテストの番組これ以上増やせないっす データ
55. AbemaTV, Inc. All Rights Reserved
 55 運用も回らない 4: レポート自動化・クリエイティブ配信システムの開発 分析・レポート作成の時間が取れないんで ABテストの番組これ以上増やせないっす 番組担当 データ ABテストのための配信設定など 運用コストが増えていて運用回りません
56. AbemaTV, Inc. All Rights Reserved
 56 スケールしない 4: レポート自動化・クリエイティブ配信システムの開発 番組担当 データ ABテストのための配信設定など 運用コストが増えていて運用回りません データサイエンティストと運用がスケールしない、、、 分析・レポート作成の時間が取れないんで ABテストの番組これ以上増やせないっす
57. AbemaTV, Inc. All Rights Reserved
 レポート自動化 クリエイティブ配信システムの開発 57 あらデータサイエンティスト・運用がスケールしないぞ？
58. AbemaTV, Inc. All Rights Reserved
 58 レポート自動作成ツールを開発 4: レポート自動化・クリエイティブ配信システムの開発 • レポート、集計などを自動化 ◦ ABテストの結果 ▪ SlackチャンネルへPDFを毎日自動出力 ◦ セグメントごと集計や時系列の変化 ▪ Tableau • データサイエンティストは検証設計と分析深掘りに注力
59. AbemaTV, Inc. All Rights Reserved
 59 クリエイティブ配信システムの開発を提案・PjM 4: レポート自動化・クリエイティブ配信システムの開発 • 番組制作・デザイナーが簡単に配信設定できるツールを開発 • 同時に仕様をシンプルに ◦ 番組単位の設定に変更 ▪ これまで枠、ページごとの運用だった ▪ ABテストの結果を考慮 • ABテストとバンディットを選択可能に • 縦サムネイルにも対応
60. AbemaTV, Inc. All Rights Reserved
 60 あらゆるジャンルでクリエイティブの検証が可能に データ活用 クリエイティブ制作 4: レポート自動化・クリエイティブ配信システムの開発
61. AbemaTV, Inc. All Rights Reserved
 61 最終的な現状 4: レポート自動化・クリエイティブ配信システムの開発 • ABテストの設計、推進、振り返りを番組制作担当、デザイナーに委譲 • 再現性の高いナレッジはレギュレーションとして追加
62. AbemaTV, Inc. All Rights Reserved
 62 正直なところ、、、 4: レポート自動化・クリエイティブ配信システムの開発 • 課題はある ◦ 自動化や委譲により、振り返り、検証設計の精度は多少下がったことは否めない ◦ DSがすべてのMTGに出ていたことにより、知見共有やつなぎ合わせて新たな仮説を立てる ことができていた部分はありそう ◦ 高度なナレッジを検証するようになり、要素ごとの違いを評価するのが難しくなった • 感想 ◦ データサイエンスをスケールさせるのは非常に難しい、、、 ◦ 精度と量のトレードオフ
63. AbemaTV, Inc. All Rights Reserved
 63 同時にデータサイエンスで解決できそうな課題がたくさん見えてきた 4: レポート自動化・クリエイティブ配信システムの開発 • クリエイティブによる効果には非定常性がありそう？ • クリエイティブを変更するメリット・デメリットがありそう？ • 好みのクリエイティブが異なるユーザセグメントがあるかも • ユーザに好まれるクリエイティブの要素（e.g. 顔の大きさ、数）がありそう
64. AbemaTV, Inc. All Rights Reserved
 64 若手の発表事例 4: レポート自動化・クリエイティブ配信システムの開発
65. AbemaTV, Inc. All Rights Reserved
 65 インターンの採用にも ※ 現在は終了しています。 4: レポート自動化・クリエイティブ配信システムの開発 こちらの成果を近日中にブログで公開します！
66. AbemaTV, Inc. All Rights Reserved
 66 デザイナーからも嬉しい要求が 4: レポート自動化・クリエイティブ配信システムの開発 デザイナー データ
67. AbemaTV, Inc. All Rights Reserved
 67 デザイナーからも嬉しい要求が 4: レポート自動化・クリエイティブ配信システムの開発 デザイナー 良いクリエイティブは大体同じだから 再利用性を高めたい、正しく一元管理したい データ
68. AbemaTV, Inc. All Rights Reserved
 68 デザイナーからも嬉しい要求が 4: レポート自動化・クリエイティブ配信システムの開発 デザイナー 良いクリエイティブは大体同じだから 再利用性を高めたい、正しく一元管理したい 良いクリエイティブがわかってきたので スチール画像から自動化生成できるのではないか？ データ
69. AbemaTV, Inc. All Rights Reserved
 69 デザイナーからも嬉しい要求が 4: レポート自動化・クリエイティブ配信システムの開発 デザイナー 良いクリエイティブは大体同じだから 再利用性を高めたい、正しく一元管理したい 良いクリエイティブがわかってきたので スチール画像から自動化生成できるのではないか？ データ やりましょう！ （やっと１年前のやりたかったことが、、）
70. AbemaTV, Inc. All Rights Reserved
 70 なぜ間を埋めることができたのか？（考察） • 企業文化：「素直でいいやつ」「自由と自己責任」「挑戦」 • インパクトがあり、再現性の高い検証の番組、クリエイティブを選択できた • ステークホルダー全員で 共通の目標を持つことができた
71. AbemaTV, Inc. All Rights Reserved
 71 1. 目的と手段が逆転！映像から最強のクリエイティブ作るんや 2. おっと？クリエイティブのことなんもわかってなかった、、、 3. ABテストによって獲得したナレッジの再現性・インパクトすごい 4. あらデータサイエンティスト・運用がスケールしないぞ？ クリエイティブ制作領域のデータ活用の歴史
72. AbemaTV, Inc. All Rights Reserved
 ありがとうございました。 72