動画広告の効果を技術で改善

Transcript

1. MIU Tech Night — 若手の奮闘ーク 動画広告の効果を 技術で改善！ 挑戦から得た事業成長の視点。
2. 自己紹介 片山 太輔 Katayama Daisuke ／ かたやん daisuke0x17 wwktyn 株式会社AJA DSP Division 2024年新卒でCyberAgentに入社、株式会社AJAへ出向 動画広告配信におけるDSPの開発に従事 バックエンドエンジニア・大阪府出身 Go / Google Cloud / Kubernetes 2
3. 今日お話しすること 入社して2年、うまくいったこともいかなかったことも、リアルにお届けします 領域 話すこと 問い 01 技術 ？ 広告効果は改善したのか？ 02 事業 ？ 技術への投資を、どう事業の言葉にするか？ 03 組織 ？ エンジニアが、なぜ採用に関わるのか？ 答え合わせは、最後のまとめで 3
4. そもそもMIUとは MIU Tech Night の「MIU」は、メディア&IP事業部の新しい呼称を指す 今回のイベント この「MIU」って、なに？ 出典：capture.cyberagent.co.jp「MIUとは？」 項目 内容 FY2025〜 メディア事業とその他事業を統合し 「メディア&IP事業」へ MIU メディア&IP事業部の新しい呼称 ロゴ 社内コンペで、役員の審査と社員の投票を 経て決定 4
5. AJAについて 動画広告をつくるところから、ABEMAなどの動画配信サービスに広告を届けるまでを提供 01 動画をつくる 低コスト 02 配信する 03 届ける 動画配信サービスと地上波CMへ配信 ABEMAを中心とした動画配信サービス 短納期 動画制作 目的に合わせて使い分け リーチ最大化 視聴完了最大化 認知 興味・関心 指名検索 サイト来訪 購買・インストール 5
6. 動画広告配信の流れ コンテンツの視聴中にCMチャンスが来ると、動画広告のリクエストが届く ユーザーの視聴画面 ユーザー CM メディア AJAの配信処理 ① CMチャンスに到達 ② 広告リクエスト 動画広告を再生 ③ 選んだ動画広告を返す ④ 動画広告を再生 コンテンツ CM コンテンツ ▲ CMチャンス ③でどの動画広告を返すかを決めるのが、AJA DSP 6
7. DSPの配信処理 SSPから届く入札リクエストを、GKE上のGoのサービス群で処理する ターゲティング：ユーザーに合う広告に絞る リクエスト 入札サーバ SSP メディア側 入札・広告 ⋮ 入札を組み立てて返す ランキング：スコアをつけて選ぶ Pub/Sub → BigQuery：配信ログを集計 秒間10万件超のリクエストを、p99で100ms未満に処理する 7
8. 技術スタック 入札をさばく配信系と、ログを集計・学習するデータ系を、Google Cloud上で組み合わせている GKE（配信系・Go） SSP ストア 入札サーバ ターゲティング 対象を絞る … ランキング スコアで選ぶ データ・学習系 Pub/Sub Dataflow BigQuery 配信ログ 取り込み ログを蓄積 Airflow Spanner dbtで集計 配信設定 Gemini Enterprise Agent Platform 旧Vertex AI／セグメント作成 Cloud Scheduler 定期実行 配信の処理は軽く保ち、重い集計・学習は裏側で回す 8
9. SECTION 技術の挑戦 広告効果は改善したのか？
10. 自分のミッション 配信する広告の選び方を改善し、広告主のアプリインストールを増やす（＝広告効果の改善） 広告主の目的 自分の担当 追う指標 アプリを インストールしてほしい ランキング CVR 動画広告を見たユーザーに 入札サーバの中で 表示した広告が アプリを使い始めてほしい どの動画広告を返すかを決める インストールにつながった割合 ランキングを良くすることが、広告主の成果に直結する 9
11. CVRとは CVRは、広告を見たユーザーがアプリをインストールした割合を表す スマホで動画広告を視聴 アプリをインストール ＝ CV インストール数 10件 分子 CVR = 10 / 1,000 = 1% 広告の表示数 1,000回 分母 もともとは、このCVRの実績をもとに配信する広告の順位を決めていた 10
12. 従来のランキングの課題 複数ある広告の候補を実績CVRの順に並べる決定的なランキングで、毎回同じ広告が選ばれていた 従来：実績CVRで順位を決める 順位 広告 実績CVR 配信 1位 広告A 高い 毎回選ばれる 2位 広告B 中くらい ほぼ選ばれない 3位 広告C（新規） 実績なし 試されにくい 課題 ランキングが決定的 実績の少ない広告は 試されにくい もっと成果の高い広告を 見逃しうる 実績を活かす「活用」と新しい広告を試す「探索」の両立を、専門家と共に解決したい 11
13. DSCとは MIUには、データ活用を支える専門組織 Data Science Center（DSC）がある 各サービスと密に連携し、データ分析・効果検証・システム開発・運用を 通じて、施策を事業成果に結びつける横断組織 役割 内容 データマネジメント データを管理・整備 効果検証 施策の効果を分析 システム開発・運用 データを使う仕組みを作る データ活用基盤 推薦・自然言語処理など AJAもDSCの支援先の一つ。DSCと一緒に、バンディットで解くことにした 出典：CyberAgent AI/Data Technology Map 12
14. バンディットとは どのスロットマシンを引けば一番当たるかを、試しながら見つける考え方 どれを引けば、一番当たる？ SLOT SLOT SLOT ？ ？ ？ ？ ？ ？ ？ ？ ？ 広告A 広告B 広告C たとえ 動画広告の配信では スロットマシン 配信候補の広告 レバーを引く 広告を配信する 当たり アプリのインストール 目的 当たりの数を最大にする よく当たる台を引きつつ（活用）、ほかの台も試す（探索） 13
15. バンディット（Thompson Sampling） 広告ごとの成果確率をBeta分布で推定し、サンプル値が最大の広告を選ぶ 確率密度 1 観測結果から分布を更新 α = 1 + CV数 β = 1 + 表示数 − CV数 2 各分布から1点ずつ引く 例：A = 0.40 ／ B = 0.46 3 最大のBを選んで配信 成果確率 p 実績 CVR が低くても、広い分布から高い値を引くことがある。これが探索になる 14
16. DSCとの協業 バンディットを配信で動かすため、DSCの担当者と二人三脚でデータの流れを作る 共同で設計・検証 DSCの担当者 かたやん（AJA） バンディットのパラメータを配信に届けるデータ経路 リバースETL：分析基盤の結果を、配信用ストアへ戻す 汎用化 BigQuery Airflow Cloud Run Functions Spanner Goの配信処理 ログを蓄積 毎時集計 Spannerへ同期 α・βを保存 サンプルして選択 今後の最適化施策でも使えるよう、リバースETLの汎用的な仕組みとして構築 配信時に参照 分析した結果を、実際の広告選択に反映できる状態へ 15
17. リバースETLを自作した理由 BigQuery標準のEXPORT DATAにない「配信用データの安全装置」を持たせた 機能 BigQuery EXPORT DATA 自作の同期の仕組み 消えた行の後片付け 既存の行を上書きするだけ （削除できない） 今回の集計にない行を、削除または失効 削除対象の限定 — 自分のバッチが書いた行だけを対象 （他の経路の行は残す） 古いデータでの上書き防止 更新時刻の列はあるが 書き手を区別しない バッチ単位・行単位で時刻を比べ、再実行でも 新しい値を守る バンディット以外のバッチでも、実際に利用されている 配信が終わった広告の行は消し、過去日の再実行でも新しい値は壊さない 16
18. CVR約35%の改善 既存のA/Bテスト基盤で見ると、通常配信より成果につながる割合が向上した CVR指数（通常配信＝100） 既存のA/Bテスト基盤で比較 135 バンディット配信 CVRの改善幅 約35% 改善 通常配信 100 通常配信 100 → 135 有意差あり 決定的なランキングから、探索するバンディットへ変えたことで効果改善！ ※ リクエスト単位で割り当てる既存の基盤での計測。この測り方の落とし穴には、後半で触れます 17
19. 広告ごとの視点の限界 これまでは広告ごとの成果だけを見て、誰に出すかは区別していなかった これまで：広告ごと これから：ユーザーごと 広告Aの成果確率 p 予測スコア s = xᵀθ どのユーザーにも、同じ成果確率で 広告を選ぶ 性別・年齢帯などの特徴量で ユーザーごとに予測を変える 課題 解決策 ユーザーによる反応の違いを活かせない コンテキスチュアルバンディット 次は「どの広告か」に加えて「誰に出すか」まで見る 18
20. コンテキスチュアルバンディット（LinTS） ユーザー特徴量（コンテキスト）と係数の内積で、広告の成果を予測する バンディット：成果確率 p を引く → コンテキスチュアル：係数ベクトル θ を引く ユーザー特徴量 x 予測スコア 例：性別・年齢帯＋定数項で7次元 s = xᵀθ 広告ごとの係数 θ θ ~ N(μ, λ²Σ) μ：学習した係数の平均 Σ：係数の共分散 λ：探索の強さ 同じ広告でも、ユーザー特徴量 x が変われば予測が変わる 係数 θ をサンプリングすることで、状況を使いながら探索する 19
21. コンテキスチュアルバンディットで変わった構成 単純な集計から、機械学習基盤で学習してValkeyへ載せる構成に変わった これまで バンディット BigQuery Airflow Cloud Run Functions Spanner ランキング ログを蓄積 広告ごとに集計 Spannerへ同期 α・β p を引く 集計 → 学習 コンテキスチュアル バンディット Spanner → Valkey BigQuery Gemini Enterprise Agent Platform Valkey ランキング ログ・特徴量 旧Vertex AI／係数を学習 広告ごとの係数 θ を引く モデルが複雑になっても、配信側は学習済みの値を読むだけに保つ 20
22. コンテキスチュアルバンディットの結果 同じA/Bテストの仕組みで、1回目は有意差あり、 2回目のコンテキスチュアルバンディットでは有意差が出なかった 1回目：バンディット 2回目：コンテキスチュアルバンディット 有意差あり 有意差なし 通常配信に対して CVR 約35%改善 既存バンディットと同程度の結果 なぜ差が出ない？ → 実際にユーザーがどの広告に接触したかを分析した 21
23. 既存のA/Bテストの課題 接触を分析すると、同じユーザーが別のバケットにも入っていた 課題：リクエストごと 改善：ユーザーごと hash(request_id) で割り当て hash(実験期間, user_id) で固定 ユーザー 1回目 2回目 3回目 成果 ユーザー 1回目 2回目 3回目 成果 U1 A B A CV U1 A A A CV U2 B A B — U2 B B B — 同じユーザーがA・B両方のバケットに入っていた A群・B群の接触を分けて比較 ユーザー単位の効果を測るなら、割り当てもユーザー単位で固定する A＝既存バンディット ／ B＝LinTS ／ CV＝成果発生 22
24. 次のA/Bテスト ユーザー単位で方式を固定し、コンテキスチュアルバンディットを再評価する 固定した群 同じ条件で集計 比較する指標 A群：既存手法 成果数 ÷ 表示数 CVR_A B群：LinTS 成果数 ÷ 表示数 CVR_B 乞うご期待！ 検証中 公平な比較で、手法の本当の差を見極める 23
25. このままでよいのか？ 技術で結果は出た。でも、目の前の技術を磨くだけで事業は伸び続けるのかと考えはじめた 1回目 2回目 DSCとの協働 CVR 約35%改善 LinTSで差が出ない 事業成果に結びつける姿勢 手法やパラメータを変え続ける アウトプットを、事業の言葉で ことで今後も成長できるのか 語る視点に触れた 技術で成果は出せた この改善は、広告主と事業にとって何だったんだろう？ 目の前の改善の先にある、事業そのものに目が向きはじめた 24
26. 振り返って感じたこと 目の前の改善の先に、もっと大きな問いが見えてきた 技術の成果 CVR 約35%改善 事業の成長 技術への投資 組織と挑戦 中長期的に N年後に向けて エンジニアが 技術で事業を伸ばす施策を いまどの技術領域に こうした挑戦を どう進めるか？ 投資すべきか？ 続けられる組織とは？ この問いに向き合うため、事業と組織に関わる活動に踏み出した 25
27. 手をあげて取り組んだこと 事業の計画と、次の仲間との接点づくりに関わる 考えたこと 事業を伸ばすために、 どの技術へ投資するか 次に挑戦する仲間と、 どう出会いをつくるか 参加した活動 TAP 技術経営の計画を提案 Tech YJC 採用イベントを企画 26
28. SECTION 事業の挑戦 技術への投資を、どう事業の言葉にするか？
29. TAPとは 3ヶ月の研修で、技術経営に貢献できる若手人材を発掘・育成する 技術経営 技術力を駆使して、会社の持続的な成長を創ること 1. 経営に優れた選択肢を提供する 2. 技術によって競争優位性を生み出す 役員・主席エンジニアと直接ディスカッションできる ケーススタディ研修の様子 AJA の中長期技術戦略を提案し、役員・主席エンジニアからフィードバックをいただいた 出典：CyberAgent Company Deck 27
30. TAPで変わった考え方 技術の改善・投資を、事業の成長から逆算して考えるようになった 参加前 参加後 視点 CVRが上がるかどうか その改善が、顧客と事業に 何をもたらすか 視野 自分が担当する ランキングの範囲 事業全体と 中長期の技術投資 視座 良い実装をする エンジニア 経営層に技術の打ち手を 提案するエンジニア 28
31. SECTION 組織の挑戦 エンジニアが、なぜ採用に関わるのか？
32. Tech YJCとは 現場の社員が、自分たちの手で採用に関わり、リアルな挑戦を伝え継承していく 項目 内容 YJC 良い人を・自分たちで・ちゃんと採用する Tech YJC エンジニアが自らエンジニア採用に関わる 自分の役割 関西エリアのマネージャー クラウドネイティブハンズオン【ECS/EKS】in 関西 【大阪・梅田開催】YJC Connect Night 次世代との接点を、エンジニア自身の手でつくる 29
33. 次世代を創る 自分が受け取ったものを次世代へ返し、自分が挑戦の機会を創る活動へつなげたい 受け取った機会 広告効果の改善 DSCとの協働 TAPでの提案・助言 取り組むこと 目指す姿 イベントを設計 次世代の 取り組みを発信 挑戦を創る Tech YJC・今回の登壇 次に参加する人へ、仕事の面白さと挑戦の機会を届ける 30
34. SUMMARY まとめ
35. まとめ 事業を理解し、技術の打ち手を経営に提案して、周囲と実行に移せるエンジニアへ 話したこと 問い 答え 01 技術 広告効果の改善 広告効果は改善したのか？ バンディットでCVR約35%改善 コンテキスチュアル化は再評価へ 02 事業 TAP 技術への投資を どう事業の言葉にするか？ 技術の投資先を 顧客と事業の成果から考える 03 組織 Tech YJC エンジニアが なぜ採用に関わるのか？ 次の仲間との接点を 自分たちの手でつくるため AIがどんなに発展しても手をあげて挑戦するのは自分自身 31
36. これから 一人ではできないことを、組織として生み出し続けたい 1 2 3 4 挑戦する 視点を得る 組織で実現する 持続させる 飛び道具はない。 関わる人それぞれの 一人ではできないことを 大きな成果を生み続ける 改善と挑戦を続ける 視点で、視座が上がる 周囲と形にする 組織をつくる 挑戦を積み重ね、持続的に大きな成果を生む組織をつくる 32
37. ご清聴ありがとうございました