AIを使った広告商品の開発と評価設計の話

Transcript

1. AIを使った広告商品の開発と評価設計の話 浜谷 巴菜 / ABEMA MIU Tech Night 2026.10.01
2. 1. サイバーエージェントでのキャリア 2. AIを使った広告商品の開発 3. AI精度の評価設計
3. サイバーエージェントでのキャリア
4. Profile 浜谷 巴菜 経歴 • 富山県出身 • 2021年不動産会社に入社し売買・賃貸システ ムの開発（Ruby on Rails） • 2024年サイバーエージェントRe:Career入社 • ABEMAに出向し広告入稿システム開発（Go）
5. 採用活動と社内イベントの運営 採用活動 ・学生向けインターンシップ「Go College」でメンター ・採用関連のイベントに年2〜3回参加 Tech DE&I プロジェクト ・「Women Tech Terrace」の運営スタッフ ・社内女性エンジニアの交流支援 03
6. めざすキャリア ビジネスリードエンジニア（BLE） 課題発見・要件定義・設計・実装・運用を一気 通貫で担う 「どう作るか」だけでなく、 「何を作るべきか」から主体的に関与する 評価制度も、事業インパクトを重視する体系へ https://www.cyberagent.co.jp/news/detail/id=33755 04
7. AIを使った広告商品の開発
9. ABEMAのエンジニア 広告 ペイパービュー(PPV)提供 サイバー攻撃 セキュリティリスク 動画があるストレージ • 番組編成 • 画面編成 • 字幕 テレビ局 スタジオ収録 • 番組推薦 • アクセス集中 • 生配信 などの品質向上 Webブラウザ テレビ サイズ、音量など 動画品質を均一に スマホ 動画編集 TV局 プレミアム会員 向け課金機能
10. アドテクエンジニアの仕事 依頼 入稿 ABEMA広告入 稿システム ・在庫資産 ・ターゲット指定 ・素材アップロード ・レポート 広告を出したい人 (商品の持ち主) 広告を企画する人 (広告代理店) �� 商品企画 要求整理 PdM エンジニア 開発 ABEMA広告配 信システム ・配信ロジック ・フリークエンシー /インプレッション 配分 ・高トラフィック処 理 配信
11. AI広告商品「AIマッチ（仮）」とは 商材 相性 番組 「この商材と、この番組の相性」でマッチングする広告商品 番組コンテンツを自社で管理しているABEMAの強みを活かす 05
12. cookieレス / IDFAレスでも成立する配信 従来の行動ターゲティング（顕在層配信） ある人に IDを振る 行動履歴を 貯める 別の場所で その人に当てる 識別子が切れると 履歴が繋がらない 「いまこの番組が 再生されている」 相性の良い 商材を配信 視聴者が誰かを 知る必要がない AIマッチ 番組と商材の相性を 事前に計算 識別子が効かなくなるほど顕在層配信が弱り、AIマッチの選択肢の価値が上がる 06
13. 番組マッチングの仕組み 番組カタログ 番組名・ジャンル・内容 視聴デモ グラ構成比 LLM 商材情報 広告主・商品名 業種・ キーワード ターゲット デモグラ 埋め込み ベクトル検索 クエリ拡張 ベクトル化 候補選抜 上位60番組 商材から派生する 文脈語 彙を生成 商材と番組を 同じ意味空 間へ 意味の近さ ＋ 配信実績 相性の良い順に 並ん だリスト 判断が要る部分 意味距離を測る カタログ全体から絞る 07
14. AI精度の評価設計
15. 「AIが提案する番組リストの納得度が低い」
16. 納得度を測る指標を先に作った 判定LLMによる関連度 mean_relevance Precision@K どの商材・どの番組でも同じ基準で採点 PdMと作った商材ごとの期待番組リスト 全体の質 一致率 リスト全体の関連度の平均 人が判断した場合とのズレ 外れの少なさ 「この番組群は出るはず」がどれだけ出たか 上位K件のうち、関連ありの割合 nDCG@K 並び順の質 関連度の高い番組が上位にあるか 感覚的な良し悪し → 同じ数字で議論する 09
17. ルーブリック評価とは ↪ 採点基準を、観点ごとの項目に分解して評価する方法 01 02 03 基準を項目に分解する 項目ごとに判定する ルールで点にする 何をもって良しとするかを、 観点ご とに文章で書き出す 項目単位なら判断が単純になり、 採 点者が違っても結果がそろう 判定結果から点数を出す手順を、 あ らかじめ決めておく 12
18. LLM任せの採点をやめ、点数の積み上げにする これまで 判定LLMが「総合的に何点か」を直接答える これから 判定LLMは Yes / No だけ答え、点数はコードが決める 試行ごとに点が揺れる 同じ入力でも位置が動く Yes / No が積み上がる Y 訴求ポイント Y 業種特有の相性 N 想定視聴者層 N 利用シーン コードが決める score 判定の揺れる余地を、構造で減らす 13
19. 点数の内訳を定義する 判定LLM 集計 / 定義のまま コード 上位60番組それぞれに 7項目を Yes / No 0〜3 の score を決める 接点4項目の Yes の数 点数は付けさせない 2つ以上 Yes 接点を問う4項目 3 mean_relevance (1/K) · Σ sᵢ 訴求ポイント 業種特有の相性 想定視聴者層 利用シーン 1つ Yes 一般的な親和性のみ 2 1 Precision@K |{ i : sᵢ ≥ 2 }| / K nDCG@K 一般的な親和性 それ以外 0 DCG@K / IDCG@K ネガティブ連想 / 喫煙・飲酒 ネガティブ連想・喫煙飲酒 → 減点 3指標はどれも、この score を直接の入力にしている 式は同じでも、score が変われば値は動く。 分布を 取り直したうえで閾値を引き直す 12
20. 「納得度が低い」を、運用できる指標に いま 次 判定基準を書き直し、オフライン で検証 同じ判定基準と集計を骨格に、オンライン評価バッチ へ 定期実行 → 時系列で積まれる → 閾値を割ったら気づける ↺ 17
21. ご清聴ありがとうございました！ Re:Careerでサイバーエージェントに 挑戦してみてよかった 🌼 ✅ AI活用を会社全体で推進していて習熟度 の目標を置き浸透させている ✅ Datadogを使った監視と評価という専門 領域を伸ばせた https://www.cyberagent.co.jp/careers/special/students/tech_potential/ ✅ 要件定義 ~リリースまでのプロジェクト進行 管理までを任せてもらえて、ビジネスリードエ ンジニアのキャリアに向かえている 03