Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
広告文生成タスクの規定とベンチマーク構築(NLP2023)
Search
Masato Mita
March 17, 2023
Research
0
450
広告文生成タスクの規定とベンチマーク構築(NLP2023)
言語処理学会第29回年次大会(NLP2023) の発表資料
Masato Mita
March 17, 2023
Tweet
Share
More Decks by Masato Mita
See All by Masato Mita
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
chemical_tree
1
250
論述リビジョンのためのメタ評価基盤
chemical_tree
0
340
ライティング支援のための文法誤り訂正
chemical_tree
2
1.7k
Other Decks in Research
See All in Research
[2024.08.30] Gemma-Ko, 오픈 언어모델에 한국어 입히기 @ 머신러닝부트캠프2024
beomi
0
650
20240719_第2回熊本の交通を語る会
trafficbrain
0
510
DevGPT: Studying Developer-ChatGPT Conversations
taoxiaomark
0
120
いしかわ暮らしセミナー~移住にまつわるお金の話~
matyuda
0
140
Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices
masakat0
0
210
日本語医療LLM評価ベンチマークの構築と性能分析
fta98
3
550
ミニ四駆AI用制御装置の事例紹介
aks3g
0
160
Weekly AI Agents News! 9月号 論文のアーカイブ
masatoto
1
100
文化が形作る音楽推薦の消費と、その逆
kuri8ive
0
100
「並列化時代の乱数生成」
abap34
3
790
機械学習でヒトの行動を変える
hiromu1996
1
210
データサイエンティストをめぐる環境の違い 2024年版〈一般ビジネスパーソン調査の国際比較〉
datascientistsociety
PRO
0
450
Featured
See All Featured
Navigating Team Friction
lara
183
14k
YesSQL, Process and Tooling at Scale
rocio
167
14k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
Designing on Purpose - Digital PM Summit 2013
jponch
115
6.9k
Making Projects Easy
brettharned
115
5.9k
Building Your Own Lightsaber
phodgson
102
6.1k
Facilitating Awesome Meetings
lara
49
6k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Statistics for Hackers
jakevdp
796
220k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
Transcript
言語処理学会第29回年次大会(NLP2023) 広告文生成タスクの規定とベンチマーク構築 三田 雅人, 村上 聡一朗, 張 培楠(サイバーエージェント) H11-4
2 言語処理学会第29回年次大会(NLP2023) インターネット広告の種類 検索連動型広告 ディスプレイ広告 その他に SNS 広告, インフィード広告, 動画広告,
キャッチコピーなど色々ある
3 言語処理学会第29回年次大会(NLP2023) インターネット広告市場 ➢ 広告制作の自動化が喫緊の課題となっている 2018年のインターネット広告媒体費は 1兆4480億円に。モバイル +動画広告の 伸びに注目 市場は10年で約3倍もの規模に成長
Google Search Statistics and Facts 2023 (You Must Know) 検索クエリは前年比 約8%前後で増加
4 言語処理学会第29回年次大会(NLP2023) 自然言語処理技術を用いた広告文の自動生成 • ニューラル言語生成に基づく手法(例. EncDec)が主流 CTRが高い文への”翻訳” [Mishra+, 2020] 広告文
商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] クリック率 (CTR) = クリック数 ÷ 表示回数
5 言語処理学会第29回年次大会(NLP2023) 課題①: 問題設定として十分に規定されていない • ニューラル言語生成に基づく手法(例. EncDec)が主流 CTRが高い文への”翻訳” [Mishra+, 2020]
広告文 商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] タスクの入出力設定は? 既存タスク(例. 要約)との本質的な違いは? 満たすべき要件は? 研究題材としての学術的な意義は?
6 言語処理学会第29回年次大会(NLP2023) 課題② 共通データセット(ベンチマーク)がない • 既存研究は独自データを用いた個々の検証に留まっている ◦ 包括的な手法間の比較ができない ◦ データを持たない新規プレイヤーが参入できない
7 言語処理学会第29回年次大会(NLP2023) ベンチマークは問題を規定する • 問題の具体的な取り決めはベンチマークの設計者が行う(① ’ 問題の設定) ◦ 例. 何を入出力とするか
• 本質的に重要な部分が明らかになり , 技術の一般化が進む(②’ 比較・参入障壁) ▪ 研究の参入コストが下がる 共通のデータセット (ベンチマーク)
8 言語処理学会第29回年次大会(NLP2023) 本研究の概要 トップゴール: 広告文生成の学術分野としての発展 • 分野の参入障壁を下げてプレイヤー増 • 広告生成技術の一般化を促進 本研究の貢献:
• 広告文生成(Ad Text Generation)を応用横断的なタスクとして規定 • 初のベンチマークデータセットを構築 ◦ CAMERA📷: CA Multimodal Evaluation for Ad Text GeneRAtion • 広告文生成タスクの現状と今後の課題を報告 本発表では詳細は割愛
9 言語処理学会第29回年次大会(NLP2023) 広告文生成(Ad Text Generation)タスク • 入力: 商材に関する説明文書(x), ユーザ信号(a) •
出力: 広告文(y) • 目的: p (y|x,a) のモデル化 —---- 広告文生成モデル 説明文書 (x) 例: LPテキスト 広告文 (y) ユーザ信号 (a) 例: 検索キーワード, 購買履歴 広告の形態によって変動
10 言語処理学会第29回年次大会(NLP2023) 設計方針① マルチモーダル情報が活用できる • 多くの広告形態では視覚情報が併せて用いられている • LPのレイアウト情報を考慮することで生成品質向上 [村上ら, 22]
ランディングページ( LP) エンジニア 転職 キーワード ITエンジニアの転職 - ITエンジニア必見 ITエンジニアのための転職サービス。年収と仕事 内容付きで、企業があなたを競争入札 … 広告文
11 言語処理学会第29回年次大会(NLP2023) 設計方針② 業種別に評価できる • 効果的な広告文を作るためには具体的な訴求を入れることが重要 • 効果的な訴求表現は業種ごとに異なる [Murakami+, 22]
出典: https://www.cyberagent.co.jp/news/detail/id=27559
12 言語処理学会第29回年次大会(NLP2023) データセット構築手順 データセット全体 • 元データは運用実績のある検索連動型広告 • LP視覚情報の抽出(① ’ マルチモーダル情報の活用)
◦ LP画像(フルビュー)のスクリーンショット ◦ LP OCR処理済みテキスト 評価データセット • 広告アノテーションの専門家に追加で 3つの参照広告文を作成 • 業種ラベルの人手付与(② ’ 業種別評価) ◦ 人材, EC, 金融, 教育の4業種
13 言語処理学会第29回年次大会(NLP2023) CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA)
✔ 業種毎に評価可能 ✔ マルチモーダル情報が活用可能 ✔ マルチリファレンス評価が可能 https://github.com/CyberAgentAILab/camera 修明は“本当に行きたい学校 ”で高い合格 率を達成している塾です。勉強がうまく いっていない子を、“幸せな中学受験”で 「逆転合格」へ。... (省略) 1. 中学受験のための個別指導塾 2. 新規生徒募集キャンペーン実施中 3. 個人に合った指導・宿題でを提供 4. 今なら入塾金50%オフ 学習塾 中学 LPテキスト 検索キーワード LP画像(※) (参照)広告文 ※ 実際にはLPフルビュー画像および OCR処理済みテキストが含まれる
14 言語処理学会第29回年次大会(NLP2023) 実験の目的 • 提案ベンチマーク(CAMERA)の有用性を確認 ◦ 設計方針1: マルチモーダル情報が活用できる ◦ 設計方針2:
業種別に評価できる • 広告文生成タスクの現状と今後の課題を調査 ◦ 事前学習済みモデルの種類の影響は? ◦ 視覚情報は一貫して生成品質を向上させる? ◦ 業種別に結果にばらつきは? 有用な設計か?
15 言語処理学会第29回年次大会(NLP2023) 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦
T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 ※ 実験設定の詳細は予稿をご参照ください [村上ら, 22]の設定に準拠
16 言語処理学会第29回年次大会(NLP2023) 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦
T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 事前学習済みモデルの種類の影響を調査 マルチモーダル情報の有用性を調査 ※ 実験設定の詳細は予稿をご参照ください LPと広告文の関連性を表す
17 言語処理学会第29回年次大会(NLP2023) • BART > T5 (B-4) • T5 >
BART (R-1, Kwd) 事前学習済みモデルの種類の影響(全体)
18 言語処理学会第29回年次大会(NLP2023) • 結果にばらつきが生じている • 人材: BART > T5 (B-4,
R-1) 事前学習済みモデルの種類の影響(業種別) ➢ 評価の目的に応じて適切に選択する必要あり
19 言語処理学会第29回年次大会(NLP2023) • OCR処理済みテキスト (+{o}) やレイアウト情報 (+{0,l})を入れると生成品 質(B-4, R-1)が向上 •
LPとの関連性(Kwd)は下がる マルチモーダル情報の有用性(全体)
20 言語処理学会第29回年次大会(NLP2023) • LPの画像特徴量(+{o,l,v})を加えるとR-1が低下(例: EC, 金融) • Kwdに関しては全体と同じ傾向 マルチモーダル情報の有用性(業種別) ➢
画像情報の一部がノイズとして機能した可能性あり cf. [村上ら, 22]
21 言語処理学会第29回年次大会(NLP2023) まとめ • 広告文生成を応用横断的なタスクとして規定 • 初のベンチマークデータ「CAMERA」を構築&一般公開 ◦ ✔ 業種毎に評価可能
◦ ✔ マルチモーダル情報が活用可能 ◦ ✔ マルチリファレンス評価が可能 • 本タスクの現状と今後の課題を報告 ◦ 広告文生成の性能は業種毎に大きく変動する ◦ マルチモーダル情報の効果的な活用が今後の課題 https://github.com/CyberAgentAILab/camera
22 補足資料
23 言語処理学会第29回年次大会(NLP2023) 広告文の要件 • 商材内容と整合がとれている(情報整合性) ◦ 入力に含意されている(忠実性) ◦ 入力に含意されていない情報を含むが外部知識に基づいている(事実 性)
• 商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている (情報圧縮性) ◦ 商材に関する特徴や魅力を短い文で表し即座にユーザの関心を惹き付 けることが同時に要求 ◦ 訴求できる情報を取捨選択(情報圧縮)されている必要
24 言語処理学会第29回年次大会(NLP2023) 従来タスクとの違い • クエリ指向要約(要約の一種) ◦ 目的: ユーザの明示的なクエリを確実に反映させた要約の提示 ◦ ユーザ信号:
顕在化されたニーズ • 広告文生成 ◦ 目的: ユーザの態度や行動に影響を与える要約の提示 ◦ ユーザ信号: 潜在的なニーズ ユーザ信号の曖昧性 評価観点 クエリ指向要約 選好の世界 合意形成がとれる世界 広告文生成
25 言語処理学会第29回年次大会(NLP2023) LPフルビューを考慮しないと難しい例