Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
広告文生成タスクの規定とベンチマーク構築(NLP2023)
Search
Masato Mita
March 17, 2023
Research
0
460
広告文生成タスクの規定とベンチマーク構築(NLP2023)
言語処理学会第29回年次大会(NLP2023) の発表資料
Masato Mita
March 17, 2023
Tweet
Share
More Decks by Masato Mita
See All by Masato Mita
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
chemical_tree
1
260
論述リビジョンのためのメタ評価基盤
chemical_tree
0
340
ライティング支援のための文法誤り訂正
chemical_tree
2
1.7k
Other Decks in Research
See All in Research
大規模言語モデルを用いた日本語視覚言語モデルの評価方法とベースラインモデルの提案 【MIRU 2024】
kentosasaki
2
520
3次元点群の分類における評価指標について
kentaitakura
0
420
Weekly AI Agents News! 8月号 プロダクト/ニュースのアーカイブ
masatoto
1
190
ECCV2024読み会: Minimalist Vision with Freeform Pixels
hsmtta
1
140
Weekly AI Agents News! 7月号 論文のアーカイブ
masatoto
1
230
第 2 部 11 章「大規模言語モデルの研究開発から実運用に向けて」に向けて / MLOps Book Chapter 11
upura
0
390
Language is primarily a tool for communication rather than thought
ryou0634
4
740
湯村研究室の紹介2024 / yumulab2024
yumulab
0
280
メールからの名刺情報抽出におけるLLM活用 / Use of LLM in extracting business card information from e-mails
sansan_randd
2
140
Human-Informed Machine Learning Models and Interactions
hiromu1996
2
480
文化が形作る音楽推薦の消費と、その逆
kuri8ive
0
160
Introducing Research Units of Matsuo-Iwasawa Laboratory
matsuolab
0
920
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
[RailsConf 2023] Rails as a piece of cake
palkan
52
4.9k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
25
1.8k
Into the Great Unknown - MozCon
thekraken
32
1.5k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
28
2k
A Philosophy of Restraint
colly
203
16k
Unsuck your backbone
ammeep
668
57k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Writing Fast Ruby
sferik
627
61k
Documentation Writing (for coders)
carmenintech
65
4.4k
Producing Creativity
orderedlist
PRO
341
39k
Transcript
言語処理学会第29回年次大会(NLP2023) 広告文生成タスクの規定とベンチマーク構築 三田 雅人, 村上 聡一朗, 張 培楠(サイバーエージェント) H11-4
2 言語処理学会第29回年次大会(NLP2023) インターネット広告の種類 検索連動型広告 ディスプレイ広告 その他に SNS 広告, インフィード広告, 動画広告,
キャッチコピーなど色々ある
3 言語処理学会第29回年次大会(NLP2023) インターネット広告市場 ➢ 広告制作の自動化が喫緊の課題となっている 2018年のインターネット広告媒体費は 1兆4480億円に。モバイル +動画広告の 伸びに注目 市場は10年で約3倍もの規模に成長
Google Search Statistics and Facts 2023 (You Must Know) 検索クエリは前年比 約8%前後で増加
4 言語処理学会第29回年次大会(NLP2023) 自然言語処理技術を用いた広告文の自動生成 • ニューラル言語生成に基づく手法(例. EncDec)が主流 CTRが高い文への”翻訳” [Mishra+, 2020] 広告文
商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] クリック率 (CTR) = クリック数 ÷ 表示回数
5 言語処理学会第29回年次大会(NLP2023) 課題①: 問題設定として十分に規定されていない • ニューラル言語生成に基づく手法(例. EncDec)が主流 CTRが高い文への”翻訳” [Mishra+, 2020]
広告文 商材説明文書 CTR高い文 CTR低い文 広告文 キーワード 商材説明文書を”要約” [Hughes+, 2019; Kamigaito+, 2021] キーワードからの生成 [福田, 2019; 脇本+, 2020] タスクの入出力設定は? 既存タスク(例. 要約)との本質的な違いは? 満たすべき要件は? 研究題材としての学術的な意義は?
6 言語処理学会第29回年次大会(NLP2023) 課題② 共通データセット(ベンチマーク)がない • 既存研究は独自データを用いた個々の検証に留まっている ◦ 包括的な手法間の比較ができない ◦ データを持たない新規プレイヤーが参入できない
7 言語処理学会第29回年次大会(NLP2023) ベンチマークは問題を規定する • 問題の具体的な取り決めはベンチマークの設計者が行う(① ’ 問題の設定) ◦ 例. 何を入出力とするか
• 本質的に重要な部分が明らかになり , 技術の一般化が進む(②’ 比較・参入障壁) ▪ 研究の参入コストが下がる 共通のデータセット (ベンチマーク)
8 言語処理学会第29回年次大会(NLP2023) 本研究の概要 トップゴール: 広告文生成の学術分野としての発展 • 分野の参入障壁を下げてプレイヤー増 • 広告生成技術の一般化を促進 本研究の貢献:
• 広告文生成(Ad Text Generation)を応用横断的なタスクとして規定 • 初のベンチマークデータセットを構築 ◦ CAMERA📷: CA Multimodal Evaluation for Ad Text GeneRAtion • 広告文生成タスクの現状と今後の課題を報告 本発表では詳細は割愛
9 言語処理学会第29回年次大会(NLP2023) 広告文生成(Ad Text Generation)タスク • 入力: 商材に関する説明文書(x), ユーザ信号(a) •
出力: 広告文(y) • 目的: p (y|x,a) のモデル化 —---- 広告文生成モデル 説明文書 (x) 例: LPテキスト 広告文 (y) ユーザ信号 (a) 例: 検索キーワード, 購買履歴 広告の形態によって変動
10 言語処理学会第29回年次大会(NLP2023) 設計方針① マルチモーダル情報が活用できる • 多くの広告形態では視覚情報が併せて用いられている • LPのレイアウト情報を考慮することで生成品質向上 [村上ら, 22]
ランディングページ( LP) エンジニア 転職 キーワード ITエンジニアの転職 - ITエンジニア必見 ITエンジニアのための転職サービス。年収と仕事 内容付きで、企業があなたを競争入札 … 広告文
11 言語処理学会第29回年次大会(NLP2023) 設計方針② 業種別に評価できる • 効果的な広告文を作るためには具体的な訴求を入れることが重要 • 効果的な訴求表現は業種ごとに異なる [Murakami+, 22]
出典: https://www.cyberagent.co.jp/news/detail/id=27559
12 言語処理学会第29回年次大会(NLP2023) データセット構築手順 データセット全体 • 元データは運用実績のある検索連動型広告 • LP視覚情報の抽出(① ’ マルチモーダル情報の活用)
◦ LP画像(フルビュー)のスクリーンショット ◦ LP OCR処理済みテキスト 評価データセット • 広告アノテーションの専門家に追加で 3つの参照広告文を作成 • 業種ラベルの人手付与(② ’ 業種別評価) ◦ 人材, EC, 金融, 教育の4業種
13 言語処理学会第29回年次大会(NLP2023) CA Multimodal Evaluation for Ad Text GeneRAtion (CAMERA)
✔ 業種毎に評価可能 ✔ マルチモーダル情報が活用可能 ✔ マルチリファレンス評価が可能 https://github.com/CyberAgentAILab/camera 修明は“本当に行きたい学校 ”で高い合格 率を達成している塾です。勉強がうまく いっていない子を、“幸せな中学受験”で 「逆転合格」へ。... (省略) 1. 中学受験のための個別指導塾 2. 新規生徒募集キャンペーン実施中 3. 個人に合った指導・宿題でを提供 4. 今なら入塾金50%オフ 学習塾 中学 LPテキスト 検索キーワード LP画像(※) (参照)広告文 ※ 実際にはLPフルビュー画像および OCR処理済みテキストが含まれる
14 言語処理学会第29回年次大会(NLP2023) 実験の目的 • 提案ベンチマーク(CAMERA)の有用性を確認 ◦ 設計方針1: マルチモーダル情報が活用できる ◦ 設計方針2:
業種別に評価できる • 広告文生成タスクの現状と今後の課題を調査 ◦ 事前学習済みモデルの種類の影響は? ◦ 視覚情報は一貫して生成品質を向上させる? ◦ 業種別に結果にばらつきは? 有用な設計か?
15 言語処理学会第29回年次大会(NLP2023) 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦
T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 ※ 実験設定の詳細は予稿をご参照ください [村上ら, 22]の設定に準拠
16 言語処理学会第29回年次大会(NLP2023) 実験設定 • ベースラインモデル ◦ BART ◦ T5 ◦
T5 + OCR ◦ T5 + OCR + Layout ◦ T5 + OCR + Layout + Visual • 評価尺度 ◦ BLUE-4 (B-4) ◦ ROUGE-1 (R-1) ◦ キーワード挿入率 (Kwd) [村上ら, 22] から引用 事前学習済みモデルの種類の影響を調査 マルチモーダル情報の有用性を調査 ※ 実験設定の詳細は予稿をご参照ください LPと広告文の関連性を表す
17 言語処理学会第29回年次大会(NLP2023) • BART > T5 (B-4) • T5 >
BART (R-1, Kwd) 事前学習済みモデルの種類の影響(全体)
18 言語処理学会第29回年次大会(NLP2023) • 結果にばらつきが生じている • 人材: BART > T5 (B-4,
R-1) 事前学習済みモデルの種類の影響(業種別) ➢ 評価の目的に応じて適切に選択する必要あり
19 言語処理学会第29回年次大会(NLP2023) • OCR処理済みテキスト (+{o}) やレイアウト情報 (+{0,l})を入れると生成品 質(B-4, R-1)が向上 •
LPとの関連性(Kwd)は下がる マルチモーダル情報の有用性(全体)
20 言語処理学会第29回年次大会(NLP2023) • LPの画像特徴量(+{o,l,v})を加えるとR-1が低下(例: EC, 金融) • Kwdに関しては全体と同じ傾向 マルチモーダル情報の有用性(業種別) ➢
画像情報の一部がノイズとして機能した可能性あり cf. [村上ら, 22]
21 言語処理学会第29回年次大会(NLP2023) まとめ • 広告文生成を応用横断的なタスクとして規定 • 初のベンチマークデータ「CAMERA」を構築&一般公開 ◦ ✔ 業種毎に評価可能
◦ ✔ マルチモーダル情報が活用可能 ◦ ✔ マルチリファレンス評価が可能 • 本タスクの現状と今後の課題を報告 ◦ 広告文生成の性能は業種毎に大きく変動する ◦ マルチモーダル情報の効果的な活用が今後の課題 https://github.com/CyberAgentAILab/camera
22 補足資料
23 言語処理学会第29回年次大会(NLP2023) 広告文の要件 • 商材内容と整合がとれている(情報整合性) ◦ 入力に含意されている(忠実性) ◦ 入力に含意されていない情報を含むが外部知識に基づいている(事実 性)
• 商材内容からユーザの潜在的なニーズに応じて情報が取捨選択されている (情報圧縮性) ◦ 商材に関する特徴や魅力を短い文で表し即座にユーザの関心を惹き付 けることが同時に要求 ◦ 訴求できる情報を取捨選択(情報圧縮)されている必要
24 言語処理学会第29回年次大会(NLP2023) 従来タスクとの違い • クエリ指向要約(要約の一種) ◦ 目的: ユーザの明示的なクエリを確実に反映させた要約の提示 ◦ ユーザ信号:
顕在化されたニーズ • 広告文生成 ◦ 目的: ユーザの態度や行動に影響を与える要約の提示 ◦ ユーザ信号: 潜在的なニーズ ユーザ信号の曖昧性 評価観点 クエリ指向要約 選好の世界 合意形成がとれる世界 広告文生成
25 言語処理学会第29回年次大会(NLP2023) LPフルビューを考慮しないと難しい例