Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 / Counterfactual VQA: A Cause-Effect Look...
Search
chck
August 16, 2021
Research
0
17
論文読み会 / Counterfactual VQA: A Cause-Effect Look at Language Bias
社内論文読み会、PaperFridayでの発表資料です
chck
August 16, 2021
Tweet
Share
More Decks by chck
See All by chck
CyberAgent AI Lab研修 / Container for Research
chck
0
1.8k
CyberAgent AI Lab研修 / Code Review in a Team
chck
2
1.6k
論文読み会 / Socio-Technical Anti-Patterns in Building ML-Enabled Software: Insights from Leaders on the Forefront
chck
0
41
CyberAgent AI事業本部MLOps研修Container編 / Container for MLOps
chck
2
5.5k
論文読み会 / GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models
chck
0
25
論文読み会 / On the Factory Floor: ML Engineering for Industrial-Scale Ads Recommendation Models
chck
0
10
論文読み会 / GUIGAN: Learning to Generate GUI Designs Using Generative Adversarial Networks
chck
0
18
機械学習開発のためのコンテナ入門 / Container for ML
chck
0
910
Web系企業研究所における研究開発を加速させるエコシステム / Ecosystem accelerates our R&D in CyberAgent AI Lab
chck
0
140
Other Decks in Research
See All in Research
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
120
診断前の病歴テキストを対象としたLLMによるエンティティリンキング精度検証
hagino3000
1
120
Trust No Bot? Forging Confidence in AI for Software Engineering
tomzimmermann
1
250
Delta Airlines® Customer Care in the U.S.: How to Reach Them Now
bookingcomcustomersupportusa
PRO
0
100
Generative Models 2025
takahashihiroshi
22
13k
最適化と機械学習による問題解決
mickey_kubo
0
150
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
370
Computational OT #4 - Gradient flow and diffusion models
gpeyre
0
350
A multimodal data fusion model for accurate and interpretable urban land use mapping with uncertainty analysis
satai
3
250
Principled AI ~深層学習時代における課題解決の方法論~
taniai
3
1.2k
研究テーマのデザインと研究遂行の方法論
hisashiishihara
5
1.5k
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
6.5k
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.5k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.5k
For a Future-Friendly Web
brad_frost
179
9.9k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
332
22k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Building Adaptive Systems
keathley
43
2.7k
Into the Great Unknown - MozCon
thekraken
40
2k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
182
54k
Music & Morning Musume
bryan
46
6.7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Transcript
Counterfactual VQA: A Cause-Effect Look at Language Bias 21/08/16 PaperFriday,
Yuki Iwazaki@AI Lab
2 Point: 画像とテキストを両方扱うタスクで、 フルモデルとテキストのみモデルの予測分布間の差分を利用した テキストのバイアス除去法を提案 CVPR 2021: acceptance rate 23.7%
Authors: Yulei Niu, Kaihua Tang, Hanwang Zhang, Zhiwu Lu, Xian-Sheng Hua, Ji-Rong Wen 選定理由: - Multimodal dataの偏りに悩むことが多い - Debiasに興味がある
Introduction 3
Debiased Visual Question Answering ◂ Visual Question Answering ◂ Answer
the question based on the image 4 Q: Do you see a player? A: Yes. Q: What sports is he playing? A: Tennis.
Debiased Visual Question Answering ◂ Dataset bias in VQA: language
bias 5 (VQA v1 dataset) Q: What sports is … ? Q: How many … ? language priors poor ODD generalization [Goyal, CVPR2017]
Related Work 6
Debiasing Strategies in VQA ◂ VQA-CP...VQAモデルの汎化性を評価するためのdataset ◂ train/testで質問タイプ毎に回答の分布が異なるように ◂ VQAの言語バイアス低減は大きく3種類
◂ 1.視覚情報の補強 ◂ 2.言語情報の弱化 ◂ 3.明示的/暗黙的なData Augmentation 7
Debiasing Strategies in VQA ◂ VQA-CP...VQAモデルの汎化性を評価するためのdataset ◂ train/testで質問タイプ毎に回答の分布が異なるように ◂ VQAの言語バイアス低減は大きく3種類
◂ 1.視覚情報の補強 ◂ 2.言語情報の弱化 ◂ 3.明示的/暗黙的なData Augmentation 8
9
10 Fact: 観測されるデータには常にバイアスがかかっている Challenge: 偏った学習をしていても偏りのない推論ができるか ?
Preliminaries 11
Causal Graph 12 変数間の因果関係を表すグラフ 原因Xが効果Yに直接影響を与えている場合、 X → Yと表す 原因Xが中間変数Mを介して 効果Yに間接的に影響を与えている場合、
X → M → Yと表す
Causal Graph 13 変数間の因果関係を表すグラフ 原因Xが効果Yに直接影響を与えている場合、 X → Yと表す 原因Xが中間変数Mを介して 効果Yに間接的に影響を与えている場合、
X → M → Yと表す コロナ罹患 年齢 ワクチン
Causal effects 異なる方策の介入(treatment)を受けた同一対象の 2つの世界線の結果を擬似的に比較したもの 14 treatment群(e.g.ワクチンあり) control群(e.g.ワクチンなし) Yに対するX=xのtotal effect 中間変数Mが介入しない状態での
XのYへのnatural direct effect. X=x*からX=xに変化したときのYの増加
Cause-Effect Look at VQA 15
16
17
18
Causal Graph for VQA ◂ Causal relations in VQA ◂
A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす 19
Causal Graph for VQA 20 ◂ Causal relations in VQA
◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす ◂ Direct path: Q→A, V→A ◂ Uni-modal alignment, direct effect
Causal Graph for VQA 21 ◂ Causal relations in VQA
◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす ◂ Direct path: Q→A, V→A ◂ Uni-modal alignment, direct effect ◂ Indirect path: V,Q→K→A ◂ Multi-modal reasoning, indirect effect
Ours: Cause-Effect View on VQA 22 Total Effect Nature Direct
Effect Total Indirect Effect VQAにおける因果効果は2シナリオ間( (1), (2) )の比較で導出可能
Implementation: Parameterization 23 V,Q,Kが与えられたときの目的変数の予測スコア Y_{v,q}:
Implementation: Parameterization 24 質問Qが与えられる 与えられない 画像Vが与えられる 与えられない 画像Vと質問Qが与えられる どちらかが与えられない
Implementation: Fusion Strategies 25
Implementation: Training 26
Implementation: Inference 27
Conventional Models 30
Experiments 31
Experiments ◂ VQA-CP dataset ◂ train/testの回答分布が大きく異なる場合に モデルの頑健性を評価するためのdataset ◂ VQA v2
dataset(re-balanced v1) ◂ VQA v1の反省を活かし分布偏りを改善したdataset ◂ metric: Accuracy ◂ baseline ◂ Stacked Attention Network (SAN) ◂ Bottom-up and Top-down Attention (UpDn) ◂ a simplified MUREL (S-MRL) 32
Quantitative Results 33
Quantitative Results 34
Ablation Study 35 baseline with CF-VQAによりbaselineより2%-5%の性能改善
Qualitative Results 37
Qualitative Results 38 Q: Is this room large or small?
Q: What type of flowers are theses? language context “large or small” “what type”
Qualitative Results 39
Conclusion 40
Conclusion ◂ VQAの言語バイアスを軽減するCF-VQAを提案 ◂ 総合効果から言語効果を引き算 ◂ 最近のdebias系の研究は提案手法で統一可能 ◂ 因果効果に基づいて1つのパラメータの追加で baselineを改善
◂ 頑健性とバイアス軽減のバランスが課題 41
Comment ◂ 斎藤さん、安井さん、成田さん、Susan Athey界隈の 有用な記事が無限に出てきました🙏 ◂ 本買ってもう少し勉強します 42
43 Thanks! Any questions? You can find me at: ◂
@chck ◂ #times_chck ◂
[email protected]