論文読み会 / Counterfactual VQA: A Cause-Effect Look at Language Bias

社内論文読み会、PaperFridayでの発表資料です

Transcript

1. Counterfactual VQA: A Cause-Effect Look at Language Bias 21/08/16 PaperFriday, Yuki Iwazaki@AI Lab
2. 2 Point: 画像とテキストを両方扱うタスクで、 フルモデルとテキストのみモデルの予測分布間の差分を利用した テキストのバイアス除去法を提案 CVPR 2021: acceptance rate 23.7% Authors: Yulei Niu, Kaihua Tang, Hanwang Zhang, Zhiwu Lu, Xian-Sheng Hua, Ji-Rong Wen 選定理由: - Multimodal dataの偏りに悩むことが多い - Debiasに興味がある
3. Introduction 3
4. Debiased Visual Question Answering ◂ Visual Question Answering ◂ Answer the question based on the image 4 Q: Do you see a player? A: Yes. Q: What sports is he playing? A: Tennis.
5. Debiased Visual Question Answering ◂ Dataset bias in VQA: language bias 5 (VQA v1 dataset) Q: What sports is … ? Q: How many … ? language priors poor ODD generalization [Goyal, CVPR2017]
6. Related Work 6
7. Debiasing Strategies in VQA ◂ VQA-CP...VQAモデルの汎化性を評価するためのdataset ◂ train/testで質問タイプ毎に回答の分布が異なるように ◂ VQAの言語バイアス低減は大きく3種類 ◂ 1.視覚情報の補強 ◂ 2.言語情報の弱化 ◂ 3.明示的/暗黙的なData Augmentation 7
8. Debiasing Strategies in VQA ◂ VQA-CP...VQAモデルの汎化性を評価するためのdataset ◂ train/testで質問タイプ毎に回答の分布が異なるように ◂ VQAの言語バイアス低減は大きく3種類 ◂ 1.視覚情報の補強 ◂ 2.言語情報の弱化 ◂ 3.明示的/暗黙的なData Augmentation 8
10. 10 Fact: 観測されるデータには常にバイアスがかかっている Challenge: 偏った学習をしていても偏りのない推論ができるか ?
11. Preliminaries 11
12. Causal Graph 12 変数間の因果関係を表すグラフ 原因Xが効果Yに直接影響を与えている場合、 X → Yと表す 原因Xが中間変数Mを介して 効果Yに間接的に影響を与えている場合、 X → M → Yと表す
13. Causal Graph 13 変数間の因果関係を表すグラフ 原因Xが効果Yに直接影響を与えている場合、 X → Yと表す 原因Xが中間変数Mを介して 効果Yに間接的に影響を与えている場合、 X → M → Yと表す コロナ罹患 年齢 ワクチン
14. Causal effects 異なる方策の介入(treatment)を受けた同一対象の 2つの世界線の結果を擬似的に比較したもの 14 treatment群（e.g.ワクチンあり） control群（e.g.ワクチンなし） Yに対するX=xのtotal effect 中間変数Mが介入しない状態での XのYへのnatural direct effect. X=x*からX=xに変化したときのYの増加
15. Cause-Effect Look at VQA 15
19. Causal Graph for VQA ◂ Causal relations in VQA ◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす 19
20. Causal Graph for VQA 20 ◂ Causal relations in VQA ◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす ◂ Direct path: Q→A, V→A ◂ Uni-modal alignment, direct effect
21. Causal Graph for VQA 21 ◂ Causal relations in VQA ◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす ◂ Direct path: Q→A, V→A ◂ Uni-modal alignment, direct effect ◂ Indirect path: V,Q→K→A ◂ Multi-modal reasoning, indirect effect
22. Ours: Cause-Effect View on VQA 22 Total Effect Nature Direct Effect Total Indirect Effect VQAにおける因果効果は2シナリオ間( (1), (2) )の比較で導出可能
23. Implementation: Parameterization 23 V,Q,Kが与えられたときの目的変数の予測スコア Y_{v,q}:
24. Implementation: Parameterization 24 質問Qが与えられる 与えられない 画像Vが与えられる 与えられない 画像Vと質問Qが与えられる どちらかが与えられない
25. Implementation: Fusion Strategies 25
26. Implementation: Training 26
27. Implementation: Inference 27
28. Conventional Models 30
29. Experiments 31
30. Experiments ◂ VQA-CP dataset ◂ train/testの回答分布が大きく異なる場合に モデルの頑健性を評価するためのdataset ◂ VQA v2 dataset(re-balanced v1) ◂ VQA v1の反省を活かし分布偏りを改善したdataset ◂ metric: Accuracy ◂ baseline ◂ Stacked Attention Network (SAN) ◂ Bottom-up and Top-down Attention (UpDn) ◂ a simplified MUREL (S-MRL) 32
31. Quantitative Results 33
32. Quantitative Results 34
33. Ablation Study 35 baseline with CF-VQAによりbaselineより2%-5%の性能改善
34. Qualitative Results 37
35. Qualitative Results 38 Q: Is this room large or small? Q: What type of flowers are theses? language context “large or small” “what type”
36. Qualitative Results 39
37. Conclusion 40
38. Conclusion ◂ VQAの言語バイアスを軽減するCF-VQAを提案 ◂ 総合効果から言語効果を引き算 ◂ 最近のdebias系の研究は提案手法で統一可能 ◂ 因果効果に基づいて1つのパラメータの追加で baselineを改善 ◂ 頑健性とバイアス軽減のバランスが課題 41
39. Comment ◂ 斎藤さん、安井さん、成田さん、Susan Athey界隈の 有用な記事が無限に出てきました🙏 ◂ 本買ってもう少し勉強します 42
40. 43 Thanks! Any questions? You can find me at: ◂ @chck ◂ #times_chck ◂ iwazaki_yuki@cyberagent.co.jp