MLP Can Be A Good Transformer Learner

第61回 コンピュータビジョン勉強会@関東で発表した資料です。

1. 2024/07/07 1 第61回 コンピュータビジョン勉強会＠関東（前編） MLP Can Be A Good Transformer Learner 2024/07/07 鬼城 渉(@onixwr) セーフィー株式会社
2. 2024/07/07 2 ◆鬼城 渉(@onixwr) ◼セーフィー株式会社 • 開発本部第3開発部 Ai Vision G グループリーダー • クラウドカメラ向けの画像認識の開発 ◆略歴 ◼サキコーポレーション（1社目） • 外観検査装置の開発 ◼オリンパスデジタルシステムデザイン（2社目） • 画像処理・画像認識の研究開発 ◼トヨタ自動車（3社目） • 自動運転のカメラ・画像処理の開発 自己紹介
3. 2024/07/07 3 ◆MLP Can Be A Good Transformer Learner, CVPR 2024 Sihao Lin1, Pumeng Lyu2, Dongrui Liu2,3, Tao Tang4, Xiaodan Liang4,5,7, Andy Song1, Xiaojun Chang6,7 1.RMIT University, 2.Shanghai AI Laboratory, 3.Shanghai Jiao Tong University, 4.Shenzhen Campus of Sun Yat-sen University, 5.DarkMatter AI Research, 6.University of Technology Sydney, 7.MBZUAI 今回紹介する論文
4. 2024/07/07 4 導入・既存研究
5. 2024/07/07 5 ◆Vision Transformerの計算コストを減らしたい ◼既存研究ではToken aggregation/pruningを行うことで計算量を削減しているが、 ネットワークをすべてロードするのでメモリのロードコストは変わらない ◆既存研究 ◼Token Aggregation：似たトークンを結合する • [5] Daniel Bolya et al. : “Token Merging: Your ViT But Faster”, ICLR 2023など ◼Token Pruning：冗長なトークンを除去 • [27] Yongming Rao et al. : “Efficient vision transformers with dynamic token sparsification”, Advances in neural information processing systems 2021など モチベーション・既存研究
6. 2024/07/07 6 ◆入力に近いレイヤーではアテンションレイヤーとMLPレイヤーともに 出力のエントロピーが低い ◆MLPを活用して、アテンションレイヤーを置き換えられないか？ Transformer Blockのエントロピー
7. 2024/07/07 7 ◆ランダムにレイヤーを削減すると、 認識性能が低下し、転送エントロピーが増加し、ともに分散が増加 ◆レイヤーの組み合わせによる相互作用があることが示される アテンションレイヤーの削減
8. 2024/07/07 8 ◆不要なアテンションレイヤーからMLPレイヤーへの知識移植 (Transplants knowledge)を行う枠組みの提案 ◆転送エントロピー（Transfer Entropy）を用いてアテンションレイヤー と最終レイヤーの相関性を特定し、ネットワークの性能が劣化しないレ イヤーを見つける方法を提案 ◆アテンションレイヤーを希釈化していく学習方法を提案 論文のコントリビューション
9. 2024/07/07 9 手法
10. 2024/07/07 10 ◆レイヤーの出力する特徴量のエントロピーは以下で計算できる ◆特徴量の分布は計測が難しいので、 各次元が正規分布𝑁(𝜇, 𝜎2)に従っていると近似する レイヤーのエントロピー 定数項は無視
11. 2024/07/07 11 ◆特徴量のエントロピーH(F)はチャンネルごとの エントロピーの総和で計算 ◆（解釈）特徴量のエントロピーが大きい →特徴量の分布が偏っていない →レイヤーの情報量が大きい レイヤーのエントロピー 𝜙(𝐹𝑗) ：𝐹の𝑗番目のチャンネルの標準偏差
12. 2024/07/07 12 ◆転送エントロピー（Transfer Entropy）は2つのレイヤーの間で転送さ れる情報量 ◼ターゲットレイヤーに対する、ソースレイヤーの重要度 ◼転送エントロピーが小さいほどソースレイヤーの重要度が高い 転送エントロピー sourceアテンションレイヤーを恒等写像に置き換えた ときのエントロピー
13. 2024/07/07 13 ◆アテンションレイヤーの出力にスパースマスクMをかけて、徐々に M=1→0にしながら学習することで最終的にアテンションレイヤーがな いネットワークにする MLPレイヤーへの知識移植 Mが0に近づくと𝑓attnの全体の勾配が減少 1 − 𝑀 ⊙ 𝑥の項を足すことで勾配の減少を補償する ◆最終的にM＝0で𝑓attn = 2𝑥となり、アテンションレイヤーを恒等写像 に置き換えた出力になる
14. 2024/07/07 14 MLPレイヤーへの知識移植 Self- attention MLP 𝑥 + + 𝑓mlp Self- attention MLP 𝑥 + + 𝑓mlp 1 − 𝑀 ⊙ M⊙ Identical Mapping Identical Mapping MLP 𝑥 + + 𝑓mlp 𝑓attn 𝑓attn 2𝑥 M=1 M=0 アテンションレイヤーの希釈化
15. 2024/07/07 15 ◆転送エントロピーを最小にするアテンショ ンレイヤーを除去対象として選択する ◆欲張り法を繰り返して複数のレイヤーを選 択する 学習アルゴリズムの手順 ◆除去対象のレイヤーでスパースマスクMを 徐々に1→0に近づけながら学習を繰り返す ◆提案手法 NOSE=Entropy-based Selection Strategy
16. 2024/07/07 16 実験
17. 2024/07/07 17 ◆ネットワーク ◼DeiT-Bを利用 • Transformer Blockが12個のViT ◆データセット 実験条件 データセット タスク クラス数 学習データ数 検証データ数 ImageNet-1k 画像識別 1000 1,000,000 50,000 CIFAR-100 画像識別 100 5,000 1,000 ADE20k セマンティック セグメンテーション 150 20,000 2,000 Patch Embededding Layer Transformer Block Transformer Block Transformer Block Task-Specific Head … elf attention ML
18. 2024/07/07 18 ◆ImageNet-1kを用いて、提案手法とランダムにアテンションレイヤー を選択した場合と比較 ◆ランダムな除去に比べて性能も劣化せず、転送エントロピーの増加も 少なく、提案手法の有効性が示せている レイヤー選択方法の妥当性の検証
19. 2024/07/07 19 ◆アテンションレイヤーを除去することで、スループットとメモリー限界を改善しつ つ、認識精度を実現 ◆Token Merging手法（ToMe[5]）と合わせると更に性能向上 ◼ [5] Daniel Bolya et al. : “Token Merging: Your ViT But Faster”, ICLR 2023 ImageNet1Kによる実験結果
20. 2024/07/07 20 ◆Token Pruning手法よりも良い制度を実現 ◼Token Pruningでは冗長なトークンを除去してしまっているため、データセット のバイアスを学習しており、未知のデータセットへの汎用性が低い CIFAR-100による実験結果 Fine-tuning : ImageNet1-Kの学習済モデルから全パラメタを追加学習 Linear probing : ImageNet-1Kの学習済みモデルを固定化して識別器だけ学習
21. 2024/07/07 21 ◆ADE20k（セマンティックセグメンテーション）による実験結果でも、 40％アテンションレイヤーを削っても認識性能が維持できている ADE20kによる実験結果
22. 2024/07/07 22 ◆ImageNet-1kで5レイヤーを除去した場合を可視化 ◼ レイヤーのエントロピーではなく、最終出力との転送エントロピーを考慮してレイヤーの選択が なされている ◼ 連続したレイヤーは初期に選択されていない →連続したレイヤーは最終出力に対して複雑な相互作用をしている可能性がある レイヤーの除去の可視化 色：各レイヤーの転送エントロピー 点線：選択されたレイヤー ドット：すでに選択されたレイヤー
23. 2024/07/07 23 Ablation Study ◆スパースマスクの1→0への減衰 方法を比較 ◆線形かコサインかで差はない ◆ステップ数では差が見られる ◼ステップ数が大きく減衰がゆるやな 場合のほうが性能劣化は少ない ◆Feature Compensationがあった ほうが性能は良い Feature Compensationなし Feature Compensationあり
24. 2024/07/07 24 ◆ImageNet-1kで6レイヤーを除去した場合のMLPレイヤーのエントロ ピーを計測 ◆提案手法によりベースラインよりMLPレイヤーのエントロピーが増加 しており、情報量が増加 MLPレイヤーのエントロピー
25. 2024/07/07 25 ◆各Transformer Blockの出力を周波数分析 ◼高周波成分は汎化性に寄与しており[2, 12]、高周波成分が増えることで性能低 下を回避できていると説明できる 周波数分析
26. 2024/07/07 26 まとめ
27. 2024/07/07 27 MLP Can Be A Good Transformer Learner ◆どんなもの？ ◼ Vision Transformerのアテンションレイヤーを削除 する手法の提案 ◆先行研究と比べてどこがすごいの？ ◼ 従来手法ではトークンの集約や除去だったが、アテ ンションレイヤーそのものを除去した ◆技術や手法の"キモ"はどこにある？ ◼ 転送エントロピーを元に不要なアテンションレイ ヤーを選択し、アテンションレイヤーの情報を MLPレイヤーに知識移植 ◆どうやって有効だと検証した？ ◼ ImageNet-1k, CIFAR-100,ADE20kを使って評価し た ◆議論はある？ ◼ Vision Transformerでは、識別器に近いブロックが 認識性能への寄与が大きい？ ◆次に読むべき論文は？ ◼ [12] Jintao Guo et al. : “A lightweight mlp-like architecture with dynamic lowfrequency transform for domain generalization”, CV R2023