【HackSick vol.10 LT会】複数軸から見るSelf Attention改善手法の体系的整理

近年、性能改善と事前学習安定化、スーパーウェイトの発生抑制を目的としてさまざまな手法が提案されています。
Self Attentionの改善手法を複数軸で体系的に解説します。

Transcript

1. 複数軸から見るSelf Attention改善手法の体系的整理 GSXA: Gated Scalable Exclusive Self Attentionの提案
2. Vol.10
3. 自己紹介 / About us り っ か ぼ た ん 六花 牡丹 Rikka Botan 独立研究者（機械学習 / 代数学 / 数理論理学） Independent researcher (machine learning / algebra / mathematical logic) ◆趣味 お菓子作り・紅茶・クラシック鑑賞・お洋服 ◆最近の活動 Silver Award: Liquid AI Hackathon Series | Tokyo 記事執筆（Mamba, LFM2 (LTCs) 関連） SSE Model / NexteraBERT Modelシリーズの公開 X(Twitter) Portfolio
4. 目次 1 代表的なSelf Attention改善手法の体系的分類 2 性能向上以外の側面 3 各工程ごとの分類 4 GSXA: Gated Scalable Exclusive Self Attention 5 まとめ
5. 代表的なSelf Attention改善手法の体系的分類 Attention Sink 抑制 学習安定化 QK-Clip Learnable Bias 性能・表現力 XSA: Exclusive Self Attention Logit soft-capping NSA: Native Sparse Attention 量子化耐性 QK-Norm NoPE Gated Attention Differential Transformer KDA: Kimi Delta Attention TPA: Tensor Product Attention ResFormer Scalable Softmax DSA: Deepseek Sparse Attention CSA: Compressed Sparse Attention 外挿性向上 MLA: Multi-head Latent Attention GQA: Grouped Query Attention MSA: Minimax Sparse Attention SWA: Sliding Window Attention MoBA: Mixture of Block Attention Sigmoid Attention 推論・計算効率
6. 性能向上以外の側面 ▪複数軸から見るべき改善 Self Attentionの改善手法は単純にPPLを低下させるだけにとどまらない。 追加する演算量に対して、PPL低下量はそこまで大きくない場合もあるが、 それ以外の面の改善が大きく、採用されるケースが増えている。 例えば、Gated Attentionでは、Attention Sinkの抑制・事前学習安定化（Loss spike発生抑制）・外挿性向上 が報告されており、追加される演算量に対して得られる効果は大きい。
7. 各工程ごとの分類 ①射影： Query, Key, Value = Wx ②行列積： QKT / √d ③Softmax QK-Clip Logit soft-capping Scalable Softmax QK-Norm NSA: Native Sparse Attention Differential Transformer ResFormer MLA: Multi-head Latent Attention TPA: Tensor Product Attention KDA: Kimi Delta Attention Sigmoid Attention ④集約・出力 XSA: Exclusive Self Attention Gated Attention Learnable Bias DSA: Deepseek Sparse Attention NoPE MSA: Minimax Sparse Attention GQA: Grouped Query Attention MoBA: Mixture of Block Attention CSA: Compressed Sparse Attention SWA: Sliding Window Attention 実装においては、 手法ごとにSelf Attentionのどの工程に 変更を加えるかが異なる。 同値な式変形などによって 変更する工程を変えることもできる。 ②行列積部分はTritonカーネルなどへの影響が大きく、 比較的変更の難易度が高い。
8. GSXA: Gated Scalable Exclusive Self Attention ①射影： Query, Key, Value = Wx QK-Clip ②行列積： QKT / √d なし QK-Norm ResFormer GQA: Grouped Query Attention ▪GSXAの目的 ・外挿性向上 (Scalable Softmax, Gated Attention) ・事前学習安定化 (QK Norm, QK-Clip, Gated Attention) ・Attention Sink低減 (Scalable Softmax, Gated Attention) ・性能向上 (XSA, Scalable Softmax, Gated Attention) ・演算の軽量化 (GQA) ・量子化耐性向上 (Gated Attention, QK Norm) ③Softmax Scalable Softmax ④集約・出力 XSA: Exclusive Self Attention Gated Attention
9. GSXA: Gated Scalable Exclusive Self Attention ▪GSXAの評価結果 性能向上・外挿性向上が確認された。 事前学習の安定性・Attention Sink低減 ・量子化耐性向上の効果は さらなる検証が必要。
10. まとめ Self Attentionの改善手法はPPL低下だけが目的ではありません。 そのモデルにおいて、 何を改善したいのか、 そのタスクでどの性質が必要となるのか、 使用条件で何がボトルネックとなるのか を見極め、俯瞰的な視点で採用を決める必要があります。