Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介:WhitenedCSE: Whitening-based Contrastive L...

Taichi Aida
October 27, 2023

文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings

Taichi Aida

October 27, 2023
Tweet

More Decks by Taichi Aida

Other Decks in Research

Transcript

  1. 概要 - 対照学習を採用した SimCSE は文埋め込み学習の代表的な 手法であり、下記の操作で文埋め込みの学習を行うが、負例 間には操作が行われない - 正例と近づける(alignment) -

    負例から離す(uniform) - 埋め込み空間上の全てのデータを uniform にする白色化を 導入(WhitenedCSE) - タスクの性能を向上 - alignment, uniform を改善 2
  2. 対照学習の効果 - SimCSE [Gao+21] で採用されている対照学習 (b) は、 正例に近づけて alignment (似たものを近く配置)し、

    負例から離す際に(部分的に) uniform な空間を得る - 負例間では行われないのが重要 - 一方、白色化 (c) は空間全てのベクトルを uniform にする - 対照学習 (b) は部分的な白色化 (c)? - (b) は (a) と (c) の中間のようだが… 5
  3. 提案:WhitenedCSE - 得られたベクトルを白色化する - Group Whitening - 次元を k 分割して白色化→統合

    - Shuffled Group Whitening(提案) - シャッフルしてから Group Whitening - 複数回行うとデータ拡張にもなる 8
  4. まとめ - 対照学習を採用した SimCSE は文埋め込み学習の代表的な 手法であり、下記の操作で文埋め込みの学習を行うが、負例 間には操作が行われない - 正例と近づける(alignment) -

    負例から離す(uniform) - 埋め込み空間上の全てのデータを uniform にする白色化を 導入(WhitenedCSE) - タスクの性能を向上 - alignment, uniform を改善 - 白色化である必要性? - 通常の白色化 << グループにわけて白色化(Group Whitening) - 白色化以外の後処理手法を試すこともできるはず - ガウス潜在空間上に変換する手法 [Li+20] など 17
  5. 参考文献 [Mu+18] Jiaqi Mu, Pramod Viswanath. “All-but-the-Top: Simple and Effective

    Postprocessing for Word Representations”, ICLR2018 [横井ら21] 横井祥, 下平英寿. “単語埋め込みの確率的等方化 ”, NLP2021 [Yan+21] Yuanmeng Yan, Rumei Li, Sirui Wang, Fuzheng Zhang, Wei Wu, Weiran Xu. “ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer”, ACL-IJCNLP2021 [Sajjad+22] Hassan Sajjad, Firoj Alam, Fahim Dalvi, Nadir Durrani. “Effect of Post-processing on Contextualized Word Representations”, COLING2022 [Li+20] Bohan Li, Hao Zhou, Junxian He, Mingxuan Wang, Yiming Yang, Lei Li. “On the Sentence Embeddings from Pre-trained Language Models”, EMNLP2020 [Gao+21] Tianyu Gao, Xingcheng Yao, Danqi Chen. “SimCSE: Simple Contrastive Learning of Sentence Embeddings”, EMNLP2021 [Wang+20] Tongzhou Wang, Phillip Isola. “Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere”, ICML2020 18