Emergence of simple-cell recep?ve field proper?es by learning a sparse code for natural images. 1996. Bell & Sejnowski. Edges are the ‘Independent Components’ of Natural Scenes. 1997. l ⾃然画像のICAで得た独⽴成分の可視化 l それぞれの画像はこれらの独⽴な特徴の 線形和として表現できる
l ヒートマップ ◦ ⾏: 単語ベクトル ◦ 列: 次元 (5/300) l 各要素の⼤⼩は解釈できない ◦ 独⽴な意味成分が300個の次元に分散して それぞれの単語の意味を表現しているので ⾃然なこと Mikolov et al. Distributed representa4ons of words and phrases and their composi4onality. NIPS2013.
2016] 26 英語 スペイン語 l 重ね合わせる直交変換を学習できる l Procrustes問題 Xing et al. Normalized Word Embedding and Orthogonal Transform for Bilingual Word Translation. NAACL 2015. Artetxe et al. Learning principled bilingual mappings of word embeddings while preserving monolingual invariance. EMNLP 2016.
2016] 27 英語 スペイン語 l 重ね合わせる直交変換を学習できる l Procrustes問題 l 別々に ICA をしたときの共通性を確認した [YOS, EMNLP 2023] Xing et al. Normalized Word Embedding and Orthogonal Transform for Bilingual Word Translation. NAACL 2015 Artetxe et al. Learning principled bilingual mappings of word embeddings while preserving monolingual invariance. EMNLP 2016