主成分分析(Principal Component Analysis, PCA)

主成分分析 (PCA) とは？
PCAの図解
PCAで できること
データセットの表し方
PCAの前に
2変数のときのPCA (3変数以上への拡張も簡単)
主成分とローディング
行列で表すと・・・
第１主成分を考える
ローディングの規格化条件
主成分の分散を最大化
Sを最大化するローディングを求める
Lagrangeの未定乗数法
Gを偏微分して 0
行列で表す
固有値問題へ
寄与率
累積寄与率
逆写像
逆写像のしかた
PCAのプログラミング課題: http://datachemeng.com/pythonassignment/

Transcript

1. 主成分分析 Principal Component Analysis PCA 0 明治大学 理⼯学部 応用化学科 データ化学⼯学研究室 ⾦⼦ 弘昌
2. 主成分分析 (PCA) とは︖ 主成分分析 (Principal Component Analysis, PCA) • ⾒える化 (可視化) する手法 • 多変量 (多次元) のデータセットを低次元化する方法 • データセットのもつ情報量をなるべく失わないように 元の次元から より低い次元でデータセットを表現 ⁃ “より低い次元” を２次元にすれば可視化を達成 • 軸を回転 (＋反転) させる 1
3. PCAの図解 2 X1 : ⾝⻑ 例) １５⼈の⾝⻑・体重データ (多次元のデータ) X2 : 体重 PCA 第１主成分軸 第２主成分軸 第１主成分だけでも、１５⼈のだいたいの情報はおさえられる
4. PCAで できること データセットのだいたいの様⼦を⾒る • いろいろな主成分同⼠のプロットを⾒る • それぞれの主成分の角度を⾒ることで、データセットがどんな方向に 分布しているか分かる ノイズを除く • 第4成分以降をノイズとみなして、第1,2,3主成分のみ使う、とか データセットの中で外れているサンプルを探す • PCAをした後に主成分のプロットを⾒たとき、他のサンプルと 離れているサンプルは、PCA前のサンプル同⼠も必ず離れている 変数 (PCA後は成分) の間の相関を 0 にする • 回帰分析をしたときの回帰係数の値が安定になる 3
5. データセットの表し方 4 (1) (1) (1) 1 2 (2) (2) (2) 1 2 ( ) ( ) ( ) 1 2 d d n n n d x x x x x x x x x ⋯ ⋯ ⋮ ⋮ ⋯ ⋮ ⋯ ( ) k i x : k 個目のサンプルにおける、i 番目の変数(記述⼦) の値 d n : 変数(記述⼦) の数 : サンプルの数 変数(記述⼦) サンプル
6. PCAの前に PCAの前に、必ず前処理を⾏いましょう • 分散が 0、もしくは同じ値を多くもつ変数の削除 • オートスケーリング 詳しくは こちら 5
7. 2変数のときのPCA (3変数以上への拡張も簡単) 6 (1) (1) 1 2 (2) (2) 1 2 ( ) ( ) 1 2 n n x x x x x x ⋮ ⋮ サンプル 変数(記述⼦) 1 2 x x
8. 主成分とローディング 7 ( ) ( ) ( ) ( ) 1 2 1 1 1 2 1 1 2 2 1 2 2 2 t = x x t = x x p p p p + + t i : 第 i 主成分 ( ) j i p : 第 i 主成分に対応する、j 番目の変数(記述⼦) の重み (ローディング)
9. ⾏列で表すと・・・ 8 ( ) ( ) ( ) ( ) (1) (1) (1) (1) 1 2 1 2 1 1 (2) (2) (2) (2) 1 2 1 2 1 2 2 2 1 2 ( ) ( ) ( ) ( ) 1 2 1 2 n n n n t t x x p p t t x x p p t t x x               =                       ⋮ ⋮ ⋮ ⋮ ( ) k i x : k 個目のサンプルにおける、i 番目の変数(記述⼦) の値 ( ) j i p : 第 i 主成分に対応する、j 番目の変数(記述⼦) の重み (ローディング) : k 個目のサンプルにおける、第 i 主成分の値 ( ) k i t
10. 第１主成分を考える 9 ( ) ( ) 1 2 1 1 1 2 1 t = x x p p +
11. ローディングの制約条件 ローディング(重み)を定数倍することで、主成分が変わってしまうため ローディングの二乗和は 1 とする 10 ( ) ( ) ( ) ( ) 2 2 1 2 1 1 1 p p + =
12. 主成分の分散を最大化 データセットのばらつき (分散) が最大の方向を第一主成分軸とする 元のデータセットはオートスケーリングしてあり、各変数の平均は 0 p.7 のように変数の線形結合で表される主成分の平均も 0 分散を最大化させることは、主成分の値の二乗和を最大化させることに 対応する  を最大化させる︕ 11 ( )2 ( ) 1 1 n i i S t = =  : i 個目のサンプルにおける、第１主成分の値 ( ) 1 i t
13. Sを最大化するローディングを求める 12 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 1 1 2 1 2 1 1 2 1 1 2 2 2 2 1 1 2 2 1 1 1 1 1 2 1 2 1 1 1 2 n i i n i i i n n n i i i i i i i S t x p x p p x p p x x p x = = = = = = = + = + +      ( ) ( ) ( ) ( ) 2 2 1 2 1 1 1 p p + = ( ) ( ) 1 2 1 1 , p p が規格化条件 を満たしながら S を最大化する Lagrange の未定乗数法
14. Lagrangeの未定乗数法 13 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 2 1 2 1 1 2 2 2 2 2 2 1 1 2 2 1 2 1 1 1 1 1 2 1 2 1 1 1 1 1 1 2 1 n n n i i i i i i i G S p p p x p p x x p x p p λ λ = = =   = − + −       = + + − + −        λ を未知の定数として下の G が最大となる λ , を求める ( ) ( ) 1 2 1 1 , p p G が最大 G が極大 G を λ , で偏微分して 0 ( ) ( ) 1 2 1 1 , p p
15. Gを偏微分して 0 14 G が最大 G が極大 G をλ , で偏微分して 0 ( ) ( ) 1 2 1 1 , p p ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 1 2 1 1 1 2 1 1 1 2 1 2 1 2 1 2 1 1 1 0 0 n n i i i i i n n i i i i i x p x x p x x p x p λ λ = = = =     − + =             + − =             ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 1 1 1 2 1 1 1 2 2 1 1 2 2 1 1 n n i i i i i n n i i i i i x x x p p x x x λ λ = = = =   −       =         −         0 ⾏列で表現
16. ⾏列で表す 15 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 1 1 1 2 1 1 1 2 2 1 1 2 2 1 1 n n i i i i i n n i i i i i x x x p p x x x λ λ = = = =   −       =         −         0 ( ) T 1 λ − = X X E p 0 ( ) ( ) (1) (1) 1 2 1 (2) (2) 1 1 2 1 2 1 ( ) ( ) 1 2 1 0 , , 0 1 n n x x p x x p x x           = = =                   X E p ⋮ ⋮ ただし、
17. 固有値問題へ 16 以外の解をもつためには、 ( ) ( ) 1 2 1 1 0 p p = = ( ) T λ − X X E の⾏列式が 0 である必要がある λ を固有値、 p1 に加えて p2 を固有ベクトルとする固有値問題 これによって p1 , p2 を求め、対応する主成分を計算する ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 1 1 1 2 1 1 1 2 2 1 1 2 2 1 1 n n i i i i i n n i i i i i x x x p p x x x λ λ = = = =   −       =         −         0 ( ) T 1 λ − = X X E p 0
18. 寄与率 17 第 i 主成分に対応する固有値 λi は、その主成分の二乗和に等しい つまり、 ( )2 ( ) 1 n j i i j t λ = =  固有値 λi を第 i 主成分のもつ情報量と仮定する 全固有値の中の λi の割合を寄与率 ci として、 第 i 主成分のもつ情報量の割合として⽤いる 1 i i m j j c λ λ = =  m : すべての主成分の数
19. 累積寄与率 第 i 主成分までの寄与率の和を、第 i 主成分までの累積寄与率とする たとえば、 • 可視化した第２主成分までの累積寄与率は 0.75 であった • 累積寄与率が 0.9 を超えた最初の主成分までを⽤いる といったように⽤いられる 18
20. 逆写像 PCAにより、あるサンプルを低次元空間に写像できる 低次元空間に写像された点を、元の空間に戻すことを逆写像という 元のサンプル点と逆写像された点との距離を⾒ることで、 サンプル点が写像先とどれくらい近いかが分かる 離れているサンプルは、適切に写像されていない、外れ値である、 などの議論ができる 19
21. 逆写像のしかた 第 i 主成分までのローディング P を用いる あるサンプル x に対して、T = xP で第 i 主成分までのスコア T を 計算する TPT が逆写像されたサンプルである つまり、 xPPT で逆写像されたサンプルを計算できるあ 20