自己組織化マップ(Self-Organizing Map, SOM)

自己組織化マップ (SOM) とは？
SOMを作る おおまかな流れ
こんなデータセットがあるとする
２次元マップのサイズを決める
２次元の各グリッドにニューロンを配置する
サンプルとニューロンとの距離を計算する
最も距離の近いニューロンを見つける
勝者ニューロンをサンプルに少し近づける
勝者ニューロンに近いのもサンプルに近づける
二次元マップの学習を繰り返す
SOMの特徴
SOMの問題点
SOMの問題点の解決策

Transcript

1. 0 自己組織化マップ Self-Organizing Map SOM 明治大学 理⼯学部 応用化学科 データ化学⼯学研究室 ⾦⼦ 弘昌
2. 自己組織化マップ (SOM) とは︖ ニューラルネットワークの１つ データを可視化・⾒える化するための非線形⼿法 主成分分析などとは異なり、はじめに⼆次元平⾯の座標を作ってしまい、 それを実際の多次元空間のサンプルに合わせ込むというスタンス オーバーフィッティングを起こしやすいので注意が必要 SOMのいろいろな問題点を解決した、上位互換の⼿法に Generative Topographic Mapping (GTM) がある • GTMに対するSOMのメリットは、⼿法の説明が簡単、コーディングが しやすい、くらい 1
3. SOMを作る おおまかな流れ ２次元マップのサイズを決める • 10×10 とか、4×6 とか ２次元の各グリッドにニューロンを配置する • 10×10なら、100個のニューロン • 各ニューロンは、データセットの変数の数と同じ要素数をもつベクトル • 要素の値はランダム 以下を繰り返す • データセットのサンプルごとに最もユークリッド距離の近いニューロン (勝者ニューロン) を⾒つける • 勝者ニューロンをそのサンプルに少し近づける • 勝者ニューロンに近いニューロンも、そのサンプルに少し近づける 2
4. こんなデータセットがあるとする 3 変数 1 2 ・・・ i ・・・ m-1 m 1 2 ・・・ j ・・・ n-1 n サンプル xi (j)
5. ２次元マップのサイズを決める ここでは簡単のため、4×６にします 4 1 2 3 4 1 2 3 4 5 6
6. ２次元の各グリッドにニューロンを配置する 各ニューロン wi,j は変数の数 n の⻑さをもつベクトル • wi,j = [ wi,j,1 wi,j,2 ・・・ wi,j,k ・・・ wi,j,m-1 wi,j,m ] 最初は wi,j,k を乱数とする (ニューロンの初期化) 5 1 2 3 4 1 2 3 4 5 6 w1,1 w1,2 w1,3 w1,4 w1,5 w1,6 w2,6 w3,6 w4,6 w4,5 w4,4 w4,3 w4,2 w4,1 w3,1 w2,1 w2,2 w2,3 w2,4 w2,5 w3,5 w3,4 w3,3 w3,2
7. サンプルとニューロンとの距離を計算する 各サンプルを x(j) = [ x1 (j) x2 (j) ・・・ xi (j) ・・・ xm-1 (j) xm (j) ] とする １つのサンプルと、すべてのニューロンとの間でユークリッド距離を計算する • 例) x(1) と w4,3 との間のユークリッド距離 d 6 ( ) ( ) ( )2 1 1 4,3 4,3, 1 n i i i d x w = = − = − ∑ x w
8. 最も距離の近いニューロンを⾒つける 勝者ニューロン︓あるサンプルとの距離が最も⼩さいニューロン • 例) x(1) について、勝者ニューロンは w2,5 7 1 2 3 4 1 2 3 4 5 6 w1,1 w1,2 w1,3 w1,4 w1,5 w1,6 w2,6 w3,6 w4,6 w4,5 w4,4 w4,3 w4,2 w4,1 w3,1 w2,1 w2,2 w2,3 w2,4 w2,5 w3,5 w3,4 w3,3 w3,2 勝者ニューロン
9. 勝者ニューロンをサンプルに少し近づける 勝者ニューロンを w2,5 とすると、修正後のニューロン wnew2,5 は、 トーラスマッピングにすると端のニューロンの不公平感をなくせる • トーラスマッピング︓⼆次元マップの⼀番右の右は左、 ⼀番上の上は下、とすること、マップはドーナツ状 8 ( ) ( ) 1 2,5 2,5 2,5 α = + − new w w x w α︓学習率 ( 0 < α < 1 )
10. 勝者ニューロンに近いのもサンプルに近づける 勝者ニューロンを w2,5 とすると、その近くに存在するニューロンも、 wnew2,5 ほどではないがサンプル x(1) に近づける 9 1 2 3 4 1 2 3 4 5 6 w1,1 w1,2 w1,3 w1,4 w1,5 w1,6 w2,6 w3,6 w4,6 w4,5 w4,4 w4,3 w4,2 w4,1 w3,1 w2,1 w2,2 w2,3 w2,4 w2,5 w3,5 w3,4 w3,3 w3,2 勝者ニューロン
11. 勝者ニューロンに近いのもサンプルに近づける 勝者ニューロンを w2,5 とすると、たとえば、その近くのニューロン w2,4 の 修正後のニューロン wnew2,4 は、 10 ( ) ( ) ( ) 1 2,4 2,4 2,4 g e α = + − × new w w x w g(e)︓近傍関数 e︓⼆次元マップ上での勝者ニューロンとの距離 g(e) e 1 近傍関数の例
12. ⼆次元マップの学習を繰り返す 学習︓勝者ニューロン・その近くのニューロンをサンプルに近づけること サンプルを順番に学習させる すべてのサンプルを学習させ終わったら、もう⼀巡 何順させるか︓学習回数 • 事前に決めておく ⼀巡するごとに、サンプルの順番をシャッフルさせることで、 均等に学習させることができる 11
13. SOMの特徴 学習が終わった後、サンプルごとの勝者ニューロンを⾒ることで、 ⼆次元マップ上での可視化が達成される ニューロン間の距離を⾒ることで、クラスタリングも検討できる • ニューロン間の距離が大きいところは、クラスターの境目 • ただ、狙ってクラスタリングしたわけではなく、たまたまクラスターの 境目になることもあるため、別途クラスタリングをしたほうが無難 12
14. SOMの問題点 事前に学習回数・学習率を決めなければならない 学習回数を多くしたからといって、⼆次元マップが収束するとは限らない ⼆次元マップのサイズ・学習回数・学習率・近傍関数をすべて適切に 決めないと、 • ⼆次元マップが各サンプルにオーバーフィットしてしまう • ⼆次元マップが実際の多次元空間において滑らかにならない 13
15. SOMの問題点の解決策 Generative Topographic Mapping (GTM) を用いる • 先にあげた問題点を解決できる 14