$30 off During Our Annual Pro Sale. View Details »

2024年度秋学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (20...

2024年度秋学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2024. 11. 8)

関西大学総合情報学部 画像情報処理(担当・浅野晃)
http://racco.mikeneko.jp/Kougi/2024a/IPPR/

Akira Asano

October 29, 2024
Tweet

More Decks by Akira Asano

Other Decks in Education

Transcript

  1. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 画像情報圧縮の必要性 3 この画像では,1画素の明るさを0〜255の整数で表す カラー画像ならば,R,G,Bで3倍必要 1画素に,2進数8桁 = 8ビット

    = 1バイト必要 1000万画素のデジタル画像は,約10メガバイト必要 こういう画像は,1画素 = 16ビットで, 2倍の20メガバイト必要なこともある 動画ならば,1秒でこのデータ量の30倍?60倍?
  2. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 JPEG方式による画像圧縮 4 画像を波の重ね合わせで表わし,一部を省略して,データ量を減らす ひとつのセルを, これらの波の重ね合わせで表す 8×8ピクセルずつの セルに分解

    細かい部分は,どの画像でも大してかわら ないから,省略しても気づかない 省略すると,データ量が減る (図はA. K. Jain, Fundamentals of Digital Image Processingより転載)
  3. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 そういう都合のいい分布に変換できないの? 12 散布図上である方向に広がっているなら (x1 , x2 に相関があるなら)できます。こうすればいい

    + + + + + + + x 2 画 画 素 2 の 値 z(2) z(1) x1, x2を回転して,新たにz(1) , z(2) とすればよい z(1) の分散がもっとも大きくなるように回転する このとき z(1) とz(2) の相関がなくなる
  4. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 そういう都合のいい分布に変換できないの? 12 散布図上である方向に広がっているなら (x1 , x2 に相関があるなら)できます。こうすればいい

    + + + + + + + x 2 画 画 素 2 の 値 z(2) z(1) x1, x2を回転して,新たにz(1) , z(2) とすればよい z(1) の分散がもっとも大きくなるように回転する これをするのが[主成分分析] このとき z(1) とz(2) の相関がなくなる
  5. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 主成分分析 13 x1, x2から次の式で zを求めるものとし, zの分散V(z)が最大になるa1, a2

    を求める z = a1x1 + a2x2 V(z)を求めるために,次の量を用いる ¯ x1, ¯ x2 , x1, x2の全画像にわたる平均 x1i, x2i n枚中のi番目の画像の,x1, x2の値 s11, s22 ,x1, x2の分散
  6. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 さらに共分散も用いる 14 s12 = s21 = 1

    n n i=1 (x1i − x1)(x2i − x2)     x1, x2の共分散 + + + + + + + x1 x2 x2 x1 < 0 < 0 > 0 > 0 ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 )
  7. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 さらに共分散も用いる 14 s12 = s21 = 1

    n n i=1 (x1i − x1)(x2i − x2)     x1, x2の共分散 + + + + + + + x1 x2 x2 x1 < 0 < 0 > 0 > 0 ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) 共分散の正負 = 相関の正負
  8. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 さらに共分散も用いる 14 s12 = s21 = 1

    n n i=1 (x1i − x1)(x2i − x2)     x1, x2の共分散 + + + + + + + x1 x2 x2 x1 < 0 < 0 > 0 > 0 ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) 共分散の正負 = 相関の正負 (共分散を x1, x2 の標準偏差で 割ったものが相関係数)
  9. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 さて,zの分散V(z)は 15 (3)式 V(z)が最大になるa1, a2 を求める V

    (z) = 1 n n i=1 (zi − z)2 i 1 = a2 1 s11 + 2a1a2s12 + a2 2 s22 xからzへの変換は「回転」(伸び縮みしない)→
  10. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 さて,zの分散V(z)は 15 (3)式 V(z)が最大になるa1, a2 を求める V

    (z) = 1 n n i=1 (zi − z)2 i 1 = a2 1 s11 + 2a1a2s12 + a2 2 s22 xからzへの変換は「回転」(伸び縮みしない)→ a2 1 + a2 2 = 1
  11. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 固有値問題 16 が得られる(付録1) a1s11 + a2s12 =

    a1λ a2s22 + a1s12 = a2λ s11 s12 s12 s22 a1 a2 = λ a1 a2 行列で書くと 分散共分散行列 固有ベクトル 固有値 固有値・固有ベクトルを求める問題を 「固有値問題」という(解き方は略) 定数 を使って λ
  12. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 第1主成分 17 固有ベクトル ( ) a1 a2

    新し 画 固有値 λ が2組得られて,しかも となる(付録2) V(z) = λ [第1主成分]という 大きい方の λ(λ(1) とする)に対応する固有ベクトル を使って 求めた z( z(1) とする) が,求めたかった z ( a1(1) a2(1) ) 分散が最大の軸 2画素画像の分布を表すのに,もっとも重要な成分
  13. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 第2主成分,それ以下の主成分 18 [第2主成分] 小さい方の λ(λ(2) とする)に対応する固有ベクトル を使って求めた

    z( z(2) とする) は ( a1(2) a2(2) ) 分散が小さい方で,重要でないほうの成分 + + + + + + + x 1 x 2 画 素 1の 値 画 素 2 の 値 z(2) z(1)
  14. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 第2主成分,それ以下の主成分 18 [第2主成分] 小さい方の λ(λ(2) とする)に対応する固有ベクトル を使って求めた

    z( z(2) とする) は ( a1(2) a2(2) ) 分散が小さい方で,重要でないほうの成分 + + + + + + + x 1 x 2 画 素 1の 値 画 素 2 の 値 z(2) z(1) 2画素でなくp画素だったら?
  15. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 第2主成分,それ以下の主成分 18 [第2主成分] 小さい方の λ(λ(2) とする)に対応する固有ベクトル を使って求めた

    z( z(2) とする) は ( a1(2) a2(2) ) 分散が小さい方で,重要でないほうの成分 + + + + + + + x 1 x 2 画 素 1の 値 画 素 2 の 値 z(2) z(1) 2画素でなくp画素だったら? 固有値(=分散)が大きい方から小さい方に向かって, 第1,2,3,..., p主成分
  16. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 第2主成分,それ以下の主成分 18 [第2主成分] 小さい方の λ(λ(2) とする)に対応する固有ベクトル を使って求めた

    z( z(2) とする) は ( a1(2) a2(2) ) 分散が小さい方で,重要でないほうの成分 + + + + + + + x 1 x 2 画 素 1の 値 画 素 2 の 値 z(2) z(1) 2画素でなくp画素だったら? 固有値(=分散)が大きい方から小さい方に向かって, 第1,2,3,..., p主成分 もっとも「重要でない」成分
  17. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 このときz(1)とz(2)は無相関 20 + + + + +

    + + x1 x2 画素1の値 画素2の値 x1, x2 を回転して,新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する
  18. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 このときz(1)とz(2)は無相関 20 + + + + +

    + + x 1 x 2 画 素 1の 値 画 素 2 の 値 z(2) z(1) x1, x2 を回転して,新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する
  19. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 このときz(1)とz(2)は無相関 20 + + + + +

    + + x 1 x 2 画 素 1の 値 画 素 2 の 値 z(2) z(1) x1, x2 を回転して,新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する このときz(1) , z(2) の相関がなくなる。 なぜなら
  20. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 相関がないときは 21 共分散=0 先ほど求めた z(1) , z(2)

    はこうなっている → 本当? z1 z2 + + + + + + + z2 z1 相関がない→ の正負がつりあう ( z 1i – z 1 )( z 2i – z 2 ) 分散共分散行列はどうなる?
  21. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 主成分分析と分散共分散行列 22 固有値のうち,大きい方を λ(1) ,小さい方を λ(2) 対応する固有ベクトル

    a1(1) a2(1)       a1(2) a2(2)       これらは s11 s12 s21 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s21 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) をみたす
  22. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 分散共分散行列の対角化 23 まとめると つまり s11 s12 s21

    s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) S SP = PΛ すなわち (分散共分散行列の)対角化という Λ = P−1SP, S = PΛP−1 P P Λ
  23. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 対称行列の対角化 24 分散共分散行列 S は 対称行列 直交行列の逆行列は転置行列(逆回転)

    すなわち s11 s12 s21 s22 s12 = s21 共分散 対称行列の固有ベクトルは直交する(詳細略) Pは直交行列 a1(1) a1(2) a2(1) a2(2) S = PΛP ,
  24. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 P′で変換された「あの世」とは? 26 だから z(1) = a1(1) a2(1)

    x1 x2 z(2) = a1(2) a2(2) x1 x2 z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 直交行列で変換するから 直交変換という
  25. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 P′で変換された「あの世」とは? 26 だから z(1) = a1(1) a2(1)

    x1 x2 z(2) = a1(2) a2(2) x1 x2 z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 直交行列で変換するから 直交変換という
  26. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 P′で変換された「あの世」とは? 26 だから z(1) = a1(1) a2(1)

    x1 x2 z(2) = a1(2) a2(2) x1 x2 z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 これが P′ 直交行列で変換するから 直交変換という
  27. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 P′で変換された「あの世」とは? 26 だから つまり, x から z

    に変換すると, z(1) とz(2) の共分散が0→相関がない z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 これが P′ 直交行列で変換するから 直交変換という
  28. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 たしかにz(1)とz(2)は無相関 27 + + + + +

    + + x1 x2 画素1の値 画素2の値 x1, x2 を回転して,新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する
  29. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 たしかにz(1)とz(2)は無相関 27 + + + + +

    + + x 1 x 2 画 素 1の 値 画 素 2 の 値 z(2) z(1) x1, x2 を回転して,新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する
  30. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 たしかにz(1)とz(2)は無相関 27 + + + + +

    + + x 1 x 2 画 素 1の 値 画 素 2 の 値 z(2) z(1) x1, x2 を回転して,新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する このときたしかにz(1) , z(2) には相関がない 分散共分散行列は対角行列となる
  31. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 画素がp個あっても同じ 28     

     z(1) z(2) . . . z(p)       =       a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) . . . ... a1(p) a2(p) · · · ap(p)             x1 x2 . . . xp       = P       x1 x2 . . . xp         xからzへの,P′による直交変換 Pは固有値問題の解       s11 s12 · · · s1p s12 s22 · · · s2p . . . ... sp1 sp2 · · · spp             a1 a2 . . . ap       = λ       a1 a2 . . . ap       S       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)       =       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)             λ(1) 0 λ(2) ... 0 λ(p)      
  32. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 画素がp個あっても同じ 28     

     z(1) z(2) . . . z(p)       =       a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) . . . ... a1(p) a2(p) · · · ap(p)             x1 x2 . . . xp       = P       x1 x2 . . . xp         xからzへの,P′による直交変換 Pは固有値問題の解       s11 s12 · · · s1p s12 s22 · · · s2p . . . ... sp1 sp2 · · · spp             a1 a2 . . . ap       = λ       a1 a2 . . . ap       S       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)       =       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)             λ(1) 0 λ(2) ... 0 λ(p)       分散共分散行列S
  33. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 画素がp個あっても同じ 28     

     z(1) z(2) . . . z(p)       =       a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) . . . ... a1(p) a2(p) · · · ap(p)             x1 x2 . . . xp       = P       x1 x2 . . . xp         xからzへの,P′による直交変換 Pは固有値問題の解       s11 s12 · · · s1p s12 s22 · · · s2p . . . ... sp1 sp2 · · · spp             a1 a2 . . . ap       = λ       a1 a2 . . . ap       S       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)       =       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)             λ(1) 0 λ(2) ... 0 λ(p)       分散共分散行列S S
  34. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 画素がp個あっても同じ 28     

     z(1) z(2) . . . z(p)       =       a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) . . . ... a1(p) a2(p) · · · ap(p)             x1 x2 . . . xp       = P       x1 x2 . . . xp         xからzへの,P′による直交変換 Pは固有値問題の解       s11 s12 · · · s1p s12 s22 · · · s2p . . . ... sp1 sp2 · · · spp             a1 a2 . . . ap       = λ       a1 a2 . . . ap       S       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)       =       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)             λ(1) 0 λ(2) ... 0 λ(p)       分散共分散行列S P P Λ S
  35. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 Karhunen-Loève変換(KL変換) 29 画像を主成分に変換してから伝送する p画素の画像 1 p 第1~第p

    / 2 主成分だけを 伝達する 主成分に 変換 もとの画 素に戻す p画素の画像 (情報の損失が最小) もどすときは, データ量が半分でも 情報の損失は最小
  36. 32 2024年度秋学期 画像情報処理 / 関西大学総合情報学部 浅野 晃 Karhunen-Loève変換(KL変換) 30 もどすときは 伝送されて来なかった主成分は, 平均に置き換えておく  

        x1 x2 . . . xp       (P )−1               z(1) z(2) . . . z(p/2) z(p/2+1) . . . z(p)               = P               z(1) z(2) . . . z(p/2) z(p/2+1) . . . z(p)              