2024年度秋学期　画像情報処理　第7回　主成分分析とKarhunen-Loève変換 (2024. 11. 8)

関西大学総合情報学部浅野　晃画像情報処理 2024年度秋学期第2部・画像情報圧縮／第7回主成分分析と Karhunen-Loève変換

20 2 画像情報圧縮💡💡

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃画像情報圧縮の必要性 3 この画像では，１画素の明るさを0〜255の整数で表すカラー画像ならば，R,G,Bで3倍必要１画素に，２進数８桁 = ８ビット
= １バイト必要 1000万画素のデジタル画像は，約10メガバイト必要こういう画像は，１画素 = １６ビットで， 2倍の20メガバイト必要なこともある動画ならば，1秒でこのデータ量の30倍？60倍？

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 JPEG方式による画像圧縮 4 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らす

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 JPEG方式による画像圧縮 4 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らす 8×8ピクセルずつのセルに分解

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 JPEG方式による画像圧縮 4 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らすひとつのセルを，これらの波の重ね合わせで表す 8×8ピクセルずつのセルに分解

細かい部分は，どの画像でも大してかわらないから，省略しても気づかない

細かい部分は，どの画像でも大してかわらないから，省略しても気づかない省略すると，データ量が減る（図はA. K. Jain, Fundamentals of Digital Image Processingより転載）

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃画像情報圧縮の例 5 データ量：80KB データ量：16KB

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃画像情報圧縮の例 5 データ量：80KB データ量：16KB （８×８ピクセルのセルが見える）

20 6 ところで，本当に「波」でいいんですか？🤔🤔

20 6 ところで，本当に「波」でいいんですか？🤔🤔 まあ，結局「波」でいいんですけどね…

20 7 もっと根本的な原理から説明します。「主成分分析」と「直交変換」

20 8 主成分分析🤔🤔

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃重要な成分と，そうでない成分 9 しばらく，画素が２つしかない画像を考えるたくさんの２画素画像を考えるひとつの２画素画像は，この図の１つの点で表される +
+ + + + + + x1 x2 画素１の値画素２の値（散布図という）

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃どちらかの画素値を省略できるか？ 10 たくさんの２画素画像がこんなふうに散らばって（分布して）いたら + + +
+ + + + x1 x2 画素１の値画素２の値

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃どちらかの画素値を省略できるか？ 10 各画像の違いを表現するのには，どちらの画素も省略することはできないたくさんの２画素画像がこんなふうに散らばって（分布して）いたら +
+ + + + + + x1 x2 画素１の値画素２の値

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃どちらかの画素値を省略できるか？ 10 どちらの画素値の分散も大きい各画像の違いを表現するのには，どちらの画素も省略することはできないたくさんの２画素画像がこんなふうに散らばって（分布して）いたら
+ + + + + + + x1 x2 画素１の値画素２の値

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃こんな分布なら 11 各画像の違いを表現するのに，画素２はそれほど必要ない画素２の値は，どの画像でもあまり変わりない（分散が小さい）画素１の値
画素２の値 x1 x2 + + + + + + + 　

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃こんな分布なら 11 画素２の値は，それらの平均に置きかえてしまってもそれほど変わらない各画像の違いを表現するのに，画素２はそれほど必要ない画素２の値は，どの画像でもあまり変わりない（分散が小さい）
画素１の値画素２の値 x1 x2 + + + + + + + 　 + + + + + + +

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃こんな分布なら 11 画素２の値は，それらの平均に置きかえてしまってもそれほど変わらない各画像の違いを表現するのに，画素２はそれほど必要ない画素２の値は，どの画像でもあまり変わりない（分散が小さい）
画素１の値画素２の値 x1 x2 + + + + + + + 　 + + + + + + + 画素２の値はいちいち記録しなくてもいいから，データ量が半分に減る

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃そういう都合のいい分布に変換できないの？ 12 + + + + +
+ + x1 x2 画素１の値画素２の値

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃そういう都合のいい分布に変換できないの？ 12 散布図上である方向に広がっているなら（x1 , x2 に相関があるなら）できます。こうすればいい
+ + + + + + + x1 x2 画素１の値画素２の値

+ + + + + + + x 2 画画素２の値 z(2) z(1)

+ + + + + + + x 2 画画素２の値 z(2) z(1) x1, x2を回転して，新たにz(1) , z(2) とすればよい

+ + + + + + + x 2 画画素２の値 z(2) z(1) x1, x2を回転して，新たにz(1) , z(2) とすればよい z(1) の分散がもっとも大きくなるように回転する

+ + + + + + + x 2 画画素２の値 z(2) z(1) x1, x2を回転して，新たにz(1) , z(2) とすればよい z(1) の分散がもっとも大きくなるように回転するこのとき z(1) とz(2) の相関がなくなる

+ + + + + + + x 2 画画素２の値 z(2) z(1) x1, x2を回転して，新たにz(1) , z(2) とすればよい z(1) の分散がもっとも大きくなるように回転するこれをするのが［主成分分析］このとき z(1) とz(2) の相関がなくなる

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃主成分分析 13 x1, x2から次の式で zを求めるものとし， zの分散V(z)が最大になるa1, a2
を求める z = a1x1 + a2x2

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃主成分分析 13 x1, x2から次の式で zを求めるものとし， zの分散V(z)が最大になるa1, a2
を求める z = a1x1 + a2x2 V(z)を求めるために，次の量を用いる ¯ x1, ¯ x2 ， x1, x2の全画像にわたる平均 x1i, x2i n枚中のi番目の画像の，x1, x2の値 s11, s22 ，x1, x2の分散

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃さらに共分散も用いる 14 s12 = s21 = 1
n n i=1 (x1i − x1)(x2i − x2) 　　 x1, x2の共分散

n n i=1 (x1i − x1)(x2i − x2) 　　 x1, x2の共分散 + + + + + + + x1 x2 x2 x1 < 0 < 0 > 0 > 0 ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 )

n n i=1 (x1i − x1)(x2i − x2) 　　 x1, x2の共分散 + + + + + + + x1 x2 x2 x1 < 0 < 0 > 0 > 0 ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) 共分散の正負＝相関の正負

n n i=1 (x1i − x1)(x2i − x2) 　　 x1, x2の共分散 + + + + + + + x1 x2 x2 x1 < 0 < 0 > 0 > 0 ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) ( x 1 i – x 1 ) ( x 2 i – x 2 ) 共分散の正負＝相関の正負（共分散を x1, x2 の標準偏差で割ったものが相関係数）

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃さて，zの分散V(z)は 15 (3)式 V (z) = 1
n n i=1 (zi − z)2 i 1 = a2 1 s11 + 2a1a2s12 + a2 2 s22

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃さて，zの分散V(z)は 15 (3)式 V(z)が最大になるa1, a2 を求める V
(z) = 1 n n i=1 (zi − z)2 i 1 = a2 1 s11 + 2a1a2s12 + a2 2 s22

(z) = 1 n n i=1 (zi − z)2 i 1 = a2 1 s11 + 2a1a2s12 + a2 2 s22 xからzへの変換は「回転」（伸び縮みしない）→

(z) = 1 n n i=1 (zi − z)2 i 1 = a2 1 s11 + 2a1a2s12 + a2 2 s22 xからzへの変換は「回転」（伸び縮みしない）→ a2 1 + a2 2 = 1

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃固有値問題 16 が得られる（付録1） a1s11 + a2s12 =
a1λ a2s22 + a1s12 = a2λ s11 s12 s12 s22 a1 a2 = λ a1 a2 行列で書くと分散共分散行列固有ベクトル固有値固有値・固有ベクトルを求める問題を「固有値問題」という（解き方は略）定数を使って λ

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃第１主成分 17 固有ベクトル ( ) a1 a2
新し画固有値 λ が２組得られて，しかもとなる（付録2） V(z) = λ ［第１主成分］という大きい方の λ(λ(1) とする）に対応する固有ベクトルを使って求めた z（ z(1) とする）が，求めたかった z ( a1(1) a2(1) ) 分散が最大の軸 2画素画像の分布を表すのに，もっとも重要な成分

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃第2主成分，それ以下の主成分 18 ［第2主成分］小さい方の λ(λ(2) とする）に対応する固有ベクトルを使って求めた
z（ z(2) とする）は ( a1(2) a2(2) ) 分散が小さい方で，重要でないほうの成分 + + + + + + + x 1 x 2 画素１の値画素２の値 z(2) z(1)

z（ z(2) とする）は ( a1(2) a2(2) ) 分散が小さい方で，重要でないほうの成分 + + + + + + + x 1 x 2 画素１の値画素２の値 z(2) z(1) 2画素でなくp画素だったら？

z（ z(2) とする）は ( a1(2) a2(2) ) 分散が小さい方で，重要でないほうの成分 + + + + + + + x 1 x 2 画素１の値画素２の値 z(2) z(1) 2画素でなくp画素だったら？固有値（＝分散）が大きい方から小さい方に向かって，第1,2,3,..., p主成分

z（ z(2) とする）は ( a1(2) a2(2) ) 分散が小さい方で，重要でないほうの成分 + + + + + + + x 1 x 2 画素１の値画素２の値 z(2) z(1) 2画素でなくp画素だったら？固有値（＝分散）が大きい方から小さい方に向かって，第1,2,3,..., p主成分もっとも「重要でない」成分

20 19 主成分分析と直交変換🤔🤔

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃このときz(1)とz(2)は無相関 20 + + + + +
+ + x1 x2 画素１の値画素２の値 x1, x2 を回転して，新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する

+ + x 1 x 2 画素１の値画素２の値 z(2) z(1) x1, x2 を回転して，新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する

+ + x 1 x 2 画素１の値画素２の値 z(2) z(1) x1, x2 を回転して，新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転するこのときz(1) , z(2) の相関がなくなる。なぜなら

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃相関がないときは 21 共分散＝０先ほど求めた z(1) , z(2)
はこうなっている → 本当？ z1 z2 + + + + + + + z2 z1 相関がない→ の正負がつりあう ( z 1i – z 1 )( z 2i – z 2 ) 分散共分散行列はどうなる？

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃主成分分析と分散共分散行列 22 固有値のうち，大きい方を λ(1) ，小さい方を λ(2) 対応する固有ベクトル
a1(1) a2(1) 　　　 a1(2) a2(2) 　　　

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃主成分分析と分散共分散行列 22 固有値のうち，大きい方を λ(1) ，小さい方を λ(2) 対応する固有ベクトル
a1(1) a2(1) 　　　 a1(2) a2(2) 　　　これらは s11 s12 s21 s22 a1(1) a2(1) = λ(1) a1(1) a2(1) s11 s12 s21 s22 a1(2) a2(2) = λ(2) a1(2) a2(2) をみたす

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃分散共分散行列の対角化 23 まとめると s11 s12 s21 s22
a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2)

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃分散共分散行列の対角化 23 まとめると s11 s12 s21 s22
a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) S P P Λ

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃分散共分散行列の対角化 23 まとめるとつまり s11 s12 s21
s22 a1(1) a1(2) a2(1) a2(2) = a1(1) a1(2) a2(1) a2(2) λ(1) 0 0 λ(2) S SP = PΛ すなわち（分散共分散行列の）対角化という Λ = P−1SP, S = PΛP−1 P P Λ

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃対称行列の対角化 24 分散共分散行列 S は対称行列直交行列の逆行列は転置行列（逆回転）
すなわち s11 s12 s21 s22 s12 = s21 共分散対称行列の固有ベクトルは直交する（詳細略） Pは直交行列 a1(1) a1(2) a2(1) a2(2) S = PΛP ,

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃対角化の意味 25 分散共分散行列は P′で変換しそこでは分散共分散行列が Λ で
P で戻る λ(1) 0 0 λ(2) Λ = あの世では共分散が０ →相関がない「この世」「あの世」 S = PΛP ,

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 P′で変換された「あの世」とは？ 26 だから z(1) = a1(1) a2(1)
x1 x2 z(2) = a1(2) a2(2) x1 x2 z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 直交行列で変換するから直交変換という

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 P′で変換された「あの世」とは？ 26 だから z(1) = a1(1) a2(1)
x1 x2 z(2) = a1(2) a2(2) x1 x2 z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 これが P′ 直交行列で変換するから直交変換という

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 P′で変換された「あの世」とは？ 26 だからつまり， x から z
に変換すると， z(1) とz(2) の共分散が０→相関がない z(1) = a1(1) a2(1) x1 x2 z(2) = a1(2) a2(2) x1 x2 z(1) z(2) = a1(1) a2(1) a1(2) a2(2) x1 x2 これが P′ 直交行列で変換するから直交変換という

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃たしかにz(1)とz(2)は無相関 27 + + + + +
+ + x1 x2 画素１の値画素２の値 x1, x2 を回転して，新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する

+ + x 1 x 2 画素１の値画素２の値 z(2) z(1) x1, x2 を回転して，新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転する

+ + x 1 x 2 画素１の値画素２の値 z(2) z(1) x1, x2 を回転して，新たにz(1) , z(2) とする z(1) の分散がもっとも大きくなるように回転するこのときたしかにz(1) , z(2) には相関がない分散共分散行列は対角行列となる

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃画素がp個あっても同じ 28     
 z(1) z(2) . . . z(p)       =       a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) . . . ... a1(p) a2(p) · · · ap(p)             x1 x2 . . . xp       = P       x1 x2 . . . xp       　 xからzへの，P′による直交変換 Pは固有値問題の解       s11 s12 · · · s1p s12 s22 · · · s2p . . . ... sp1 sp2 · · · spp             a1 a2 . . . ap       = λ       a1 a2 . . . ap       S       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)       =       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)             λ(1) 0 λ(2) ... 0 λ(p)      

 z(1) z(2) . . . z(p)       =       a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) . . . ... a1(p) a2(p) · · · ap(p)             x1 x2 . . . xp       = P       x1 x2 . . . xp       　 xからzへの，P′による直交変換 Pは固有値問題の解       s11 s12 · · · s1p s12 s22 · · · s2p . . . ... sp1 sp2 · · · spp             a1 a2 . . . ap       = λ       a1 a2 . . . ap       S       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)       =       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)             λ(1) 0 λ(2) ... 0 λ(p)       分散共分散行列S

 z(1) z(2) . . . z(p)       =       a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) . . . ... a1(p) a2(p) · · · ap(p)             x1 x2 . . . xp       = P       x1 x2 . . . xp       　 xからzへの，P′による直交変換 Pは固有値問題の解       s11 s12 · · · s1p s12 s22 · · · s2p . . . ... sp1 sp2 · · · spp             a1 a2 . . . ap       = λ       a1 a2 . . . ap       S       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)       =       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)             λ(1) 0 λ(2) ... 0 λ(p)       分散共分散行列S S

 z(1) z(2) . . . z(p)       =       a1(1) a2(1) · · · ap(1) a1(2) a2(2) · · · ap(2) . . . ... a1(p) a2(p) · · · ap(p)             x1 x2 . . . xp       = P       x1 x2 . . . xp       　 xからzへの，P′による直交変換 Pは固有値問題の解       s11 s12 · · · s1p s12 s22 · · · s2p . . . ... sp1 sp2 · · · spp             a1 a2 . . . ap       = λ       a1 a2 . . . ap       S       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)       =       a1(1) a1(2) · · · a1(p) a2(1) a2(2) · · · a2(p) . . . ... ap(1) ap(2) · · · ap(p)             λ(1) 0 λ(2) ... 0 λ(p)       分散共分散行列S P P Λ S

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 Karhunen-Loève変換（KL変換） 29 画像を主成分に変換してから伝送する p画素の画像 1 p 第１～第p
/ 2 主成分だけを伝達する主成分に変換もとの画素に戻す p画素の画像（情報の損失が最小）もどすときは，データ量が半分でも情報の損失は最小

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 Karhunen-Loève変換（KL変換） 30 もどすときは伝送されて来なかった主成分は，平均に置き換えておく  
    x1 x2 . . . xp       (P )−1               z(1) z(2) . . . z(p/2) z(p/2+1) . . . z(p)               = P               z(1) z(2) . . . z(p/2) z(p/2+1) . . . z(p)              

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃 KL変換の大問題 31 主成分を求めるには，分散共分散行列が必要分散共分散行列を求めるには，「いまから取り扱うすべての画像」が事前にわかっていないといけないそんなことは不可能。
とは，最近は言えなくなってきていますが… それでも，画像データ圧縮のために，わざわざ世の中のすべての画像を「学習」するのか？

32 2024年度秋学期　画像情報処理／　関西大学総合情報学部　浅野　晃続きは 32 分散共分散行列がわからないから，どういう直交変換をしたらいいかもわからない画像をベクトルではなく，２次元のまま行列で表して「行列の直交変換」を考え，直交変換のようすが目に見えるようにする。
経験的にうまくいく直交変換を行う適切な直交変換を選ぶ（実は結局フーリエ変換とその変形）

2024年度秋学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (20...

2024年度秋学期 画像情報処理 第7回 主成分分析とKarhunen-Loève変換 (2024. 11. 8)

More Decks by Akira Asano

Other Decks in Education

Featured

Transcript

2024年度秋学期　画像情報処理　第7回　主成分分析とKarhunen-Loève変換 (20...

2024年度秋学期　画像情報処理　第7回　主成分分析とKarhunen-Loève変換 (2024. 11. 8)