2026年度秋学期 画像情報処理 第2部・画像情報圧縮 ／ 第7回 主成分分析とKarhunen-Loève変換（2026. 10. 30）

関西大学総合情報学部　画像情報処理（担当・浅野晃）
http://racco.mikeneko.jp/Kougi/2026a/IPPR/

Transcript

1. 2026年度秋学期 画像情報処理 第2部・画像情報圧縮 ／ 第7回 主成分分析と Karhunen-Loève変換 関西大学総合情報学部 浅野 晃
2. 画像情報圧縮💡💡 2 20
3. 画像情報圧縮の必要性 この画像では，１画素の明るさを0〜255の整数で表す １画素に，２進数８桁 = ８ビット = １バイト必要 1000万画素のデジタル画像は，約10メガバイト必要 こういう画像は，１画素 = １６ビットで， 2倍の20メガバイト必要なこともある カラー画像ならば，R,G,Bで3倍必要 動画ならば，1秒でこのデータ量の30倍？60倍？ 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 3 32
4. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らす 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 4 32
5. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らす 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 4 32
6. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らす 8×8ピクセルずつの セルに分解 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 4 32
7. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らす 8×8ピクセルずつの セルに分解 ひとつのセルを， これらの波の重ね合わせで表す 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 4 32
8. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らす 8×8ピクセルずつの セルに分解 ひとつのセルを， これらの波の重ね合わせで表す 細かい部分は，どの画像でも大してかわら ないから，省略しても気づかない 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 4 32
9. JPEG方式による画像圧縮 画像を波の重ね合わせで表わし，一部を省略して，データ量を減らす 8×8ピクセルずつの セルに分解 ひとつのセルを， これらの波の重ね合わせで表す 細かい部分は，どの画像でも大してかわら ないから，省略しても気づかない （図はA. K. Jain, Fundamentals of Digital Image Processingより転載） 省略すると，データ量が減る 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 4 32
10. 画像情報圧縮の例 データ量：80KB データ量：16KB 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 5 32
11. 画像情報圧縮の例 データ量：80KB データ量：16KB 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 5 32
12. 画像情報圧縮の例 データ量：80KB データ量：16KB （８×８ピクセルのセルが見える） 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 5 32
13. ところで，本当に「波」でいいんですか？🤔🤔 6 20
14. ところで，本当に「波」でいいんですか？🤔🤔 まあ，結局「波」でいいんですけどね… 6 20
15. もっと根本的な原理から説明します。 「主成分分析」と「直交変換」 7 20
16. 主成分分析🤔🤔 8 20
17. 重要な成分と，そうでない成分 しばらく，画素が２つしかない画像を考える たくさんの２画素画像を考える 画素２の値 x2 + + + + ひとつの２画素画像は， この図の１つの点で表される + + + （散布図という） 画素１の値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 9 32
18. どちらかの画素値を省略できるか？ たくさんの２画素画像が こんなふうに散らばって（分布して）いたら 画素２の値 x2 + + + + + + + 画素１の値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 10 32
19. どちらかの画素値を省略できるか？ たくさんの２画素画像が こんなふうに散らばって（分布して）いたら 画素２の値 x2 + + + + + + + 各画像の違いを表現するのには， 画素１の値 x1 どちらの画素も省略することはできない 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 10 32
20. どちらかの画素値を省略できるか？ たくさんの２画素画像が こんなふうに散らばって（分布して）いたら 画素２の値 x2 + + + + + + + 各画像の違いを表現するのには， 画素１の値 x1 どちらの画素も省略することはできない どちらの画素値の分散も大きい 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 10 32
21. こんな分布なら 画素２の値 x2 + + + 画素２の値は，どの画像でもあまり変わりない （分散が小さい） + + + + 画素１の値 各画像の違いを表現するのに， 画素２はそれほど必要ない x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 11 32
22. こんな分布なら 画素２の値 x2 画素２の値は，どの画像でもあまり変わりない （分散が小さい） + + + + + ++ + + + + + + + 画素１の値 各画像の違いを表現するのに， 画素２はそれほど必要ない x1 画素２の値は，それらの平均に置きかえてしまってもそれほど変わらない 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 11 32
23. こんな分布なら 画素２の値 x2 画素２の値は，どの画像でもあまり変わりない （分散が小さい） + + + + + ++ + + + + + + + 画素１の値 各画像の違いを表現するのに， 画素２はそれほど必要ない x1 画素２の値は，それらの平均に置きかえてしまってもそれほど変わらない 画素２の値はいちいち記録しなくてもいいから，データ量が半分に減る 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 11 32
24. そういう都合のいい分布に変換できないの？ 画素２の値 x2 + + + + + + + 画素１の値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 12 32
25. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい 画素２の値 x2 + + + + + + + 画素１の値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 12 32
26. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい 画 素 ２ の x2 値 z(2) + + + + + + + z(1) 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 12 32 画
27. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい x1, x2を回転して，新たにz(1) , z(2) とすればよい 画 素 ２ の x2 値 z(2) + + + + + + + z(1) 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 12 32 画
28. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい x1, x2を回転して，新たにz(1) , z(2) とすればよい z(1) の分散がもっとも大きくなるように回転する 画 素 ２ の x2 値 z(2) + + + + + + + z(1) 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 12 32 画
29. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい x1, x2を回転して，新たにz(1) , z(2) とすればよい z(1) の分散がもっとも大きくなるように回転する 素 ２ の x2 値 z(2) 画 このとき z(1) とz(2) の相関がなくなる + + + + + + + z(1) 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 12 32 画
30. そういう都合のいい分布に変換できないの？ 散布図上である方向に広がっているなら （x1, x2に相関があるなら）できます。こうすればいい x1, x2を回転して，新たにz(1) , z(2) とすればよい z(1) の分散がもっとも大きくなるように回転する 素 ２ の x2 値 z(2) 画 このとき z(1) とz(2) の相関がなくなる + + + + + + + z(1) これをするのが［主成分分析］ 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 12 32 画
31. 主成分分析 x1, x2から次の式で zを求めるものとし， zの分散V(z)が最大になるa1, a2を求める z = a1 x1 + a2 x2 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 13 32
32. 主成分分析 x1, x2から次の式で zを求めるものとし， zの分散V(z)が最大になるa1, a2を求める z = a1 x1 + a2 x2 V(z)を求めるために，次の量を用いる x1i , x2i n枚中のi番目の画像の，x1, x2の値 x¯1 , x¯2 ， x1, x2の全画像にわたる平均 s11 , s22 ，x1, x2の分散 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 13 32
33. さらに共分散も用いる n  1 s12 = s21 = (x1i − x1 )(x2i − x2 ) n x1, x2の共分散 i=1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 14 32
34. さらに共分散も用いる n  1 s12 = s21 = (x1i − x1 )(x2i − x2 ) n x1, x2の共分散 i=1 ( x1i – x1)( x2i – x2) < 0 ( x1i – x1)( x2i – x2) > 0 x2 + x2 + + + + + + x1 ( x1i – x1)( x2i – x2) > 0 x1 ( x1i – x1)( x2i – x2) < 0 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 14 32
35. さらに共分散も用いる n  1 s12 = s21 = (x1i − x1 )(x2i − x2 ) n x1, x2の共分散 i=1 ( x1i – x1)( x2i – x2) < 0 ( x1i – x1)( x2i – x2) > 0 x2 + x2 + + + + 共分散の正負 ＝ 相関の正負 + + x1 ( x1i – x1)( x2i – x2) > 0 x1 ( x1i – x1)( x2i – x2) < 0 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 14 32
36. さらに共分散も用いる n  1 s12 = s21 = (x1i − x1 )(x2i − x2 ) n x1, x2の共分散 i=1 ( x1i – x1)( x2i – x2) < 0 ( x1i – x1)( x2i – x2) > 0 x2 + x2 + + + + 共分散の正負 ＝ 相関の正負 + + x1 ( x1i – x1)( x2i – x2) > 0 x1 （共分散を x1, x2 の標準偏差で 割ったものが相関係数） ( x1i – x1)( x2i – x2) < 0 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 14 32
37. さて，zの分散V(z)は V (z) = n  1 n (zi − z) 2 i=1 i 1 = a21 s11 + 2a1 a2 s12 + a22 s22 (3)式 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 15 32
38. さて，zの分散V(z)は V (z) = n  1 n (zi − z) 2 i=1 i 1 = a21 s11 + 2a1 a2 s12 + a22 s22 (3)式 V(z)が最大になるa1, a2を求める 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 15 32
39. さて，zの分散V(z)は V (z) = n  1 n (zi − z) 2 i=1 i 1 = a21 s11 + 2a1 a2 s12 + a22 s22 (3)式 V(z)が最大になるa1, a2を求める xからzへの変換は「回転」（伸び縮みしない）→ 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 15 32
40. さて，zの分散V(z)は V (z) = n  1 n (zi − z) 2 i=1 i 1 = a21 s11 + 2a1 a2 s12 + a22 s22 (3)式 V(z)が最大になるa1, a2を求める xからzへの変換は「回転」（伸び縮みしない）→ 2 2 a1 + a 2 = 1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 15 32
41. 固有値問題 定数 λ を使って a1 s11 + a2 s12 = a1 λ が得られる（付録1） a2 s22 + a1 s12 = a2 λ 行列で書くと  s11 s12 s12 s22  a1 a2  =λ  a1 a2  分散共分散行列 固有ベクトル 固有値・固有ベクトルを求める問題を 「固有値問題」という（解き方は略） 固有値 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 16 32
42. 第１主成分 固有ベクトル 固有値 ( )  a1 a2 が２組得られて，しかもV(z) = λとなる（付録2） 新し 画 λ a1(1) を使って 大きい方の λ(λ(1)とする）に対応する固有ベクトル a ( 2(1)) 求めた z（ z(1) とする） が，求めたかった z ［第１主成分］という 分散が最大の軸 2画素画像の分布を表すのに，もっとも重要な成分 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 17 32
43. 第2主成分，それ以下の主成分 小さい方の λ(λ(2)とする）に対応する固有ベクトル a1(2) を使って求めた z（ z (2) とする） は (a2(2)) x2 画 素 ２ の 値 z(2) + + + + + z+ (1)+ ［第2主成分］ 分散が小さい方で，重要でないほうの成分 画 素 １の 値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 18 32
44. 第2主成分，それ以下の主成分 小さい方の λ(λ(2)とする）に対応する固有ベクトル a1(2) を使って求めた z（ z (2) とする） は (a2(2)) x2 画 素 ２ の 値 z(2) + + + + + z+ (1)+ ［第2主成分］ 分散が小さい方で，重要でないほうの成分 2画素でなくp画素だったら？ 画 素 １の 値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 18 32
45. 第2主成分，それ以下の主成分 小さい方の λ(λ(2)とする）に対応する固有ベクトル a1(2) を使って求めた z（ z (2) とする） は (a2(2)) x2 画 素 ２ の 値 z(2) + + + + + z+ (1)+ ［第2主成分］ 分散が小さい方で，重要でないほうの成分 2画素でなくp画素だったら？ 画 素 固有値（＝分散）が大きい方から小さい方に向かって， 第1,2,3,..., p主成分 １の 値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 18 32
46. 第2主成分，それ以下の主成分 小さい方の λ(λ(2)とする）に対応する固有ベクトル a1(2) を使って求めた z（ z (2) とする） は (a2(2)) x2 画 素 ２ の 値 z(2) + + + + + z+ (1)+ ［第2主成分］ 分散が小さい方で，重要でないほうの成分 2画素でなくp画素だったら？ 画 素 固有値（＝分散）が大きい方から小さい方に向かって， 第1,2,3,..., p主成分 １の 値 x1 もっとも「重要でない」成分 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 18 32
47. 主成分分析と直交変換🤔🤔 19 20
48. このときz(1)とz(2)は無相関 x2 画素２の値 x1, x2を回転して，新たにz(1) , z(2) とする + + + + + + z(1) の分散がもっとも大きくなるように回転する + 画素１の値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 20 32
49. このときz(1)とz(2)は無相関 z(2) ２ の x2 値 x1, x2を回転して，新たにz(1) , z(2) とする 画 素 z(1) の分散がもっとも大きくなるように回転する + + + + + + + z(1) 値 １の 素 画 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 20 32
50. このときz(1)とz(2)は無相関 z(2) ２ の x2 値 x1, x2を回転して，新たにz(1) , z(2) とする 画 素 z(1) の分散がもっとも大きくなるように回転する + + + + + + + z(1) このときz(1) , z(2) の相関がなくなる。 値 １の 素 画 なぜなら x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 20 32
51. 相関がないときは 相関がない→ ( z1i – z1)( z2i – z2) の正負がつりあう z2 z2 + + + + z1 共分散＝０ + + + z1 先ほど求めた z(1) , z(2) はこうなっている → 本当？ 分散共分散行列はどうなる？ 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 21 32
52. 主成分分析と分散共分散行列 固有値のうち，大きい方を λ(1)，小さい方を λ(2) 対応する固有ベクトル  a1(1) a2(1)   a1(2) a2(2)  2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 22 32
53. 主成分分析と分散共分散行列 固有値のうち，大きい方を λ(1)，小さい方を λ(2) 対応する固有ベクトル a1(1) a2(1)   a1(1) a2(1)  a1(2) a2(2)   a1(2) a2(2)  これらは   s11 s12 s21 s22  s11 s12 s21 s22  = λ(1)  = λ(2)  a1(1) a2(1)  a1(2) a2(2)  をみたす 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 22 32
54. 分散共分散行列の対角化 まとめると  s11 s12 s21 s22   a1(1) a1(2) a2(1) a2(2)    a1(1) a1(2) 0 λ(1) = 0 λ(2) a2(1) a2(2) 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 23 32
55. 分散共分散行列の対角化 まとめると  s11 s12 s21 s22 S   a1(1) a1(2) a2(1) a2(2)    a1(1) a1(2) 0 λ(1) = 0 λ(2) a2(1) a2(2) P P Λ 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 23 32
56. 分散共分散行列の対角化 まとめると  s11 s12 s21 s22 S   a1(1) a1(2) a2(1) a2(2)    a1(1) a1(2) 0 λ(1) = 0 λ(2) a2(1) a2(2) P P Λ つまり SP = P Λ すなわち Λ = P −1 SP, S = P ΛP −1 （分散共分散行列の）対角化という 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 23 32
57. 対称行列の対角化 分散共分散行列 S は 対称行列  s11 s12 s21 s22  s12 = s21 共分散 対称行列の固有ベクトルは直交する（詳細略）   Pは直交行列 a1(1) a1(2) a2(1) a2(2) 直交行列の逆行列は転置行列（逆回転） すなわち  S = P ΛP , 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 24 32
58. 対角化の意味  S = P ΛP , 分散共分散行列は P′で変換し そこでは分散共分散行列が Λ で P で戻る 「この世」 「あの世」   Λ= 0 λ(1) 0 λ(2) あの世では共分散が０ →相関がない 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 25 32
59. P′で変換された「あの世」とは？ z(1) = z(2) =    z(1) z(2) a1(1) a2(1) a1(2) a2(2)  =      x1 x2 x1 x2   a1(1) a2(1) a1(2) a2(2) だから  x1 x2  直交行列で変換するから 直交変換という 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 26 32
60. P′で変換された「あの世」とは？ z(1) = z(2) =    z(1) z(2) a1(1) a2(1) a1(2) a2(2)  =      x1 x2 x1 x2   a1(1) a2(1) a1(2) a2(2) だから  x1 x2  直交行列で変換するから 直交変換という 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 26 32
61. P′で変換された「あの世」とは？ z(1) = z(2) =    z(1) z(2) a1(1) a2(1) a1(2) a2(2)  =      x1 x2 x1 x2   a1(1) a2(1) a1(2) a2(2) だから これが P′  x1 x2  直交行列で変換するから 直交変換という 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 26 32
62. P′で変換された「あの世」とは？ z(1) = z(2) =    z(1) z(2) a1(1) a2(1) a1(2) a2(2)  =      x1 x2 x1 x2   a1(1) a2(1) a1(2) a2(2) だから これが P′  x1 x2  直交行列で変換するから 直交変換という つまり， x から z に変換すると， z(1) とz(2) の共分散が０→相関がない 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 26 32
63. たしかにz(1)とz(2)は無相関 画素２の値 x2 + + + + x1, x2を回転して，新たにz(1) , z(2) とする + + z(1) の分散がもっとも大きくなるように回転する + 画素１の値 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 27 32
64. たしかにz(1)とz(2)は無相関 z(2) 素 ２ の x2 値 x1, x2を回転して，新たにz(1) , z(2) とする 画 z(1) の分散がもっとも大きくなるように回転する + + + + + + + z(1) 値 １の 素 画 x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 27 32
65. たしかにz(1)とz(2)は無相関 z(2) 素 ２ の x2 値 x1, x2を回転して，新たにz(1) , z(2) とする 画 z(1) の分散がもっとも大きくなるように回転する + + + + + + + z(1) このときたしかにz(1) , z(2) には相関がない 画 値 １の 素 分散共分散行列は対角行列となる x1 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 27 32
66. 画素がp個あっても同じ xからzへの，P′による直交変換    z(1) a1(1) a2(1) · · ·     z(2)   a1(2) a2(2) · · ·  . = . ..  .   . .  .   . a1(p) a2(p) · · · z(p) Pは固有値問題の解  s11 s12 · · ·   s12 s22 · · ·  . ..  . . .  sp1 sp2 · · ·    a1(1) a1(2) · · ·   a2(1) a2(2) · · · S ..  .. .  . ap(1) ap(2) · · ·   ap(p) xp xp   ap ap   ap(1) x1 x1     ap(2)   x2  x  2    .  = P  .   .   .   .   .  s1p a1 a1     s2p   a2   a2   .  = λ .   .   .  .    .  spp   a1(1) a1(2) · · · a1(p)   a2(p)   a2(1) a2(2) · · · = . ..   . .   . ap(p) ap(1) ap(2) · · ·  λ(1) a1(p)  λ(2) a2(p)      0 ap(p) 0 .. . λ(p)       2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 28 32
67. 画素がp個あっても同じ xからzへの，P′による直交変換    z(1) a1(1) a2(1) · · ·     z(2)   a1(2) a2(2) · · ·  . = . ..  .   . .  .   . a1(p) a2(p) · · · z(p) Pは固有値問題の解  s11 s12 · · ·   s12 s22 · · ·  . ..  . . .  sp1 sp2 · · ·   a1(1) a1(2) · · ·   a2(1) a2(2) · · · S ..  .. .  . ap(1) ap(2) · · ·   ap(p) xp xp 分散共分散行列S    ap ap   ap(1) x1 x1     ap(2)   x2  x  2    .  = P  .   .   .   .   .  s1p a1 a1     s2p   a2   a2   .  = λ .   .   .  .    .  spp   a1(1) a1(2) · · · a1(p)   a2(p)   a2(1) a2(2) · · · = . ..   . .   . ap(p) ap(1) ap(2) · · ·  λ(1) a1(p)  λ(2) a2(p)      0 ap(p) 0 .. . λ(p)       2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 28 32
68. 画素がp個あっても同じ xからzへの，P′による直交変換    z(1) a1(1) a2(1) · · ·     z(2)   a1(2) a2(2) · · ·  . = . ..  .   . .  .   . a1(p) a2(p) · · · z(p) Pは固有値問題の解  s11 s12 · · ·   s12 s22 · · ·  . ..  . . .  S sp1 sp2 · · ·   a1(1) a1(2) · · ·   a2(1) a2(2) · · · S ..  .. .  . ap(1) ap(2) · · ·   ap(p) xp xp 分散共分散行列S    ap ap   ap(1) x1 x1     ap(2)   x2  x  2    .  = P  .   .   .   .   .  s1p a1 a1     s2p   a2   a2   .  = λ .   .   .  .    .  spp   a1(1) a1(2) · · · a1(p)   a2(p)   a2(1) a2(2) · · · = . ..   . .   . ap(p) ap(1) ap(2) · · ·  λ(1) a1(p)  λ(2) a2(p)      0 ap(p) 0 .. . λ(p)       2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 28 32
69. 画素がp個あっても同じ xからzへの，P′による直交変換    z(1) a1(1) a2(1) · · ·     z(2)   a1(2) a2(2) · · ·  . = . ..  .   . .  .   . a1(p) a2(p) · · · z(p) Pは固有値問題の解  s11 s12 · · ·   s12 s22 · · ·  . ..  . . .  S sp1 sp2 · · ·   a1(1) a1(2) · · ·   a2(1) a2(2) · · · S ..  .. .  . P ap(1) ap(2) · · ·   ap(p) xp xp 分散共分散行列S    ap ap   ap(1) x1 x1     ap(2)   x2  x  2    .  = P  .   .   .   .   .  s1p a1 a1     s2p   a2   a2   .  = λ .   .   .  .    .  spp   a1(1) a1(2) · · · a1(p)   a2(p)   a2(1) a2(2) · · · = . ..   . .   . ap(p) ap(1) ap(2) · · · P  λ(1) a1(p)  λ(2) a2(p)      0 ap(p) Λ .. 0 . λ(p)       2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 28 32
70. Karhunen-Loève変換（KL変換） 画像を主成分に変換してから伝送する p画素の画像 （情報の損失が最小） p画素の画像 1 主成分に 変換 p 第１～第p / 2 主成分だけを 伝達する データ量が半分でも 情報の損失は最小 もとの画 素に戻す もどすときは， 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 29 32
71. Karhunen-Loève変換（KL変換） もどすときは  z(1) z(2) .. .   z(1) z(2) .. .                x1             x2      −1  .  ≃ (P )  z(p/2)  = P  z(p/2)    .          .   z(p/2+1)   z(p/2+1)      xp .. ..     . .     z(p) z(p) 伝送されて来なかった主成分は， 平均に置き換えておく 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 30 32
72. KL変換の大問題 主成分を求めるには，分散共分散行列が必要 分散共分散行列を求めるには， 「いまから取り扱うすべての画像」が 事前にわかっていないといけない そんなことは不可能。 とは，最近は言えなくなってきていますが… それでも，画像データ圧縮のために，わざわざ 世の中のすべての画像を「学習」するのか？ 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 31 32
73. 続きは 分散共分散行列がわからないから， どういう直交変換をしたらいいかもわからない 経験的にうまくいく直交変換を行う 画像をベクトルではなく，２次元のまま行列で表して 「行列の直交変換」を考え， 直交変換のようすが目に見えるようにする。 適切な直交変換を選ぶ （実は結局フーリエ変換とその変形） 2026年度秋学期 画像情報処理 ／ 関西大学総合情報学部 浅野 晃 32 32