は次のように書ける 行列 の解釈は後述 y = Xβ + ε ∑ n i=1 ε2 i = εT ε β X ^ β = (X T X) −1 X T y y ^ y = X ^ β e = y − ^ y ^ y = PX y e = (I − PX )y PX = X(X T X) −1 X T PX 12 / 46
が定まる。 ^ β ε T ε = (y − Xβ) T (y − Xβ) = y T y − β T X T y − y T Xβ + β T X T Xβ = y T y − 2β T X T y + β T X T Xβ β 0 ∇β (ε T ε) = −2X T y + 2X T Xβ = 0 ∇x (x T c) = c ∇x (x T Ax) = 2Ax A (X T X) −1 ^ β X T Xβ = X T y 13 / 46
は直交行列 直交行列の性質より なので、 ここで , より、 改めて とおくと、 で、 の列 は の正規直交基底より、 の各要素は自由に動ける。 M {g1 , … , gp } M M ⊥ {gp+1 , … , gn } G1 G2 G = (G1 , G2 ) G |det G| = 1 z ∼ N ( ~ η, σ 2 I), ~ η = G T μ, μ ∈ M g T i μ = 0 i = p + 1, … , n ~ η = (η1 , … , ηp , 0, … , 0) η = (η1 , … , ηp ) μ = G ~ η = G1 η G1 M η 30 / 46
, を使う) ここで は から への射影を表す。 z = G T y X p ∥y − μ∥ 2 = (y − μ) T (y − μ) = (y − μ) T GG T (y − μ) = (z − ~ η) T (z − ~ η) = p ∑ i=1 (z i − η i ) 2 + n ∑ i=p+1 z 2 i ηi = zi i = 1, … , p ^ y μ = G1 η z = G T y ^ y = g1 z1 + ⋯ + gp zp = (g1 g T 1 + ⋯ + gp g T p )y = G1 G T 1 y PM = G1 G T 1 y ^ y 32 / 46
一般に、以下の線形方程式を考える ここで , , , , の要素の一次結合 が追加の制約 によらないとき、 は線形推定可能という。 μi = μ0 + αi ∑ i αi = 0 ∑ i ni αi = 0 αi − αj i ≠ j Ax = b, C T x = 0 A ∈ R n×q rank A = p < q x ∈ R q b ∈ R n C T ∈ R (q−p)×q x aT x C aT x 42 / 46
従って 、つまり、 が の行ベクトル の一次結合であれば は線形推定可能 A Ker A = {x ∣ Ax = 0} x ′ Ax ′ = b Ax = b x = x ′ + ~ x, ~ x ∈ Ker A a T x C T x = 0 a T ~ x = 0, ∀ ~ x ∈ Ker A a ∈ (Ker A) ⊥ = Im A T a A a T x 43 / 46