Upgrade to Pro — share decks privately, control downloads, hide ads and more …

What is LiNGAM?

What is LiNGAM?

Nakashima Takaya

July 29, 2021
Tweet

More Decks by Nakashima Takaya

Other Decks in Science

Transcript

  1. 参考資料 • 統計的因果探索 (機械学習プロフェッショナルシリーズ) |本 • 構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展 Qiita •

    LiNGAMモデルの識別可能性について • LiNGAMモデルの推定方法について • LiNGAM入門.気軽に因果関係を推定する(統計的因果探索) • ノイズがガウス分布だと因果的順序を特定できない理由 • 統計的因果探索のLiNGAMを実装してみた 2
  2. Table of contents 1. LiNGAMとは 2. 因果探索とは 3. 線形な構造方程式モデルとは 4.

    因果が循環しないとは(因果グラフについて) 5. 誤差項がNon Gaussianとは 6. LiNGAMモデルの推定 7. Take home message 3
  3. LiNGAM → Linear Non-Gaussian Acyclic Model • Linear : 線形な

    • Non-Gaussian : ガウス分布に従わない • Acyclic Model : 循環しないモデル ??? 5
  4. 線 形 な 構 造 方 程 式 モ デ

    ル ? 因果探索?? 誤差がNon Gaussian? 因果が循環しない?? 7
  5. 基本問題への3つのアプローチ アプローチ 関数の仮定 外生変数の分布 識別可能性 ノンパラメトリック ✕ ✕ (非ガウス分布) △〜✕

    パラメトリック ◦ (線形性) ◦ (ガウス分布) △〜✕ セミパラメトリック ◦ (線形性) ✕ (非ガウス分布) ◦ セミパラメトリックアプローチの代表モデルがLiNGAM 24 条件付き独立性を利用 (因果的マルコフ条件)
  6. 無相関と独立の違い 確率変数X,Yが無相関とは 定義: E[XY]=E[X] E[Y] 性質1:共分散 Cov(X,Y) が 0 である

    性質2:相関係数が 0 である 直感: X と Yの間に直線的な関係がない 高校数学の美しい物語 29
  7. 確率変数X,Yが独⽴とは 定義: 任意のx, yに対して P(X=x,Y=y) = P(X=x)P(Y=y)が成立する (確率が二つの積に分解できる) 直感: Xと

    Yの間には何の関係もない 独立のほうが無相関より強い条件!! 高校数学の美しい物語 30
  8. 無相関と独立の違い ダルモア・スキットビッチの定理 定理( Darmois-Skitovic ) X1,⋯,XNを互いに独立な確率変数とし,Y1,Y2を以下のように定義する. このとき,もし Y1と Y2が独立ならば,すべての i

    で Xiはガウス分布にしたがう. 対偶: Xiの分布が少なくとも1つでもガウス分布に従わなければ, Y1と Y2は独立にならない 雑記: ダルモア・スキットビッチ定理の証明 32
  9. 38

  10. LiNGAMの目的は, データ行列Xの情報のみを使って,パス係数行列Bを推定すること パス係数行列Bを一意に推定可能 = パス係数行列Bを識別可能である まとめ 𝒙𝒊 = ∑𝒌 𝒋

    $𝒌(𝒊) 𝒃𝒊𝒋 𝒙𝒋 + 𝒆𝒊 OR 𝒙 = 𝑩𝒙 + 𝒆 𝒌(𝒊): 𝒙𝒊 の生成順序 外生変数𝒆𝒊 は分散≠0,非ガウス分布,互いに独立 40
  11. 独立成分分析(Independent component analysis)とは • 主成分分析をさらに発展させた方法. • 未観測変数の値が混ざり合って,観測変数の値が生成されると考える 43 観測変数ベクトルxのデータ生成過程: 𝒙𝒊

    = ∑𝒋#𝟏 𝑷 𝒂𝒊𝒋 𝒔𝒋 OR 𝒙 = 𝑨𝒔 𝒔𝒋 は未観測変数(独立成分)で,分散≠0,非ガウス分布かつ独立, Aは正方行列で,混合行列と呼ぶ
  12. 46

  13. 47

  14. 独立成分分析の手法 49 復元行列が混合行列の逆行列と等しくなれば(𝑾 = 𝑨&𝟏),sが復元できる 𝒔 = 𝑾𝒙(= 𝑨&𝟏𝑨𝒔 =

    𝒔) 3.Wを推定するために,ベクトルyの成分の独立性が最大になるようなWを探す ∵ベクトルyで推定しようとしている独立成分ベクトルsの成分は独立だから 混合行列の逆行列となるような復元行列Wを推定する
  15. STEP1:行列を用いて線形結合を表す 53 観測変数𝒙𝒊 は,非ガウスかつ独立な外生変数𝒆𝒊 の線形結合から成る 𝒙 = 𝑩𝒙 + 𝒆

    Bは係数行列でありp × pの正方行列 因果グラフについて非巡回を仮定しているため, 観測変数の順序を正しい順序で並び替えると 係数行列Bは対角成分がすべて0となる下三角行列(厳密な下三角行列)
  16. STEP2:復元行列Wを求める 54 式変形すると, 𝒙 = (𝑰 − 𝑩)&𝟏𝒆 = 𝑨𝒆

    ここで,誤差変数ベクトルeは独立で非ガウスであるからこの式はICAモデルとみなせる. 行列Aの逆行列を復元行列Wとすると 𝑾 = 𝑨&𝟏 = 𝑰 − 𝑩 ICAによって求まる行列は本来のWから行の順序と尺度が異なる可能性のある行列となる. 行の順序の置換行列Pと尺度を示す対角行列Dを用いて推定される復元行列𝑾𝒊𝒄𝒂 は 𝑾𝒊𝒄𝒂 = 𝑷𝑫𝑾 = 𝑷𝑫(𝑰 − 𝑩)
  17. STEP3:置換行列Pを定める 55 式変形すると, 𝑷&𝟏𝑾𝒊𝒄𝒂 = 𝑫 𝑰 − 𝑩 ここで,非巡回性よりBの対角成分は0であるから

    𝑰 − 𝑩 の対角成分は1 さらに尺度関数Dの対角成分は0ではない. したがって,右辺の対角成分は0にならないから, 左辺において, 𝑾𝒊𝒄𝒂 は対角成分に0が来ないように𝑷&𝟏に置換される必要がある. よって,そのような置換行列を4 5 𝑷とすると以下のように推定される
  18. STEP5:係数を表示する行列Bを求める 57 / 0 𝑷1 𝑾𝒊𝒄𝒂 = / 𝑫 𝑰

    − 𝑩 = / 𝑫𝑾から, 係数行列Bを推定行列は, 𝑰 − 𝑩 = 1 𝑾より,