Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

制限ボルツマンマシンの話 / Introduction of RBM

制限ボルツマンマシンの話 / Introduction of RBM

制限ボルツマンマシン(Restricted Boltzmann Machine, RBM)の簡単な紹介。

kaityo256

May 02, 2024
Tweet

More Decks by kaityo256

Other Decks in Education

Transcript

  1. 2 19 制限ボルツマンマシンとは 制限ボルツマンマシン(Restricted Boltzmann Machine, RBM) とはボルツマンマシンの一種 ボルツマンマシンとはイジング 模型(Ising

    Model)の一種 (※ベルヌーイ-ベルヌーイ型の場合) RBMを理解するには、イジング模型を理解しなければならない
  2. 3 19 イジング模型 • 格子の各点にスピン(小さな磁石)がある • スピンは「上」と「下」の状態がある • 隣り合うスピンをつなぐ線をボンドと呼ぶ ボンドの両側の

    スピンの向き 同じ 逆 エネルギー −𝐽 𝐽 𝐽 > 0ならスピンは揃いたがる(強磁性的) 𝐽 < 0ならスピンは逆向きを好む(反強磁性)
  3. 6 19 イジング模型 全系のエネルギーは以下のように書ける 𝐻 = −𝐽 ෍ 𝑖,𝑗 𝜎𝑖

    𝜎𝑗 系の全てのボンドについて和をとるという意味 全系のエネルギーを与える量をハミルトニアンとよぶ
  4. 7 19 ボルツマン重み 系の状態に通し番号をつけ、𝑖番目の状態のエネルギーを𝐸𝑖 とする 状態𝑖 エネルギー 𝐸𝑖 = 4𝐽

    𝑤𝑖 = exp(−𝛽𝐸𝑖 ) ボルツマン定数 𝛽 = 1/𝑘𝐵 𝑇 逆温度 𝑘𝐵 各状態の出現確率がボルツマン重みに比例する
  5. 9 19 イジング模型からボルツマンマシンへ 𝐸 = −4J 𝐸 = 0 𝑤

    = exp(4𝛽𝐽) 𝑤 = 1 > 左のパターンの方が出現確率が高い
  6. 11 19 ボルツマンマシン スピン間に適当にボンドを繋いでおく ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える 各スピンには局所磁場ℎ𝑖 を与える 𝐻 =

    − ෍ 𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + ෍ 𝑖 ℎ𝑖 𝜎𝑖 状態はボルツマン重みに従って出現させる
  7. 12 19 ボルツマンマシン 所望のパターン 1/3 2/3 上記の確率を実現するような重みと局所磁場を求めたい 𝐻 = −

    ෍ 𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + ෍ 𝑖 ℎ𝑖 𝜎𝑖 一般には極めて難しい
  8. 13 19 制限ボルツマンマシン • スピン間に適当にボンドを繋いでおく • ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える • 各スピンには局所磁場ℎ𝑖

    を与える • スピンを2つのグループに分け、同じグループ間にはスピ ン間相互作用を持たせない 隠れ層 可視層 この制限により、CD法(Contrastive divergence method)と言う 効率的な学習アルゴリズムが利用可能に(「制限」のメリット) G. E. Hinton, Neural Comput. 14, 1771–1800 (2002)
  9. 19 19 まとめ • ボルツマンマシンはイジング模型の一種 イジング模型:相互作用から出現パターンを推定 ボルツマンマシン:出現パターンから相互作用を決定 • ボルツマンマシンはパターンを記憶する •

    ノイズ修正や異常検知に使える • 制限ボルツマンマシンは、情報を圧縮する • 可視層に比べて隠れ層の数が少ない • 隠れ層は、入力の特徴量ベクトルとみなせる • 制限ボルツマンマシンは構造が単純であるため、 「どこにどのような情報が蓄積されたか」の解析 ができる可能性がある