Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
制限ボルツマンマシンの話 / Introduction of RBM
Search
kaityo256
PRO
May 02, 2024
Education
3
1.3k
制限ボルツマンマシンの話 / Introduction of RBM
制限ボルツマンマシン(Restricted Boltzmann Machine, RBM)の簡単な紹介。
kaityo256
PRO
May 02, 2024
Tweet
Share
More Decks by kaityo256
See All by kaityo256
モンテカルロ法(3) 発展的アルゴリズム / Simulation 04
kaityo256
PRO
5
1.3k
UMAPをざっくりと理解 / Overview of UMAP
kaityo256
PRO
5
1.8k
SSH公開鍵認証による接続 / Connecting with SSH Public Key Authentication
kaityo256
PRO
3
470
論文紹介のやり方 / How to review
kaityo256
PRO
15
83k
デバッグの話 / Debugging for Beginners
kaityo256
PRO
10
1.6k
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
6
530
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
15
5.3k
論文の読み方 / How to survey
kaityo256
PRO
223
170k
リンゴゲームと貧富の差 / Origin of the disparity of wealth
kaityo256
PRO
14
15k
Other Decks in Education
See All in Education
2025年度春学期 統計学 第2回 統計資料の収集と読み方(講義前配付用) (2025. 4. 17)
akiraasano
PRO
0
140
JPCERTから始まる草の根活動~セキュリティ文化醸成のためのアクション~
masakiokuda
0
170
2025年度春学期 統計学 第10回 分布の推測とは ー 標本調査,度数分布と確率分布 (2025. 6. 12)
akiraasano
PRO
0
110
OpenSourceSummitJapanを運営してみた話
kujiraitakahiro
0
660
技術文章を書くための執筆技術と実践法(パラグラフライティング)
hisashiishihara
18
6.4k
Pythonパッケージ管理 [uv] 完全入門
mickey_kubo
19
13k
仮説の取扱説明書/User_Guide_to_a_Hypothesis
florets1
4
280
IMU-00 Pi
kanaya
0
360
미국 교환학생 가서 무료 홈스테이 살면서 인턴 취업하기
maryang
0
100
Case Studies and Course Review - Lecture 12 - Information Visualisation (4019538FNR)
signer
PRO
1
2k
アウトプット0のエンジニアが半年でアウトプットしまくった話 With JAWS-UG
masakiokuda
2
290
AIの時代こそ、考える知的学習術
yum3
2
160
Featured
See All Featured
Scaling GitHub
holman
459
140k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Bash Introduction
62gerente
614
210k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Testing 201, or: Great Expectations
jmmastey
42
7.5k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
228
22k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.8k
Unsuck your backbone
ammeep
671
58k
How STYLIGHT went responsive
nonsquared
100
5.6k
A Tale of Four Properties
chriscoyier
159
23k
Transcript
1 19 制限ボルツマンマシンの話 慶應義塾大学理工学部物理情報工学科 渡辺宙志 2024年5月2日 研究室ミーティング
2 19 制限ボルツマンマシンとは 制限ボルツマンマシン(Restricted Boltzmann Machine, RBM) とはボルツマンマシンの一種 ボルツマンマシンとはイジング 模型(Ising
Model)の一種 (※ベルヌーイ-ベルヌーイ型の場合) RBMを理解するには、イジング模型を理解しなければならない
3 19 イジング模型 • 格子の各点にスピン(小さな磁石)がある • スピンは「上」と「下」の状態がある • 隣り合うスピンをつなぐ線をボンドと呼ぶ ボンドの両側の
スピンの向き 同じ 逆 エネルギー −𝐽 𝐽 𝐽 > 0ならスピンは揃いたがる(強磁性的) 𝐽 < 0ならスピンは逆向きを好む(反強磁性)
4 19 イジング模型 格子の上の全てのボンドについてエネルギー の和を取り、この系の全エネルギーとする このような模型をイジング模型(Ising Model)と呼び、 磁性体の簡単なモデルになっている 以下、強磁性 (𝐽
> 0)の場合を考える 𝐸 = −2𝐽 + 2𝐽 = 0
5 19 イジング模型 𝑖番目のスピンの状態を𝜎𝑖 とする 𝜎𝑖 の値は1(上向き)か-1(下向き)のいずれか −𝐽 𝐽 𝜎𝑖
= 1 𝜎𝑗 = 1 𝜎𝑖 = 1 𝜎𝑗 = −1 両方まとめて−𝐽𝜎𝑖 𝜎𝑗 と書ける
6 19 イジング模型 全系のエネルギーは以下のように書ける 𝐻 = −𝐽 𝑖,𝑗 𝜎𝑖
𝜎𝑗 系の全てのボンドについて和をとるという意味 全系のエネルギーを与える量をハミルトニアンとよぶ
7 19 ボルツマン重み 系の状態に通し番号をつけ、𝑖番目の状態のエネルギーを𝐸𝑖 とする 状態𝑖 エネルギー 𝐸𝑖 = 4𝐽
𝑤𝑖 = exp(−𝛽𝐸𝑖 ) ボルツマン定数 𝛽 = 1/𝑘𝐵 𝑇 逆温度 𝑘𝐵 各状態の出現確率がボルツマン重みに比例する
8 19 イジング模型からボルツマンマシンへ イジング模型を「スイッチを押したら、状態がボルツマン重みの確率に比 例して出現するマシン」だと思うことにする = = イジング模型のスピンを電球の配列と考え、 スピン下向きを「電気オフ」、スピン上向きを「電気オン」と対応させる
9 19 イジング模型からボルツマンマシンへ 𝐸 = −4J 𝐸 = 0 𝑤
= exp(4𝛽𝐽) 𝑤 = 1 > 左のパターンの方が出現確率が高い
10 19 イジング模型からボルツマンマシンへ スピンによって電光掲示板のようにパターンを作ることができる イジングマシンはスピン間相互作用から出現パターンを予想していた 逆に、所望の出現パターンを持つようなスピン間相互作用を作れないか? ボルツマンマシン
11 19 ボルツマンマシン スピン間に適当にボンドを繋いでおく ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える 各スピンには局所磁場ℎ𝑖 を与える 𝐻 =
− 𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 状態はボルツマン重みに従って出現させる
12 19 ボルツマンマシン 所望のパターン 1/3 2/3 上記の確率を実現するような重みと局所磁場を求めたい 𝐻 = −
𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 一般には極めて難しい
13 19 制限ボルツマンマシン • スピン間に適当にボンドを繋いでおく • ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える • 各スピンには局所磁場ℎ𝑖
を与える • スピンを2つのグループに分け、同じグループ間にはスピ ン間相互作用を持たせない 隠れ層 可視層 この制限により、CD法(Contrastive divergence method)と言う 効率的な学習アルゴリズムが利用可能に(「制限」のメリット) G. E. Hinton, Neural Comput. 14, 1771–1800 (2002)
14 19 制限ボルツマンマシン 隠れ層 隠れ層 可視層 可視層 スイッチを押すと全て のランプが重みに従っ て確率的に光るが
見えるのは可視層 のランプのみ
15 19 制限ボルツマンマシン 所望のパターン 1/3 2/3 隠れ層 可視層 RBM 可視層の出現パターンが所望のパターンに一致するように重みを決める
その際、隠れ層の状態は問わない RBMの学習
16 19 制限ボルツマンマシン RBMの学習 大量のデータを暗記させる 学習済みRBMができること 聞くたびに覚えたものからランダムに一つ返す
17 19 RBMの用途 ボルツマンマシンはパターンを記憶できる →覚えていないパターンが来たらわかる(異常検知) →パターンの一部を乱されてもわかる(ノイズ修正) 制限ボルツマンマシンは情報を圧縮できる → 可視層に入力された情報を、一度隠れ層に圧縮し て保存し、また可視層に再現できる
18 19 RBMの情報圧縮 1. 可視層にパターン入力 2. 可視層のパターンから 隠れ層のパターン再現 3. 隠れ層のパターンから
可視層のパターン再現
19 19 まとめ • ボルツマンマシンはイジング模型の一種 イジング模型:相互作用から出現パターンを推定 ボルツマンマシン:出現パターンから相互作用を決定 • ボルツマンマシンはパターンを記憶する •
ノイズ修正や異常検知に使える • 制限ボルツマンマシンは、情報を圧縮する • 可視層に比べて隠れ層の数が少ない • 隠れ層は、入力の特徴量ベクトルとみなせる • 制限ボルツマンマシンは構造が単純であるため、 「どこにどのような情報が蓄積されたか」の解析 ができる可能性がある