Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
制限ボルツマンマシンの話 / Introduction of RBM
Search
kaityo256
PRO
May 02, 2024
Education
3
1.2k
制限ボルツマンマシンの話 / Introduction of RBM
制限ボルツマンマシン(Restricted Boltzmann Machine, RBM)の簡単な紹介。
kaityo256
PRO
May 02, 2024
Tweet
Share
More Decks by kaityo256
See All by kaityo256
SSH公開鍵認証による接続 / Connecting with SSH Public Key Authentication
kaityo256
PRO
2
310
論文紹介のやり方 / How to review
kaityo256
PRO
15
79k
デバッグの話 / Debugging for Beginners
kaityo256
PRO
10
1.4k
ビット演算の話 / Let's play with bit operations
kaityo256
PRO
6
450
GNU Makeの使い方 / How to use GNU Make
kaityo256
PRO
15
5.2k
論文の読み方 / How to survey
kaityo256
PRO
219
170k
リンゴゲームと貧富の差 / Origin of the disparity of wealth
kaityo256
PRO
14
14k
渡辺研Slackの使い方 / Slack Local Rule
kaityo256
PRO
9
9.2k
時間の矢について / Time's arrow
kaityo256
PRO
12
18k
Other Decks in Education
See All in Education
OCIでインスタンス構築してみた所感
masakiokuda
0
180
諸外国の理科カリキュラムにおけるビッグアイデアの構造比較
arumakan
0
180
SkimaTalk Teacher Guidelines Summary
skimatalk
0
730k
Interactive Tabletops and Surfaces - Lecture 5 - Next Generation User Interfaces (4018166FNR)
signer
PRO
1
1.6k
(モブ)エンジニアが伝えるアウトプット活動のススメ!! #カンリーLT
masakiokuda
2
300
保育士チームが実践している連続的な観察と多面的な観察を共有するための振り返り / Reflection to share “continuous and multifaceted observations” as practiced by a team of childcare professionals
psj59129
0
3.9k
Info Session MSc Computer Science & MSc Applied Informatics
signer
PRO
0
140
Data Processing and Visualisation Frameworks - Lecture 6 - Information Visualisation (4019538FNR)
signer
PRO
1
2.3k
Moodle 4.5 LTS : Guide des nouvelles fonctionnalités 2025-2027
pimenko
0
150
自己紹介 / who-am-i
yasulab
PRO
2
4.9k
【お子さま向け】Amazon ECS サービスディスカバリーって知ってる?【楽しい読み聞かせ】
tubone24
8
850
教員向け生成AI基礎講座(2025年3月28日 東京大学メタバース工学部 ジュニア講座)
luiyoshida
0
280
Featured
See All Featured
GitHub's CSS Performance
jonrohan
1030
460k
Designing Experiences People Love
moore
141
24k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
23
2.6k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
13
660
Scaling GitHub
holman
459
140k
Stop Working from a Prison Cell
hatefulcrawdad
268
20k
For a Future-Friendly Web
brad_frost
176
9.7k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Code Reviewing Like a Champion
maltzj
522
40k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Bash Introduction
62gerente
611
210k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
135
33k
Transcript
1 19 制限ボルツマンマシンの話 慶應義塾大学理工学部物理情報工学科 渡辺宙志 2024年5月2日 研究室ミーティング
2 19 制限ボルツマンマシンとは 制限ボルツマンマシン(Restricted Boltzmann Machine, RBM) とはボルツマンマシンの一種 ボルツマンマシンとはイジング 模型(Ising
Model)の一種 (※ベルヌーイ-ベルヌーイ型の場合) RBMを理解するには、イジング模型を理解しなければならない
3 19 イジング模型 • 格子の各点にスピン(小さな磁石)がある • スピンは「上」と「下」の状態がある • 隣り合うスピンをつなぐ線をボンドと呼ぶ ボンドの両側の
スピンの向き 同じ 逆 エネルギー −𝐽 𝐽 𝐽 > 0ならスピンは揃いたがる(強磁性的) 𝐽 < 0ならスピンは逆向きを好む(反強磁性)
4 19 イジング模型 格子の上の全てのボンドについてエネルギー の和を取り、この系の全エネルギーとする このような模型をイジング模型(Ising Model)と呼び、 磁性体の簡単なモデルになっている 以下、強磁性 (𝐽
> 0)の場合を考える 𝐸 = −2𝐽 + 2𝐽 = 0
5 19 イジング模型 𝑖番目のスピンの状態を𝜎𝑖 とする 𝜎𝑖 の値は1(上向き)か-1(下向き)のいずれか −𝐽 𝐽 𝜎𝑖
= 1 𝜎𝑗 = 1 𝜎𝑖 = 1 𝜎𝑗 = −1 両方まとめて−𝐽𝜎𝑖 𝜎𝑗 と書ける
6 19 イジング模型 全系のエネルギーは以下のように書ける 𝐻 = −𝐽 𝑖,𝑗 𝜎𝑖
𝜎𝑗 系の全てのボンドについて和をとるという意味 全系のエネルギーを与える量をハミルトニアンとよぶ
7 19 ボルツマン重み 系の状態に通し番号をつけ、𝑖番目の状態のエネルギーを𝐸𝑖 とする 状態𝑖 エネルギー 𝐸𝑖 = 4𝐽
𝑤𝑖 = exp(−𝛽𝐸𝑖 ) ボルツマン定数 𝛽 = 1/𝑘𝐵 𝑇 逆温度 𝑘𝐵 各状態の出現確率がボルツマン重みに比例する
8 19 イジング模型からボルツマンマシンへ イジング模型を「スイッチを押したら、状態がボルツマン重みの確率に比 例して出現するマシン」だと思うことにする = = イジング模型のスピンを電球の配列と考え、 スピン下向きを「電気オフ」、スピン上向きを「電気オン」と対応させる
9 19 イジング模型からボルツマンマシンへ 𝐸 = −4J 𝐸 = 0 𝑤
= exp(4𝛽𝐽) 𝑤 = 1 > 左のパターンの方が出現確率が高い
10 19 イジング模型からボルツマンマシンへ スピンによって電光掲示板のようにパターンを作ることができる イジングマシンはスピン間相互作用から出現パターンを予想していた 逆に、所望の出現パターンを持つようなスピン間相互作用を作れないか? ボルツマンマシン
11 19 ボルツマンマシン スピン間に適当にボンドを繋いでおく ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える 各スピンには局所磁場ℎ𝑖 を与える 𝐻 =
− 𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 状態はボルツマン重みに従って出現させる
12 19 ボルツマンマシン 所望のパターン 1/3 2/3 上記の確率を実現するような重みと局所磁場を求めたい 𝐻 = −
𝑖,𝑗 𝐽𝑖𝑗 𝜎𝑖 𝜎𝑗 + 𝑖 ℎ𝑖 𝜎𝑖 一般には極めて難しい
13 19 制限ボルツマンマシン • スピン間に適当にボンドを繋いでおく • ボンドにはスピン間相互作用𝐽𝑖𝑗 を与える • 各スピンには局所磁場ℎ𝑖
を与える • スピンを2つのグループに分け、同じグループ間にはスピ ン間相互作用を持たせない 隠れ層 可視層 この制限により、CD法(Contrastive divergence method)と言う 効率的な学習アルゴリズムが利用可能に(「制限」のメリット) G. E. Hinton, Neural Comput. 14, 1771–1800 (2002)
14 19 制限ボルツマンマシン 隠れ層 隠れ層 可視層 可視層 スイッチを押すと全て のランプが重みに従っ て確率的に光るが
見えるのは可視層 のランプのみ
15 19 制限ボルツマンマシン 所望のパターン 1/3 2/3 隠れ層 可視層 RBM 可視層の出現パターンが所望のパターンに一致するように重みを決める
その際、隠れ層の状態は問わない RBMの学習
16 19 制限ボルツマンマシン RBMの学習 大量のデータを暗記させる 学習済みRBMができること 聞くたびに覚えたものからランダムに一つ返す
17 19 RBMの用途 ボルツマンマシンはパターンを記憶できる →覚えていないパターンが来たらわかる(異常検知) →パターンの一部を乱されてもわかる(ノイズ修正) 制限ボルツマンマシンは情報を圧縮できる → 可視層に入力された情報を、一度隠れ層に圧縮し て保存し、また可視層に再現できる
18 19 RBMの情報圧縮 1. 可視層にパターン入力 2. 可視層のパターンから 隠れ層のパターン再現 3. 隠れ層のパターンから
可視層のパターン再現
19 19 まとめ • ボルツマンマシンはイジング模型の一種 イジング模型:相互作用から出現パターンを推定 ボルツマンマシン:出現パターンから相互作用を決定 • ボルツマンマシンはパターンを記憶する •
ノイズ修正や異常検知に使える • 制限ボルツマンマシンは、情報を圧縮する • 可視層に比べて隠れ層の数が少ない • 隠れ層は、入力の特徴量ベクトルとみなせる • 制限ボルツマンマシンは構造が単純であるため、 「どこにどのような情報が蓄積されたか」の解析 ができる可能性がある