Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
Search
NearMeの技術発表資料です
PRO
October 28, 2023
Science
500
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
NearMeの技術発表資料です
PRO
October 28, 2023
Transcript
40 slides
0 2023-10-27 第66回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
1 はじめに 参考図書:「拡散モデル –– データ⽣成技術の数理」 https://amzn.asia/d/2anj2zE
2 拡散モデルとは ‧⽣成モデル
3 拡散モデルとは ‧⽣成モデル 拡散モデルは⽣成モデルの⼀種
4 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) →
5 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
6 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
7 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) → ※双⽅に確率微分⽅程式が⽤いられている
8 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
9 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
10 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形 ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
11 ブラウン運動 定義
12 ブラウン運動 定義 ※ 特に重要な性質→「インクリメントが正規分布に従う」
13 確率微分⽅程式の数値解法 Euler・丸山スキーム
14 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
15 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
16 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
17 確率微分⽅程式の数値解法 Euler・丸山スキーム
18 確率微分⽅程式の数値解法 Euler・丸山スキーム
19 確率微分⽅程式の数値解法 Euler・丸山スキーム
20 確率微分⽅程式の数値解法 Euler・丸山スキーム 連続極限
21 Langevin⽅程式
22 Langevin⽅程式 あるいは
23 Langevin⽅程式 あるいは
24 Langevin Monte-Carlo法 離散化
25 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
26 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
27 Langevin⽅程式で遊んでみよう
28 コード https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4 ?usp=sharing#scrollTo=_3WF4YS6WOuC
29 遊び⽅ ‧ブラウン運動のサンプルパスを発⽣させてみる ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を 観察する ‧各パラメータを⾊々と変えてみる
30 うまくいった例 初期点 混合正規分布 終点
31 局所峰に登ったまま終わる例 混合正規分布 初期点 終点
32 局所峰に登ったまま終わる例 混合正規分布 初期点 終点 こういうこともある
33 参考⽂献 ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023. ‧⽯村直之
: 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」. 共⽴出版, 2014.
34 Appendix
35 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?
36 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ? A. そもそも確率微分⽅程式が怪しい
37 確率積分 これは正当化可能
38 妄想 ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか? ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて サービスの価格が均衡していくプロセスと同⼀視できないか? (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?) できれば「それらしい」プライスを⽣成できるかも?) 🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、 ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…?)
39 Thank you
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
エージェントの管理もエージェントに – herdr-core と自作バックログで作る司令塔 –
nearme_tech
PRO
0
61
判断特化モデル Jev で 開発チケットをトリアージする
nearme_tech
PRO
0
47
Develop and customize Slackbot with Centaur
nearme_tech
PRO
0
29
AIエージェントのための 隔離された安全なインフラ設計
nearme_tech
PRO
0
46
Claude Code × git worktree で並列開発 (続き) -差分のサービスだけを併設する-
nearme_tech
PRO
1
82
Claude Code × git worktree で並列開発 — サブモジュール構成のリポジトリで成立させる —
nearme_tech
PRO
0
89
LLM + 強化学習
nearme_tech
PRO
0
46
PosthogのA/Bテスト機能の紹介
nearme_tech
PRO
1
130
AIフレンドリーなプロダクトに向けて
nearme_tech
PRO
2
85
Other Decks in Science
See All in Science
Leitner Inauguration Lecture Chalmers University of Technology
xleitix
0
420
機械学習 - K-means & 階層的クラスタリング
trycycle
PRO
0
2.4k
Wet Active Matter
rajeshrinet
0
280
20260820_アウトカムが二値のデータに対するCausal Impact@LINEヤフー Data Science Share #2 / Causal Impact for Binary Outcomes
brainpadpr
3
1.8k
SAT ソルバーの仕組みと制約ソルバーへの応用
tsoh
3
800
勾配流から乖離した学習ダイナミクス
hanbao
1
1.2k
AWS WAFのAIトラフィック収益化機能を考えてみる_20260626
masakiokuda
1
150
Conwayの法則を"ちゃんと"使うために — 原典でConwayは何を言っていたのか
bonotake
10
8k
JPA2026_NetworkSymposium_Omizu
junkashihara
0
120
Note agro-climatique et prairies - Numéro 7
institutdelelevage
PRO
0
800
言葉をはかる:テキストマイニング入門①講義編
satocos135
0
320
GKE上でオセロの強化学習やってみた
akasan
0
130
Featured
See All Featured
Exploring the relationship between traditional SERPs and Gen AI search
raygrieselhuber
PRO
4
4.4k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
3.1k
Paper Plane (Part 1)
katiecoart
PRO
3
12k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
Heart Work Chapter 1 - Part 1
lfama
PRO
11
37k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
7.1k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
32
3.1k
Information Architects: The Missing Link in Design Systems
soysaucechin
1
1.3k
Code Review Best Practice
trishagee
74
20k
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
6
1.3k
[SF Ruby Conf 2025] Rails X
palkan
3
1.5k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480