Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Score-Based Generative Modeling through Stochas...

MasaKat0
September 16, 2022

Score-Based Generative Modeling through Stochastic Differential Equation

論文輪読

MasaKat0

September 16, 2022
Tweet

More Decks by MasaKat0

Other Decks in Research

Transcript

  1. Score-Based Generative Modeling through Stochastic Differential Equation 確率微分方程式によるスコアベース生成モデリング Yang Song,

    Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon, Ben Poole 読: 加藤真大
  2. Score-Based Generative Modeling through Stochastic Differential Equation n 既存の拡散モデルによるアプローチを一般化. •

    SDEを導入して,離散時間ノイズスケールを連続時間に拡張. • SMLDやDDPMなどの既存手法を体系的に位置付けられる. n 両者ともscore-based generative modelとして扱える. • つまり,拡散モデルからscore-based生成モデルへの一般化. • 既存のSDEの求解方法を発展させることで,新しい生成手法を提案. n 実験的にも良い性能. 2
  3. 1. 導入 nScore matching with Langevin dynamics (SMLD) • Song

    & Ermon (2019). • 各ノイズスケールにおけるスコアを推定. スコア:データに関する対数確率密度の勾配. • 生成: ランジュバン動力学を用いて,減少するノイズスケールの系列からサンプリング. 7
  4. 1. 導入 nDenoising 拡散確率モデリング(DDPM) • Sohl-Dickstein et al. (2015); Ho

    et al. (2020). • 訓練を扱いやすくするために逆分布の関数形の知識を用いて,ノイズ崩壊の各 段階を逆にする一連の確率モデルを学習. • 連続状態空間の場合: DDPMの目的関数は各ノイズスケールでのスコアを暗黙的に計算. Øこの2つのモデルクラスをスコアベース生成モデルと呼ぶことにする. 8
  5. 1. 導入 n スコアベースの生成モデルと関連する技術(Bordes et al. , 2017; Goyal et

    al. , 2017; Du & Mordatch, 2019)の有用性: • 画像生成(Song & Ermon, 2019; 2020; Ho et al. , 2020). • 音声(Chen et al. , 2020; Kong et al. , 2020). • グラフ(Niu et al. , 2020). • Shapes(Cai et al. 2020)? n 新しいサンプリング手法を可能にし、スコアベースの生成モデルの能力をさらに拡張するために, 確率微分方程式(SDE)のレンズを通して,これまでの手法を一般化する統一的な枠組みを提案. 9
  6. 1. 導入 n 具体的な枠組みの説明: • 離散個のノイズ分布でデータを摂動する代わりに, • 拡散過程に従って時間的に進化する連続なノイズ(と分布)を考える. n 拡散過程:

    • データ点をランダムなノイズに徐々に拡散. • データに依存せず,学習可能なパラメータを持たない所定のSDEによって与えられる. → この過程を逆転させ,ランダムなノイズを滑らかにデータとして成形し,サンプルを生成. =逆時間拡散過程. 10
  7. 1. 導入 • 重要なこと: この逆時間過程が逆時間SDE (Anderson, 1982)を満たすこと. n 周辺確率密度のスコアを時間の関数として与えると順時間SDEから導出できる. •

    時間依存のニューラルネットワークを学習させてスコアを推定. • 数値的なSDEソルバーでサンプルを生成することにより,逆時間SDEを近似. 11 n 逆時間SDEを解くスコアベース生成モデル: • データをサンプルノイズ分布に変換することは連続時 間SDEで実行できる. • このSDEは中間時点の分布のスコア∇! log %" (')を 知っていれば,逆にできる.
  8. 1. 導入 柔軟なサンプリングと尤度計算 ( i ) 予測器-補正器(PC)サンプラー: • 数値SDEソルバーとスコアベースのMCMCを組み合わせたもの. •

    MCMCの例:Langevin MCMC (Parisi, 1981) やHMC (Neal et al. 2011)など. ( ii ) 確率流常微分方程式(ODE)に基づく決定論的サンプラー. n前者:スコアベースのモデルに対する既存のサンプリング手法を統一・改良. n後者:ブラックボックスODEソルバーによる高速サンプリング,潜在コードによる データ操作,一意に識別可能なエンコーディング,厳密な尤度計算が可能: 13
  9. 1. 導入 統一された枠組み nDDPM (Ho et al. , 2020) はSMLD

    (Song & Ermon, 2019; 2020) よりも高いサンプ ル品質を達成することが最近報告された. n提案する枠組みでで許容されるより優れたアーキテクチャと新しいサンプリング アルゴリズムにより,後者の性能が前者に追いつけることを示す. • CIFAR-10: Inception score (9.89) と FID score (2.20) . n新たなSDEを提案し,その手法のもとでの性能を検証. • CIFAR-10画像において尤度値2.99 bits/dimを達成し,新記録を樹立. 16
  10. 2. 背景 2.1 ランジュバン動力学によるノイズ除去スコアマッチング(SMLD) nSMLDの設定. • &! ' ( (

    ≔ *(' (; (, ."/):摂動カーネル. • &! ' ( ≔ ∫ &#$%$ ( &! ' ( ( 2(. ここに数式を入力します。ここで,&#$%$(()はデータ分布を表す. • ノイズスケールの系列.&'( = .) < ." < ⋯ < .* = .&+, . .&'( は十分小さく,&!!"# ( ≈ &-+.+(()であるようにする. .&+, は十分大きく,&!!$% ( ≈ *((; 0, .&+, " /)であるようにする. 17
  11. 2. 背景 2.1 ランジュバン動力学によるノイズ除去スコアマッチング(SMLD) nSong & Ermon (2019) :ノイズ条件付きスコアネットワーク (NCSN)

    を提案. nスコアを推定するネットワークを8/((, .)で表す. nノイズ除去スコアマッチングの加重和 (Vincent, 2011) を目標にして9を訓練. 9∗ = arg min / @ 12) * .1 "A3&$'$(5) A3()( 7 5|5) 8/ ' (, .1 − ∇7 5 log &!) ' ( ( " " . 式(1) n最適なスコアモデル8/∗((, .)の収束: • 十分なデータのもと. ∈ .1 12) * についてほとんど至る所で∇5 log &!(()に一致. 18
  12. 2. 背景 2.1 ランジュバン動力学によるノイズ除去スコアマッチング(SMLD) nサンプリング: • Song & Ermon (2019)はLangevin

    MCMCをMステップ実行. • 各&!)(()について順次サンプルを取得: (1 9 = (1 9:) + H18/∗ (1 9:) , .1 + 2H1I1 9 , J = 1,2, … , L. 式(2) • ここで,H1 はステップサイズ, I1 9は標準正規分布の確率変数. • これを,M = N, N − 1, … , 1回繰り返す((* ; ∼ * 0, .&+< " / ,(1 ; = (1=) > M < N). • 正則条件のもと,? → ∞,かつ,B! → 0 ∀Eで,F" #はG$!"# F ≈ G%&'&(F)からの正確なサンプルに. 19
  13. 2. 背景 2.2 ノイズ除去拡散モデル(DDPM) nSohl-Dickstein et al. (2015)とHo et al.

    (2020): nノイズのスケール0 < P), P", ⋯ , P* < 1の列を考える. n各トレーニングデータ点(; ∼ &-+.+ に対する離散マルコフ連鎖: (;, (), ⋯ , (* , & (1 (1:)) = * (1; 1 − P1(1:), P1/ . nこれより, &I) (1 (; = * (1; Q1(;, 1 − Q1 / , Q1 ≔ R J2) 1 1 − PJ . 20
  14. 2. 背景 2.2 ノイズ除去拡散モデル(DDPM) nSMLDと同様に,摂動データ分布を&I) ' ( ≔ ∫ &-+.+

    ( &I+ ' ( ( 2(とする. n(* が近似的にN(0, /)からの分布であるようにノイズのスケールは一定. n逆方向の変分マルコフ連鎖は以下のようにパラメトライズされる: &/ (1:) (1 = * (1:); 1 1 − P1 (1 + P18/ (1, M , P1/ . nこのモデルは変分下限(ELBO)を再重み付けで変更したもので学習される: !∗ = arg min " ) # $ 1 − ,# -%#$%$(')-%&'() *|*) ." / 0, 2 − ∇) ' log 6*' / 0 0 + + . 式(3) 21
  15. 2. 背景 2.2 ノイズ除去拡散モデル(DDPM) n生成の手順: • 式(3)を解いて最適モデル8/∗((, M)を得た後. • 以下の逆マルコフ連鎖に従って,(*

    ∼ *(0, /)からサンプルを生成: (1:) = 1 1 − P1 (1 + P18/∗ (, M + P1I1, M = N, N − 1, ⋯ , 1. 式(4) nグラフィカルモデル∏12) * &/ (1:) (1 からの祖先サンプリングに相当: • 祖先サンプリングと呼ぶことにする. 22
  16. 2. 背景 2.2 ノイズ除去拡散モデル(DDPM) nDDPMの式(3)もノイズ除去スコアマッチング目的関数の加重和. • SLMDのスコアの学習式(1)と同様. n最適モデル8/∗(' (, M)が摂動したデータ分布のスコア∇5

    log &I) (()と一致. n式(1)および式(3)のM番目の総和で使われている重み:.1 "および 1 − Q1 . → 同じ関数で対応する摂動カーネルに関連づけられる: .1 " ∝ 1/A ∇5 log &!) ' ( ( " " ,かつ, 1 − Q1 ∝ 1/A ∇5 log &I) ' ( ( " " 23
  17. n SDEによるスコアベース生成モデリングの概要: • データを雑音分布(事前分布)に写像する SDE(第3.1節)と, • この SDE を逆向きにした生成モデリング(第3.2節) .

    • また,関連する確率流ODE(第4.3節)を逆向きにすることで,SDEと同じ分布からサンプリングする決定論的なプロセスを得る; 逆時間 SDE と確率流ODEはともに,スコア∇! log 0" 1 を推定することで得られる(第3.3節). 25
  18. 3. SDEによるスコアベース生成モデリング 3.1 SDEによる摂動データ nゴール:連続時間V ∈ [0, X]のもとでの拡散過程 ( V

    %2; K を得ること. • 得られるデータセットがi.i.d.になるように初期値を( 0 ∼ &; とする. • また,( X ∼ &K . • &; はデータ分布,&K は事前分布. 26
  19. 3. SDEによるスコアベース生成モデリング 3.1 SDEによる摂動データ n拡散過程は伊藤確率微分方程式の解としてモデル化される: 2( = Z (, V

    2V + [ V 2\. 式(5) • ここで,\は標準ウィーナー過程(ブラウン運動). • Z ⋅, V : ℝ# → ℝ#:((V)のドリフト係数と呼ばれるベクトル関数. • [ ⋅ : ℝ → ℝ: ((V)の拡散係数と呼ばれるスカラー関数. • 係数が状態と時間に大局的にリプシッツ連続である場合,唯一の強解を持つ. • G((F)をF(L)の密度関数とし,G)((F(L)|F(M))をF(M)からF(L)への遷移カーネルとする(0 ≤ M < L ≤ P). 27
  20. 3. SDEによるスコアベース生成モデリング 3.2 逆SDEによる生成サンプリング n逆時間SDEによる生成サンプリング:( X ∼ &K のサンプルから出発. n確率過程を逆にすることでサンプル(

    0 ∼ &; が得られる. n拡散過程の逆も,時間を逆行する逆時間SDEの拡散過程(Anderson (1982) ): 2( = Z (, V − [ V "∇5 log &% ( 2V + [ V 2b \. 式(6) • ; <は時間が=から0へ逆流するときの標準的なWiener過程. • 各周辺分布のスコア∇' log 6, 0 がすべてのtについて分かっている. → 式(6)から逆時間拡散過程を導き出し, 6-からサンプリングするシミュレーションを行える. 29
  21. 3. SDEによるスコアベース生成モデリング 3.3 SDEのためのスコアの推定 n 分布のスコア:スコアマッチングを行ったサンプルに対してスコアベースモデルを訓練することで 推定することができる(Hyvärinen, 2005; Song et

    al. 2019a). n ∇' log 6,(0)を推定するため,式(1)及び式(3)の連続的な一般化により,時間依存スコアベース モデル."(0, ?)を訓練できる. !∗ = arg min " -, @ ? -' - -' , |'(-) ." 0 ? , ? − ∇' , log 6/, 0 ? 0 0 + + . 式(7) • ): 0, - → ℝ-.は正の重み関数,0は[0, -]からの一様サンプル,' 0 ∼ %. ('),かつ,' 0 ∼ %/" ('(0)|' 0 ). • 式(7)はノイズ除去スコアマッチングを用いている. • 十分なサンプルとモデル複雑度のもと,', 0のほとんどいたるところで50 ' 0 , 0 は∇! " log %/" ' 0 ' 0 , • スライススコアマッチング(Song et al.,2019a)や有限差分スコアマッチング(Pang et al.,2020)なども適用可能 30
  22. 3. SDEによるスコアベース生成モデリング 3.3 SDEのためのスコアの推定 n 式(7)を効率的に解くために: • 一般的に遷移カーネル6-,(0(?)|0(0))を知る必要がある. • C(⋅,

    ?)がアフィンであるとき,遷移カーネルは常にガウス分布. → 平均と分散は閉形式.標準的な手法で得られる(Särkkä & Solin (2019)). • より一般的なSDE:Kolmogorovの前進方程式(Øksendal,2003)を解く. n あるいは, 6-,(0(?)|0(0))からサンプリングするためにSDEをシミュレート. • 式(7)のノイズ除去スコアマッチングをスライススコアマッチングに置き換える. • ∇' , log 6-,( 0 ? 0 0 の計算を避けることができる(Appendix A参照). 31
  23. 3. SDEによるスコアベース生成モデリング 3.3 VE SDEとVP SDE,およびその先 nN → ∞の極限: •

    .1 12) * は.(V)に,I1 はI(V)になる. • マルコフ連鎖 (1 12) * は連続確率過程 ( V %2; ) になる(Vは連続変数). • 過程 ( V %2; ) は以下のSDE: 2( = 2[."(V)] 2V 2\. 式(9) 36
  24. 3. SDEによるスコアベース生成モデリング 3.3 VE SDEとVP SDE,およびその先 nDDPMの例: • DDPMの摂動カーネル &I)

    ( (; 12) * と同様に,離散マルコフ連鎖は (1 = 1 − P1(1:) + P1I1:), M = 1, … , N. 式(10) nN → ∞の極限:式(10)は以下のSDEに収束する: 2( = − 1 2 P V (2V + P V 2\. 式(11) • 以上のように,SMLDとDDPMで用いられるノイズ摂動は式(9)と式(11)のSDEの離散化に対応, 37
  25. 3. SDEによるスコアベース生成モデリング 3.3 VE SDEとVP SDE,およびその先 n式(9)のSDEはのV → ∞とき常に分散が爆発する過程. n式(11)のSDEは初期分布が単位分散なら分散が1で固定された過程

    P 0 ? . nこの違いから式(9)と式(11)をそれぞれ以下のように呼ぶことにする: • 式(9):分散爆発型(variance-exploding; VE) SDE • 式(11):分散保存型(variance-preserving; VP)SDE 38
  26. 4. 逆SDEを解く n VP SDEに触発されて以下のような新しいタイプのSDEを提案: E0 = − 1 2

    G ? 0E? + G ? 1 − exp −2 L - , G . E. E< 式(12) • 尤度最大化に対して特に良好な性能を示す. • 同じG(?)を用い,同じ初期分布から出発した場合: n 式(12)に誘導される確率過程の分散は.中間ステップごとに必ずVP SDEによりバウンド. • このため、式(12)を subVP SDE と呼ぶことにする。 39
  27. 4. 逆SDEを解く nVE SDE, VP SDE および subVP SDE はすべてアフィンドリフト係数を持つ.

    • それらの摂動カーネル&;% ( V ( 0 はすべてガウス. → 第3.3節で議論したように閉形式で計算することができる. • このため,式(7)を用いた学習は特に効率的である。 40
  28. 4. 逆SDEを解く 4.1 汎用数値計算ソルバ n 数値解析ソルバ: • 確率微分方程式からの近似的な軌跡を得る. n SDEを解くための汎用的な数値計算法:

    • オイラー・丸山法や確率的ルンゲクッタ法(Kloeden & Platen, 2013). • 確率的ダイナミクスに異なる離散化をしたものが多く存在. • サンプル生成のための逆時間SDEにはそれらのいずれかを適用可能. n DDPM (式 (4)) のサンプリング法である祖先サンプリング: • 逆時間VP SDE (式 (11)) の離散化の一例. 42
  29. 4. 逆SDEを解く 4.1 汎用数値計算ソルバ n 新しいSDEに対する祖型サンプリングルールの導出は非自明 → 逆拡散サンプラーを提案. n 逆拡散サンプラー:

    • 逆時間SDEを順時間SDEと同じように離散化. • 順時間の離散化があれば容易に導出可能. n 表1:CIFAR-10において,逆拡散サンプラーは祖先サンプリングよりもわずかに良い性能. • DDPMタイプの祖先サンプリングはSMLDモデルにも適用できる. 43
  30. 4. 逆SDEを解く 4.2予測器-補正器サンプラー n追加的な情報による解の補正. n一般的なSDEとは異なる点: • 解の改善にスコアモデル8/∗ (, V ≈

    ∇5 log &%(()を追加情報として使える. • Langevin MCMC (Parisi, 1981; Grenander & Miller, 1994) やHMC (Neal et al. , 2011) などのスコアベースのMCMCアプローチで&% から直接サンプリング. • 数値SDEソルバーの解を修正することが可能. よく分からないが,共変量シフトっぽい考え方な気がする. 45
  31. 4. 逆SDEを解く 4.2予測器-補正器サンプラー n 手順:各タイムステップで, • 数値SDEソルバーが次のタイムステップのサンプルの推定値を与える=「予測器」の役割. • 次に,スコアベースのMCMC:推定されたサンプルの周辺分布を補正=「補正器」の役割. n

    連立方程式を解くための技術である予測器-補正器法(Allgower & Georg, 2012)に類似. • 同様にこのハイブリッドアルゴリズムを予測器-補正器(PC)サンプラーと呼ぶことにする. n PCサンプラーはSMLDとDDPMのオリジナルのサンプリング手法を一般化したもの. • 前者は予測器として恒等関数を,補正器としてアニールされたLangevinダイナミクスを使用. • 後者は予測器として祖型サンプリングを,補正器として恒等関数を使用. 46
  32. 4. 逆SDEを解く 4.3 確率フローとニューラルODEへの接続 n スコアベースモデルは逆時間SDEを解くための別の数値的方法を可能にする. n すべての拡散過程についてそのSDEと同じ周辺確率密度を共有する決定論的過程が存在. n この決定論的過程はODEを満たす:

    E0 = C 0, ? − 1 2 M+ ? ∇' log 6, 0 E?. 式(13) • これはスコアが分かればSDEから決定することができる.このODEを確率流ODEと名付ける. • スコア関数がニューラルネットワークの時間依存スコアベースモデルによって近似される場合, これはニューラルODEの一例(Chen et al.、2018). 50
  33. 4. 逆SDEを解く 4.3 確率フローとニューラルODEへの接続 厳密な尤度の計算 nニューラルODEへの接続を活用. • 式(13)で定義される密度を各期の変化の式を用いて計算(Chen et al.

    , 2018). • これにより,任意の入力データで正確な尤度を計算することができる. (例)CIFAR-10について,bit/dimで測定した負の対数尤度(NLL)を報告. 51
  34. 4. 逆SDEを解く 4.3 確率フローとニューラルODEへの接続 厳密な尤度の計算 n 主な結果: I. Hoら(2020)の同じDDPMモデルについて,提案法の尤度が厳密であるため,ELBOよりも優 れたbits/dimを得る;

    II. 同じアーキテクチャを用いて,式(7)の連続目的を有する別のDDPMモデルを訓練. III. sub VP SDEを用いると,VP SDEに比べて常に高い尤度が得られる. IV. 改良されたアーキテクチャ(DDPM++)とsub VP SDEにより, 最尤訓練なしでもCIFAR-10のbits/dimの新記録 2.99を打ち立てることができる. 53
  35. 4. 逆SDEを解く 4.3 確率フローとニューラルODEへの接続 潜在表現の操作 n 潜在表現の操作式(13)を積分→任意のデータポイント0(0)を潜在空間0 = にエンコード. n

    デコーディングは逆時間SDEに対応するODEを積分することにより達成できる. n ニューラルODEや正規化フローなど他の可逆モデルで行われているように(Dinh et al. , 2016; Kingma & Dhariwal, 2018),画像編集などのためにこの潜在的表現を操作. Appendix読まないとよく分からない... 54
  36. n ニューラルODEと同様に,異なる最終条件0 0 ∼ 6-から式(13)を解くことによって0 = ∼ 60を サンプリングできる. n

    固定離散化戦略を使用すると,特に補正器と組み合わせて使用した場合に、良い品質のサンプ ルを生成できる. 4. 逆SDEを解く 4.3 確率フローとニューラルODEへの接続 効率的なサンプリング 56
  37. 4. 逆SDEを解く 4.4 アーキテクチャの改善 nVE SDEとVP SDEの両方を用いて,スコアベースのモデルのための新しいアー キテクチャ設計をいくつか検討. • SMLD/DDPMと同じ離散時間の目的関数を用いてモデルを学習.

    → VP SDEのアーキテクチャをそのままsub VP SDEに移行(両者が似ている). • VE SDEに対する最適なアーキテクチャ(NCSN++)はPCサンプラーを用いた CIFAR-10において2.45のFIDを達成. • VP SDEに対する最適なアーキテクチャ(DDPM++)は2.78のFIDを達成. 59
  38. 4. 逆SDEを解く 4.4 アーキテクチャの改善 n 式(7)の連続時間の目的関数に切り替える. n ネットワークの深さを増す. → すべてのモデルでサンプルの品質をさらに向上させることができる.

    • 表3では,VEおよびVP/sub-VP SDEを,それぞれNCSN++ cont.およびDDPM++ cont.と表記. • 表3では,PCサンプラーで生成されたサンプルのうち,トレーニング期間中に最もFIDが小さく なったチェックポイントの結果を報告. • 表2のFIDスコアとNLL値は、最後のトレーニングチェックポイントについて報告されており,サン プルはブラックボックスODEソルバーで取得されている. 61
  39. 4. 逆SDEを解く 4.4 アーキテクチャの改善 n VE SDEはVP/sub-VP SDEよりもサンプルの質が高い. • VP/sub-VP

    SDEよりも尤度が低い. • 実務家はさまざまなドメインやアーキテクチャに対して,さまざまなSDEを試してみる必要がある. 63
  40. 4. 逆SDEを解く 4.4 アーキテクチャの改善 n サンプル品質に最も優れたモデルNCSN++ cont. (deep, VE): •

    ネットワークの深さを2倍に. • CIFAR-10の無条件生成において,ISとFIDの両方で新記録を達成. • ラベル付きデータを使わず,従来の生成モデルよりも,条件付き生成において優れたFID. • CelebA-HQ 1024×1024において,スコアベースのモデルによる高品質な生成. n 提案するモデルのなかで尤度に関する最良のモデルであるDDPM++ cont. (deep, sub-VP): • 同様にネットワークの深さを2倍にし,式(7)の連続目的にて2.99 bits/dimの対数尤度を達成. • これは一様に量子化されたCIFAR-10における最高の尤度. 64
  41. 5. 制御可能な生成 n提案枠組みの連続的な構造: • &; からデータサンプルを生成するだけでなく,&%(g|((V))が既知であれば, &;(((0)|g)からもデータサンプルを生成することができる. • 式(5)のような順時間SDE が与えられると,

    &K(((V)|g)から始めて,以下の条件 付き逆時間SDEを解くことにより&%(((V)|g)からサンプルが可能: 2( = Z (, V − [" V [∇5 log &% ( + ∇5 log &% g ( ]}2V + [(V)2b \. 式(14) 65
  42. 5. 制御可能な生成 nこの手法による制御可能生成の応用: • クラス条件付き生成・画像補間・色付け. • gがクラスラベルを表すとする. • クラス条件付きサンプリングのために,時間依存の分類器&%(g|((V))を訓練. •

    順時間SDEは扱いやすいので,まずデータセットから (( 0 , g) をサンプリングし, 次にx V ∼ &;% ( V ( 0 をサンプリングすれば,時間依存分類器のための学 習データ(( V , g)を容易に作成することができる. 67
  43. 6. 結論 nSDEに基づくスコアベースの生成モデリングのための枠組みを提案: • 既存のアプローチのより良い理解. • 新しいサンプリングアルゴリズム. • 厳密な尤度計算. •

    一意に識別可能なエンコーディング. • 潜在コードの操作. • スコアベースの生成モデルにおける新しい条件付き生成の能力 71
  44. 6. 結論 n 提案手法は生成を改善し,より効率的なサンプリングを可能にするが,同じデータセットにおけ るGAN (Goodfellow et al. , 2014)よりもサンプリングが遅いことに変わりはない.

    n スコアベースの生成モデルの安定した学習と,GANのような暗黙的モデルの高速なサンプリン グを組み合わせる方法を特定することは,依然として重要な研究の方向性. n さらに,スコア関数へのアクセスが与えられたときに使用できるサンプラーの幅は,多くのハイ パーパラメータを導入する. n 将来的には,これらのハイパーパラメータを自動的に選択・調整する方法を改善し,様々なサン プラーの利点と限界についてより広範に調査することが有益. 72