画像生成モデルは1つの損失関数（FID）を入れるだけで性能が激変するらしい

Transcript

1. 佐藤研: 輪講 Representation Fréchet Loss for Visual Generation 東京科学大学 小島 瑞貴
2. 論文情報 2
3. 一言要約 画像生成の評価指標(FID)を訓練損失に入れよう！という論文 訓練に入れるのは不可能と考えられていた…! 3
4. 前提: FIDとは何か(1/3) 目標: 生成画像群と実画像群の分布間のWasserstein距離(FID) 定義(p-Wasserstein距離): 距離空間上の確率分布(P, Q)間の距離 直観: 1つの砂山を、別の砂山をなるべく効率的に移したい！ :xをyに運ぶ大変さ :xをyにどれくらい運ぶか （厳密には、距離空間Xの直積空間X×X上の測度で X上の周辺測度への制約を満たしながら、 その上に定まるd(x, y)^pの積分値を最小化） 4
5. 前提: FIDとは何か(2/3) 目標: 生成画像群と実画像群の分布間のWasserstein距離(FID) ガウス分布間の2-Wasserstein距離: 閉形式で求めることができる！ 解釈: 2つのガウス分布は、平均と共分散から近さを算出可能！ ※証明は、議論の流れの都合上、割愛 可視化: 2-Wasserstein: 2-Wasserstein: 5.83 0.87 5
6. 前提: FIDとは何か(3/3) 目標: 生成画像群と実画像群の分布間のWasserstein距離(FID) 画像の特徴量分布をガウス分布で近似した、2-Wasserstein距離 ステップ1: 実画像群・生成画像群から特徴量抽出 実画像群: 生成画像群: 特徴抽出 6
7. 前提: FIDとは何か(3/3) 目標: 生成画像群と実画像群の分布間のWasserstein距離(FID) 画像の特徴量分布をガウス分布で近似した、2-Wasserstein距離 ステップ1: 実画像群・生成画像群から特徴量抽出 実画像群: 生成画像群: 特徴抽出 ステップ2: それぞれの特徴量を一番うまく説明する、平均共分散を探す …と信じて、平均・共分散をfitting 7
8. 前提: FIDとは何か(3/3) 目標: 生成画像群と実画像群の分布間のWasserstein距離(FID) 画像の特徴量分布をガウス分布で近似した、2-Wasserstein距離 ステップ1: 実画像群・生成画像群から特徴量抽出 実画像群: 生成画像群: 特徴抽出 ステップ2: それぞれの特徴量を一番うまく説明する、平均共分散を探す …と信じて、平均・共分散をfitting ステップ3: ステップ2での平均・共分散 → 2-Wasserstein距離(FID) 8
9. FIDを訓練損失に使うのは何故不可能と考えられていたの？ 理由: 各イテレーションは限られたサンプル数しか使えない 例: この3点からガウス分布の 平均・共分散推定は無理！ 理想: →これなら求められそう 問題設定: 少ないサンプルの列から、平均・共分散をどう推定する？ 9
10. FIDを訓練損失に使うのは何故不可能と考えられていたの？ 問題設定: 少ないサンプルの列から、平均・共分散をどう推定する？ イメージ: 本論文の貢献: 上の設定ってEMAで推定すればよいのでは…? 10
11. 復習: FIDとは何か 目標: 生成画像群と実画像群の分布間のWasserstein距離(FID) 画像の特徴量分布をガウス分布で近似した、2-Wasserstein距離 ステップ1: 実画像群・生成画像群から特徴量抽出 実画像群: 生成画像群: 特徴抽出 11
12. 復習: FIDとは何か 目標: 生成画像群と実画像群の分布間のWasserstein距離(FID) 画像の特徴量分布をガウス分布で近似した、2-Wasserstein距離 ステップ1: 実画像群・生成画像群から特徴量抽出 実画像群: 生成画像群: 特徴抽出 事前に計算！ ステップ2: それぞれの特徴量を一番うまく説明する、平均共分散を探す …と信じて、平均・共分散をfitting ステップ3: ステップ2での平均・共分散 → 2-Wasserstein距離(FID) 12
13. 復習: FIDとは何か 目標: 生成画像群と実画像群の分布間のWasserstein距離(FID) 画像の特徴量分布をガウス分布で近似した、2-Wasserstein距離 ステップ1: 実画像群・生成画像群から特徴量抽出 実画像群: 生成画像群: 特徴抽出 (!) EMAで推定！ ステップ2: それぞれの特徴量を一番うまく説明する、平均共分散を探す …と信じて、平均・共分散をfitting ステップ3: ステップ2での平均・共分散 → 2-Wasserstein距離(FID) 13
14. 定性評価 14
15. 定性評価 15
16. 定性評価 信じられないほど綺麗に！ 16
17. 定性評価 1-stepだともやもや出力画像 17
18. 定性評価 18
19. 定性評価 1-stepで蒸留なしで生成可能 19
20. まとめ 問題設定: 画像生成モデル（大量の画像から、確率分布を学習） 前提: ・p-Wasserstein距離 距離空間上の2つの確率測度間の距離 ・ガウス分布間の2-Wasserstein距離 閉形式で算出可能 (by 平均・共分散行列) ・FIDとは ガウス分布間の2-Wasserstein距離 画像生成の評価に使われる。訓練では使えない定説 本論文の貢献: ・FIDを訓練損失として使用可能に！ EMAを使って、訓練サンプルの統計量を推定 凄まじい性能向上・1-stepでのデノイズ(シンプルで素敵) 20