Upgrade to Pro — share decks privately, control downloads, hide ads and more …

OLM R&D祭2022 10/21 Arnold Denoising(ノイズ除去)パイプライン

OLM R&D祭2022 10/21 Arnold Denoising(ノイズ除去)パイプライン

OLM DigitalではMaya Arnoldを使ってレンダリングしています。ArnoldといえばNoice。ノイズ除去技術が熟してきたので、パイプラインに組み込みました。最大80%のレンダリング時間の削減を可能にする、その仕組みについて説明します。

OLM Digital R&D

October 25, 2022
Tweet

More Decks by OLM Digital R&D

Other Decks in Technology

Transcript

  1. デノイズ • レンダリング画像のノイズを除去 • 方法 – サンプルの値を上げる – 画像処理 •

    例: Neat Video – デノイザ • 例:Noice, Open Image Denoise © OLM Digital, Inc. 9
  2. Neat VideoからNoiceへ © OLM Digital, Inc. 10 Neat Video Noice

    デノイズのタイミング 合成作業時 合成作業前 用途 撮影動画 レンダリング画像 デノイズ量 小 大
  3. Noiceのパラメータ1 • 入力画像 – 複数指定可能 • 出力画像 • デノイズするAOV –

    Varianceタイプのフィルタの追加が 必要 © OLM Digital, Inc. 13
  4. Noiceのパラメータ2 • feature AOV – デノイズの際にガイドとなるAOV – Mayaで専用のオプションをオンにすると自動で出力される • アルベド

    • 深度(Z) • 法線(N) • extraframes – 考慮する前後のフレーム数 • variance – デノイズする強さ © OLM Digital, Inc. 14
  5. • patchradius – パッチの大きさ • searchradius – パッチを探索する 範囲 Noiceのパラメータ3

    © OLM Digital, Inc. 15 ▪…探索範囲 ▪…パッチ ▪…現在のピクセル
  6. oiiotoolとは • Open Image IO Tool • MtoAに付属する画像処理ツール • クロップ以外に

    – フォーマットの変換 – メタ情報の取得 © OLM Digital, Inc. 22
  7. パイプライン © OLM Digital, Inc. 25 サブミッタ レンダリング サーバー 合成

    レンダリング レンダリング画像 シェアアップ デザイナーのホーム シェア レンダリング画像 レンダリング ジョブ
  8. サブミッタ © OLM Digital, Inc. 26 • シーン • 画像の出力先

    • フレームレンジ • カメラ • レンダーレイヤ • ジョブの設定
  9. パイプライン © OLM Digital, Inc. 27 サブミッタ レンダリング サーバー 合成

    レンダリング レンダリング画像 シェアアップ デザイナーのホーム シェア デノイズ ジョブ デノイズ画像 デノイズ画像 レンダリング ジョブ
  10. サブミッタ( 変更後) © OLM Digital, Inc. 28 • Noiceのチェックボックスを追加 •

    レンダーレイヤ毎に設定可能 • Noiceのジョブも同時に投げる – 検証時の最適なパラメータを使用
  11. ジョブ © OLM Digital, Inc. 29 • レンダリングのジョブ – プリレンダーMEL

    • シーンに設定されているプリレンダーMEL • Output Denoising AOVsのチェック • variance型のフィルタの追加 • 画像の出力先を変更 • デノイズのジョブ – Noiceの実行 – oiiotoolによる画像のクロップ
  12. パラメータの自動最適化 © OLM Digital, Inc. 33 自動化 負担削減 1.パラメータの選定 スーパーバイザーと確認

    2.レンダリング デノイズ 3.画像の比較 10種のパラメータ - Arnoldのサンプル(6種類) - Noiceのパラメータ(4種類)
  13. Image Quality Assessment • レンダリング・デノイズ画像の評価 • リファレンスの画像と比較し、評価値を算出 • 複数の評価手法を実装 –

    Mean Squared Error (MSE) – Relative Mean Square Error (rMSE) – Structural Similarity Index (SSIM) – Structural Contrast Distortion Metric © OLM Digital, Inc. 36
  14. Mean Squared Error (MSE) • 評価したい画像とリファレンス画像それぞれのピクセルの平均の距 離(差分) • 並列化が容易 •

    人間の知覚による限界:人間はより暗い領域のノイズに敏感 © OLM Digital, Inc. 37
  15. Mean Squared Error (MSE) © OLM Digital, Inc. 38 ©

    Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004) リファレンス画像(a)に対して 画像(b)~(f)はすべて同じ評価値
  16. Structural Similarity Index (SSIM) • MSEのような距離を表すのではない • コントラストおよび輝度の変化、画像間の相関 • どの程度リファレンス画像に類似するのかを表す

    © OLM Digital, Inc. 40 © Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004)
  17. (a)Reference (b) SSIM = 0.9168 (c) SSIM = 0.9900 Structural

    Similarity Index (SSIM) © OLM Digital, Inc. 41 © Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004) (d) SSIM = 0.6949 (e) SSIM = 0.7052 (f) SSIM = 0.7748
  18. Structural Contrast Distortion Metric (SC-DM) • 人間の視覚が誤差をどのように認識するのかをより考慮 • 2000人に対して行われた実験ではより知覚に一致した •

    より最適化処理に適した準凸関数 © OLM Digital, Inc. 42 © Bae, Sung-Ho, and Munchurl Kim. "A novel image quality assessment with globally and locally consilient visual quality perception." IEEE Transactions on Image Processing 25.5 (2016)
  19. パラメータの自動最適化(現在の状況) • 完了 – Image Quality Assessmentの実装 – Pythonのベイズ最適化ライブラリ「GpyOpt」を導入 –

    各ジョブを投げるプログラムの実装 • レンダリング、デノイズ、画像の評価、ベイズ最適化 • 今後の課題 – GpyOptのパラメータ等の最適化に関するパラメータの調整 – 最適なパラメータによってレンダリング・デノイズされた画像の評価 © OLM Digital, Inc. 45
  20. まとめと今後の予定 • まとめ – Noice • レンダリング時間の短縮&クオリティ向上 • パラメータの選定等の課題 –

    パラメータの自動最適化 • ベイズ最適化 • Image Quality Assessment • 今後の予定 – パラメータの自動最適化の実装 – プロダクションでのテスト・導入 – 他のデノイザ―の検証 © OLM Digital, Inc. 46