Sort-free Gaussian Splatting via Weighted Sum Rendering [ICLR 2025]

ICLR 2025で発表された "Sort-free Gaussian Splatting via Weighted Sum Rendering" の論文の内容をまとめたスライドです。
- Weighted Sum Renderingと方向依存のopacity表現により透過度を近似し，奥行きソートを不要とする描画方法を提案
- 描画品質は3DGSと同等以上であり、モバイルGPU上でも高速かつ省メモリに動作

Transcript

1. Sort-free Gaussian Splatting via Weighted Sum Rendering Qiqi Hou, Randall Rauwendaal, Zifeng Li, Hoang Le, Farzad Farhadzadeh, Fatih Porikli, Alexei Bourd, Amir Said ICLR 2025 Spatial AI Network 勉強会，2025.05.13 上田栞（慶應義塾大学）
2. 概要 • 3D Gaussian Splatting (3DGS) において奥行きソート不要な 描画方法を提案 • 解きたい課題 • モバイル端末（CUDA以外）でも高速な描画 • Popping artifactの削減 2
3. 前提知識: 3DGSの描画の流れ • 描画 (alpha blending) は，非可換な合成処理 → 奥行きソートが必要 • Vanilla 3DGSでは，タイル単位でGaussianを複製し，タイル・ 奥行き順にソートを実行 Vanilla 3DGSのパイプライン 3
4. 前提知識: Alpha Blending • 画素値𝐶𝐶は，gaussianの色𝑐𝑐𝑖𝑖 ，不透明度𝛼𝛼𝑖𝑖 ，透過率𝑇𝑇𝑖𝑖 の加重合計 • 透過率𝑇𝑇𝑖𝑖 は，光線上で手前に存在するgaussianに依存 → 非可換 𝐶𝐶 = � 𝑖𝑖=1 𝑁𝑁 𝑐𝑐𝑖𝑖 𝛼𝛼𝑖𝑖 � 𝑗𝑗=1 𝑖𝑖−1 1 − 𝛼𝛼𝑗𝑗 透過率 𝑇𝑇𝑖𝑖 (順序依存) Alpha blendingの例 4
5. 前提知識: Popping Artifact 視線方向の変化による不連続な描画 Example of popping artifacts (cited from https://r4dl.github.io/StopThePop/) 5
6. 前提知識: なぜPopping Artifactが起きるのか • Vanilla 3DGSでは，Gaussianをタイル単位で奥行きソート • 奥行き: ビュー空間上のz値（gaussianの中心位置𝜇𝜇を視線方向𝑣𝑣に投影） • 光線𝑟𝑟上で，2つのgaussianの奥行きが入れ替わることがある StopThePop [Radl et al., CVPR2024] によるpopping artifactの原因説明 6
7. 関連手法: Order Independent Transparency (OIT) OITとは，奥行き順にソートされていない透過フラグメントを 入力としても正しく描画できるようにするグラフィックス技術 • Depth Peeling [Everitt et al., 2001] • 各画素について，奥行き順に何層も描画を繰り返して合成する手法 • Weighted Blended OIT [McGuire & Bavoil, 2013] • ソートを行わず，重み付き平均で合成する高速な近似手法 • Stochastic Transparency [Enderton et al., 2010] • フラグメントを確率的にサンプリングし，視覚的な透過を統計的に再現する手法 7
8. 関連手法: OITを3DGSに適用した他手法 現時点ではごく少数．他手法も，推論スピードの向上，Popping artifactの削減を貢献として挙げている． Hybrid Transparency [Hahlbohm et al. Eurographics 2025] Stochastic Transparency [Kheradmand et al. Arxiv 2025] 8
9. 提案手法: 概要 • Vanilla 3DGSのタイル分割・ソートを除去 • Alpha blendingをWeighted sum renderingに置換 • Gaussianのopacityを方向依存に変更 • Gaussianごとに重み𝑤𝑤（透過度に近い役割）を計算 提案手法のパイプライン 9
10. 提案手法: Weighted Sum Rendering (WSR) • 画素値𝐶𝐶は，gaussianの色𝑐𝑐𝑖𝑖 ，不透明度𝛼𝛼𝑖𝑖 ，重み𝑤𝑤𝑖𝑖 の加重合計 • 𝑐𝑐𝑏𝑏 , 𝑤𝑤𝑏𝑏 はそれぞれ背景色と背景色の重み • 重み𝑤𝑤𝑖𝑖 は，gaussianの奥行き𝑑𝑑𝑖𝑖 に依存する関数 他のgaussianには依存しない → 可換 𝐶𝐶 = 𝑐𝑐𝐵𝐵 𝑤𝑤𝐵𝐵 + ∑𝑖𝑖=1 𝑁𝑁 𝑐𝑐𝑖𝑖 𝛼𝛼𝑖𝑖 𝑤𝑤 𝑑𝑑𝑖𝑖 𝑤𝑤𝐵𝐵 + ∑ 𝑖𝑖=1 𝑁𝑁 𝛼𝛼𝑖𝑖 𝑤𝑤 𝑑𝑑𝑖𝑖 10
11. 提案手法: 3種類の重みの表現 • Direct Weighted Sum Rendering (DIR-WSR) 重みは奥行きに依存しない定数． 𝑤𝑤 𝑑𝑑𝑖𝑖 = 1 • Exponential Weighted Sum Rendering (EXP-WSR) カメラに近いgaussianほど重みが大きくなる． 𝑤𝑤 𝑑𝑑𝑖𝑖 = exp −𝜎𝜎𝑑𝑑𝑖𝑖 𝛽𝛽 , 𝜎𝜎 and 𝛽𝛽 are learnable params. • Linear Correction Weighted Sum Rendering (LC-WSR) カメラに近いgaussianほど重みが大きくなり，一定以上離れると重みが0になる． 𝑤𝑤 𝑑𝑑𝑖𝑖 = max 0, 1 − 𝑑𝑑𝑖𝑖 𝜎𝜎 𝑣𝑣𝑖𝑖 , 𝜎𝜎 and 𝑣𝑣i are learnable params. 3種類の重みによる 描画例 11
12. 提案手法: View-Dependent Opacity 球面調和関数 (SH) でgaussianのopacityをモデル化 → 視線方向の変化によるオクルージョンの変化を表現 [イメージ] 奥行き依存の重み𝑤𝑤 𝑑𝑑𝑖𝑖 のみでは透過率を表しきれないため， オクルージョンを𝛼𝛼𝑖𝑖 に焼き付けている！ 視線方向の違いによるオクルージョンの変化の例 12
13. 評価実験: 概要 1. NVIDIA GPU上で描画品質評価 提案手法 (LC-WSR) をSOTAと比較 2. Qualcomm® AdrenoTM GPU（モバイル端末）上で描画速度， メモリ消費量の評価 提案手法 (LC-WSR) をvanilla 3DGS (2 versions) と比較 13
14. 評価実験: 描画品質評価 提案手法は3DGSと同等以上の描画品質 Mip-NeRF360, Tanks & Temples, Deep BlendingデータセットでのPSNR/SSIM/LPIPSの比較 14
15. 評価実験: 描画品質評価 15
16. 評価実験: モバイル端末での実装 • 3DGS-Compute • Vanilla 3DGSをVulkanのcompute shaderで再現実装 • タイル単位でGaussianを複製・ソート • 3DGS-Graphics • Vanilla 3DGSをVulkanのgraphics pipeline（固定機能のラスタライザ＋Fragment Shader）で実装 • グローバルにgaussianをソート • 提案手法 (Ours) • 提案手法をVulkanのgraphics pipelineで実装 • Gaussianのソートは行わない 16
17. 評価実験: 描画速度 (1) • 3DGS-Graphicsは，3DGS-Computeよりも高速 • タイル分割によるgaussianの複製がない，graphics pipelineを有効活用したため 1920×1080の解像度で描画したときの描画速度 (ms) 17
18. 評価実験: 描画速度 (2) • 提案手法は3DGS-Graphicsよりもほとんどのシーンで高速 • ソートを除去したことと，View-dependent Opacityを適用した結果としてシーン 再構成に必要なgaussian数が減ったため 1920×1080の解像度で描画したときの描画速度 (ms) 18
19. 評価実験: メモリ消費量 • 3DGS-Graphicsは，3DGS-Computeよりもメモリ消費が少ない • タイル分割によるgaussianの複製がないため • 提案手法は3DGS-Graphicsの約63%のメモリ消費量で済む • 17%: ソート除去 • 46%: gaussian数の削減 1920×1080の解像度で描画したときのメモリ消費量 (MB) 19
20. 評価実験: 重みの種類による品質の違い • Mip-NeRF 360, Tanks&TemplesではLC-WSRが最も高い品質 • Deep BlendingではEXP-WSRが最も高い品質 Mip-NeRF360, Tanks & Temples, Deep BlendingデータセットでのPSNR/SSIM/LPIPSの比較 20
21. 評価実験: 重みの種類による品質の違い 21
22. 評価実験: Popping artifacts Vanilla 3DGSでPopping artifactsが発生している部分に対して 提案手法では発生していない． Gardenシーンにおける，vanilla 3DGSと提案手法での時間一貫性の比較 22
23. 評価実験: その他の検証 • Learnable params.（重みの表現の一部を学習可能にする） • View-dependent opacity（opacityをSHで表現） はどちらも描画品質の向上に寄与している． Mip-NeRF360, Tanks & Temples, Deep BlendingデータセットでのPSNR/SSIM/LPIPSの比較 23
24. Limitations • 暗い物体が明るい物体に重なる場合，透明に見えることがある • 透過度による描画の早期終了ができない 失敗例: 黒いサドルの後ろに白い自転車フレームがあり，サドルが透明になっている 24
25. まとめ・所感 [まとめ] • Weighted Sum Rendering (WSR) と方向依存のopacity表現によ り透過度を近似し，奥行きソートを不要とする描画方法を提案 • 3DGSと同等以上の品質，モバイルGPUでも高速かつ省メモリ [所感] • CUDAでの評価では優位性を見せられないため，他の環境で 性能評価をしているように見える． • オクルージョンが焼き付けられている → シーン編集に制限 25