3D Gaussian Splattingにおける派生プリミティブの設計

3D Gaussian Splatting(3DGS)は、微分可能ラスタライゼーションにより高速かつ高品質な新規視点合成を実現した。本発表では、3DGSがプリミティブとしてガウス分布を採用するに至った経緯とガウス分布に起因する表面表現や非連続形状の再現といった課題を指摘し、それらを克服する2DGS、Student Splattingなどの派生プリミティブを紹介・比較する。

Transcript

1. 2025/06/29 第二回 Spatial AI Network 勉強会 3D Gaussian Splattingにおける派 生プリミティブの設計 発表者：勝又海 (CyberAgent)
2. 3D Gaussian Splattingにおける派生プリミティブの設計 2 微分可能レンダリング 画像の損失をbackwardできるレンダリング関数 微分可能レンダリングでできること [Lin Yen-Chen+, IROS ‘21] Mitsuba 2 SoftRas [Liu+, ICCV ‘19] レンダリング https://github.com/ascust/3DM M-Fitting-Pytorch レンダー画像 3Dシーン (形状，テク スチャ，カメラ，照明 ) Image from mitsuba 3
3. 3D Gaussian Splattingにおける派生プリミティブの設計 3 レイトレーシングとラスタライゼーション [Guikun+, TPAMI ‘24] レイトレーシング ラスタライゼーション 視点からの光線上の座標 の色/密度を評価する プリミティブを画像空 間へ射影
4. 3D Gaussian Splattingにおける派生プリミティブの設計 4 タスク：新規視点合成 新規画像生成 画像とカメラポーズのペアの集合 (1<=P)が与えられ 観測されない新たな視点からの画像を合成する https://kaldir.vc.in.tum.de/scannetpp/benchmark/nvs データセット 目的関数 ：画像 ：カメラポーズ ：新規視点数 ：合成画像
5. 3D Gaussian Splattingにおける派生プリミティブの設計 5 Neural Radiance Field (NeRF) [Midenhall+, ECCV’20] 描画範囲 光線上の点 光線 減衰項 密度 輝度
6. 3D Gaussian Splattingにおける派生プリミティブの設計 6 Neural Radiance Field (NeRF) (a) 光線上の点と色のサンプリング (b) ニューラルネットワークへの問い合 わせ (c) アルファブレンディング (d) 観測画像と合成画像の比較
7. 3D Gaussian Splattingにおける派生プリミティブの設計 7 微分可能ラスタライゼーションによる3D再構成
8. 3D Gaussian Splattingにおける派生プリミティブの設計 8 微分可能なラスタライゼーション [Liu+, ICCV’19] [Yifan+ SA‘19] 大きな形状変化を伴う最適化
9. 3D Gaussian Splattingにおける派生プリミティブの設計 9 3D Gaussian Splatting [Kerbl+, SIGGRAPH’23] NeRFのボリュームレンダリング 色 密度 書き換え 密度 減衰項 色×密度×減衰項 点群のアルファブレンディング 色×密度×減衰項 一致
10. 3D Gaussian Splattingにおける派生プリミティブの設計 10 3D Gaussian 確率密度 3Dガウシアンのパラメータ
11. 3D Gaussian Splattingにおける派生プリミティブの設計 11 パイプライン COLMAP
12. 3D Gaussian Splattingにおける派生プリミティブの設計 12 2Dガウスのパラメータ 結果 2D Gaussian Splatting [Huang+ SIGGRAPH ‘24] /Gaussian Surfels [Dai+ SIGGRAPH ‘24] 3DGSの課題点： ガウシアンが視点依存である
13. 3D Gaussian Splattingにおける派生プリミティブの設計 13 Quadratic Gaussianのパラメータ Quadratic Gaussian Splatting [Zhang+ ‘24] 2DGSの問題点： 平面ディスクのため，曲面の表現が難し い 2次曲面で平面の二 次近似
14. 3D Gaussian Splattingにおける派生プリミティブの設計 14 3D Half Gaussian Splatting [Li+ CVPR‘25] 3DGSの問題点： コーナーや角のような不連続な形状，または 色の表現が難しい 密度関数 3DHGSのパラメータ 3DGS 3DHGS Ground Truth : ステップ関数
15. 3D Gaussian Splattingにおける派生プリミティブの設計 15 Generalized Exponential Splatting (GES) [Hamdi+ CVPR‘24] 3DGSの問題点： 多角形や放物線の表現が難しい 密度関数 一般化ガウシアンのパラメータ 3DGS GES Ground Truth 一般化正規分布 5つの正規分布で四角の フィッティング 2つの一般化正規分布で フィッティング
16. 3D Gaussian Splattingにおける派生プリミティブの設計 16 Student Splatting (SSS) [Zhu+ CVPR‘25] 3DGSの問題点： 大きい領域をカバーするのにたくさんのガウシ アンを必要とする 密度関数 Studentプリミティブのパラメータ → 1で裾の厚い分布 → ∞で正規分布 少パラメータで高い性能 negativeプリミティ ブの導入
17. 3D Gaussian Splattingにおける派生プリミティブの設計 17 Beta Splatting [Liu+ SIGGRAPH ‘25] 3DGSの問題点： ぼやけたレンダリング結果と尾の長い分布 密度関数 ベータプリミティブのパラメータ ガウス 小 大 この部分が[0, 1]に収まる →∞で高周波数成分 →0で低周波数成分の強調
18. 3D Gaussian Splattingにおける派生プリミティブの設計 18 3D Convex Splatting [Wu+ CVPR 25] 3DGSの問題点： プリミティブのサイズと鋭さが独立でない 3DCSのパラメータ K=6 滑らかさ→∞： Convexへの高い近似 鋭さ→∞： 急な境界面
19. 3D Gaussian Splattingにおける派生プリミティブの設計 19 プリミティブの比較 複雑な表面表現 モデリング 表面表現 非連続な形状 広い領域を被覆 プリミティブのサイズ と裾の広がりを独立 に制御
20. 3D Gaussian Splattingにおける派生プリミティブの設計 20 形状以外のプリミティブ拡張 動的シーン [Li+, CVPR ‘24] マテリアル [Gao+, ECCV ‘24] テクスチャ [Weiss+, arXiv ‘25] テクスチャ [Watanabe+, EG ‘25] 大規模ガウシアン [Liu+, CVPR ‘25]
21. 3D Gaussian Splattingにおける派生プリミティブの設計 21 まとめ • 背景: 従来のNeRFは高精度だが計算コストが課題だった。これに対し、3D Gaussian Splatting (3DGS) は微分可能なラスタライゼーションにより、高速か つ高品質な新視点合成を実現 • 3DGSの発展: 高精度の表面復元、非連続な形状の復元、よりシャープな形状 や柔軟な表現を目指す拡張が取り組まれてきた
22. 3D Gaussian Splattingにおける派生プリミティブの設計 22 参考文献 [Kerbl+ SIGGRAPH ‘23] Kerbl, Bernhard, Georgios Kopanas, Thomas Leimkühler, and George Drettakis. “3D Gaussian Splatting for Real-Time Radiance Field Rendering.” SIGGRAPH 2023. [Mildenhall+ ECCV ‘20] Mildenhall, Ben, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis.” ECCV 2020. [Lassner+ CVPR ‘21] Lassner, Christoph and Michael Zollhöfer. “Pulsar: Efficient Sphere-based Neural Rendering.” CVPR 2021. [Keselman+ ECCV ‘22] Keselman, Leonid and Martial Hebert. “Approximate Differentiable Rendering with Algebraic Surfaces.” ECCV 2022. [Huang+ SIGGRAPH ‘24] Huang, Binbin, Zehao Yu, Anpei Chen, Andreas Geiger, and Shenghua Gao. “2D Gaussian Splatting for Geometrically Accurate Radiance Fields.” SIGGRAPH 2024. [Dai+ SIGGRAPH ‘24] Dai, Pinxuan, Jiamin Xu, Wenxiang Xie, Xinguo Liu, Huamin Wang, and Weiwei Xu. “High-quality Surface Reconstruction using Gaussian Surfels.” SIGGRAPH 2024. [Liu+ SIGGRAPH ‘25] Liu, Rong, Rui Xu, Yue Hu, Meida Chen, and Andrew Feng. “Beta Splatting: Representing Scenes with Compact Beta Distributions for Enhanced 3D Rendering.” SIGGRAPH 2025. [Wu+ CVPR 25] Wu, Jan-Erik, Markus Worchel, Andrea Vedaldi, and Marc Pollefeys. “3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes.” CVPR 2025.
23. 3D Gaussian Splattingにおける派生プリミティブの設計 23 参考文献 [Li+ CVPR ‘24] Zhan Li, Zhang Chen, Zhong Li, Yi Xu. “Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis.” CVPR 2024. [Gao+ ECCV ‘24] Jian Gao, Chun Gu, Youtian Lin, Hao Zhu, Xun Cao, Li Zhang, Yao Yao. “Relightable 3D Gaussian: Real-time Point Cloud Relighting with BRDF Decomposition and Ray Tracing.” ECCV 2024. [Weiss arXiv ‘25] Sebastian Weiss, Derek Bradley. “Gaussian Billboards: Expressive 2D Gaussian Splatting with Textures.” arXiv 2025. [Watanabe+ EG ‘25] Watanabe, Haato, Kenji Tojo, and Nobuyuki Umetani. “3D Gabor Splatting: Reconstruction of High-frequency Surface Texture using Gabor Noise.” Euro Graphics 25. [Liu+ CVPR‘25] Xinpeng Liu, Zeyi Huang, Fumio Okura, Yasuyuki Matsushita. “HoGS: Unified Near and Far Object Reconstruction via Homogeneous Gaussian Splatting.” CVPR 2025. [Liu+ ICCV‘19] Shichen Liu, Tianye Li, Weikai Chen and Hao Li. "Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning." ICCV 2019. [Yifan+ SA‘19] Wang Yifan, Felice Serena, Shihao Wu, Cengiz Öztireli, Olga Sorkine-Hornung. “Differentiable Surface Splatting for Point-based Geometry Processing.” SIGGRAPH Asia 2019. [Zhang+ ‘24] Ziyu Zhang, Binbin Huang, Hanqing Jiang, Liyang Zhou, Xiaojun Xiang, Shunhan Shen, “Quadratic Gaussian Splatting for Efficient and Detailed Surface Reconstruction.” arXiv 2024. [Li+ CVPR‘25] Haolin Li, Jinyang Liu, Mario Sznaier, Octavia Camps, “3D-HGS: 3D Half-Gaussian Splatting.” CVPR 2025. [Hamdi+ CVPR‘24] Abdullah Hamdi, Luke Melas-Kyriazi, Jinjie Mai, Guocheng Qian, Ruoshi Liu, Carl Vondrick, Bernard Ghanem, Andrea Vedaldi, “ GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering.” CVPR 2024. [Zhu+ CVPR‘25] Jialin Zhu, Jiangbei Yue, Feixiang He, He Wang, “3D Student Splatting and Scooping.” CVPR 2025. [Zhang+ SA’22] Qiang Zhang, Seung-Hwan Baek, Szymon Rusinkiweicz, Felix Heide, “Differentiable Point-Based Radiance Fields for Efficient View Synthesis.” SIGGRAPH Asia 2022.
24. 3D Gaussian Splattingにおける派生プリミティブの設計 24 自己紹介 • 勝又 海 / Kai Katsumata • ~2025/03 東京大学大学院 情報理工学系研究科 創造情報学専攻 • 2025/04~ CyberAgent, Inc., Research Scientist • 研究領域：Visual AI-Generated Content 動的シーンに対する 3D Gaussian Splatting 頑健な画像編集が可能な GAN Inversion Open-set domain generalization