FastGS: Training 3D Gaussian Splatting in 100 Seconds (CVPR2026 Highlight)

- 3D Gaussian Splattingにおいて、従来の密度制御(ADC)ではしばしば冗長なGaussianを大量に生み出し、訓練速度低下の原因となっていた
- 論文では3次元的な一貫性に着目した新しい密度制御を導入し、訓練を大幅に高速化

Transcript

1. Spatial AI Network 勉強会 2026/05/26 田代 純也 (東京大学) FastGS: Training 3D Gaussian Splatting in 100 Seconds CVPR 2026 Highlight Shiwei Ren*1 Tianci Wen*1 Yongchun Fang1 1 Nankai University * Equal contribution (特に注釈がなければ図表は論文からの引用です) 1
2. • arXiv: https://arxiv.org/abs/2511.04283 • Project Page: https://fastgs.github.io • GitHub: https://github.com/fastgs/FastGS 論文情報 2
3. 概要 • 3D Gaussian SplattingのADC部分を改善し, 訓練を高速化 • キーワード: “harmfulness considering multi-view consistency” 3
4. 背景 – 3D Gaussian Splatting [Kerbl+, SIGGRAPH2023] • 多数のGaussian(≒半透明の楕円球)で3Dシーンを表現 • 正解画像を教師信号として微分可能レンダリングにより最適化 • 必要に応じて表現力を増強&局所解にハマるをの避けるため, ADCによりGaussianを動的にclone/split/prune 3D Gaussian Splatting [Kerbl+, SIGGRAPH2023] 4
5. “Gaussian-associated”な情報に基づき制御対象を決定 → opacity, scaleなどといったGaussianが持つ属性値やその勾配 • position勾配 大 → Densification (Clone or Split) • opacity 小 → Prune 背景 – Adaptive Density Control (ADC) このプロセスはしばしば冗長な Gaussianを大量に生産する → それゆえレンダリングが遅く なり, 訓練も遅くなる 3D Gaussian Splatting [Kerbl+, SIGGRAPH2023] 5
6. 「過剰にGaussianが増えることを防ぐ」 • DashGaussian[Chen+, CVPR 2025], Taming-3DGS[Mallick+, SIGGRAPH Asia 2024]など • あらかじめ決められたbudget(=gaussian数)の中でやりくり • 論文では触れられていないがMCMC-GS[Kheradmand+, NeurIPS 2024] などもこの枠組み 関連研究 - densification 6
7. 「要らなそうなGaussianを積極的に減らす」 • EAGLES[Girish+, ECCV 2024], EMLGS[Ali+, WACV 2025], PUP 3DGS[Hanson+, CVPR 2025], Speedy-Splat[Hanson+, CVPR2025]など: GaussianごとのImportance Scoreを計算し, 重要度が一定以下 のものをpruningする 関連研究 - pruning 7
8. • multi-view consistencyの考慮が不十分 • これらの既存手法も主にGaussian-associatedな値に基づく densification/pruning • Gaussianが3D spaceに配置されているため, 一応3D consistencyは考慮されていると言えなくもないが… • (例えば特定のviewだけでレンダリングに大きく寄与するGaussianの 重要度が高く出てしまう, など？) 関連研究 – これらの既存手法の問題点 8
9. • multi-view consistencyが大事 “3D Gaussian should enhance rendering quality across multiple views of the same region” • 逆に言えば特定のviewのみでしかクオリティ向上に寄与しないような Gaussianは真に重要ではない(?)のでそこにリソースは割きたくない • そこで, • 「あるGaussianが各視点におけるどのピクセルに対応するか」 • 「そのピクセルでの誤差の大きさ」 をより直接的に考慮したdensification/pruningを考える コアアイデア 9
10. 複数のsampled viewでの2D footprintに対し, high-error pixelの数を集計(𝑠𝑑 𝑖 ) → 𝑠𝑑 𝑖 > 𝜏𝑑 ならばdensificationの対象に 手法 – Multi-view Consistent Densification (MCD) Gaussian 𝑖 2D footprint 𝛺𝑖 10 直感的には “Gaussian 𝑖がどれだけ レンダリング画像の品質低下に影響するか”
11. (一旦は本文の説明そのまま) 同様にhigh-error pixelの数を集計(𝑠𝑝 𝑖 : これも直感的には“どれだけ品質低下に影響するか”) → 𝑠𝑝 𝑖 > 𝜏𝑝 ならばpruningの対象に 手法 – Multi-view Consistent Pruning (MCP) Q. 重み付けの有無を除けばこれはdensificationの条件と全く同じでは...? A. ここまでの説明上ではyes。 supplementに書いてある実装詳細まで読むと解決。(次ページ) 11 photometric lossで重み付け
12. 𝑠𝑑 𝑖 と𝑠𝑝 𝑖 は直感的にはどちらも“harmfulness” 前半はdensification, 後半はpruningの指標としてフェーズに応じて違う役割を持つ 手法 – 実装詳細(多少単純化しています) 12 Densification条件 Pruning条件 学習 前半 position勾配 大 かつ 𝑠𝑑 𝑖 > 𝜏𝑑 opacity 小 (𝑠𝑝 𝑖 > 𝜏𝑝 も補助的に) 学習 後半 (増やさない) opacity 小 または 𝑠𝑝 𝑖 > 𝜏𝑝 基本的にはADCで選ばれる 対象のみを候補にしている 学習が進んでもなおharmfulな Gaussianはノイズとみなす 前半 → 品質低下に影響するから補強, 後半 → 品質低下に影響するから削除
13. 手法 – Compact Box (CB)
14. 結果(実験環境は全てRTX 4090) • 表を見る限り時間と精度のバランスはかなり良さそう • Timeが小さくてもN GS が最良とは限らない(次ページ) 14
15. 結果 • 途中のGaussian数を小さく抑えられているのが特に高速化に効いているか 15
16. 結果 16
17. 結果 • 4D, sparse input, 巨大シーン向けの手法でも使える 17
18. 結果 - ablation • VCPがGaussian数の割にやたらとFPSを向上させている点が気になる • (論文には特にFPS自体には言及なし) • fragment数が大きいGaussianの方が𝑠𝑝 が大きくなりがちなためか？ • 元々のモチベーションからはやや逸れて副次的な効果な気が... 18
19. Limitation • feed-forward modelの出力をpost-trainingで綺麗にする, みたいな使い方は 今のところ微妙 • こういったモデルの出力は非常にdenseであり, pruningに時間がかかり過ぎて しまうとのこと(3K iterationsに20s) 19
20. 所感 • 単純にこれだけGSの訓練が速くなるのは嬉しい • が, ハイパラはさらに増えた • 導入に対して実装がやや素朴にも見えるが, これでそこまでうまくいくのかというのは少し意外 • 盛んに研究されている領域なので, まだまだこれが最適解ではなく今後たくさん改善版が出てきそう 20