Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Horizon-GS: Unified 3D Gaussian Splatting for L...
Search
Spatial AI Network
May 15, 2025
Technology
0
58
Horizon-GS: Unified 3D Gaussian Splatting for Large-Scale Aerial-to-Ground Scenes
Scaffold-GS, Octree-GSをベースに、地上と空からの2種類の撮影画像から復元するための工夫たち。 CVPR2025。
Spatial AI Network
May 15, 2025
Tweet
Share
More Decks by Spatial AI Network
See All by Spatial AI Network
Stable Virtual Camera:Generative View Synthesis with Diffusion Models
spatial_ai_network
0
5
MP-SfM: Monocular Surface Priors for Robust Structure-from-Motion (CVPR 2025)
spatial_ai_network
0
22
Continuous 3D Perception Model with Persistent State
spatial_ai_network
1
34
Lost & Found: Tracking Changes from Egocentric Observations in 3D Dynamic Scene Graphs
spatial_ai_network
0
11
Sort-free Gaussian Splatting via Weighted Sum Rendering [ICLR 2025]
spatial_ai_network
0
30
Dynamic Point Maps: A Versatile Representation for Dynamic 3D Reconstruction
spatial_ai_network
0
63
GGT: Visual Geometry Grounded Transformer
spatial_ai_network
0
84
Blurred LiDAR for Sharper 3D: Robust Handheld 3D Scanning with Diffuse LiDAR and RGB
spatial_ai_network
0
28
CV・CG・ロボティクスのためのリー群・リー代数入門
spatial_ai_network
0
380
Other Decks in Technology
See All in Technology
Slackひと声でブログ校正!Claudeレビュー自動化編
yusukeshimizu
3
180
新卒から4年間、20年もののWebサービスと向き合って学んだソフトウェア考古学 - PHPカンファレンス新潟2025 / new graduate 4year software archeology
oguri
2
360
OSMnx Galleryの紹介
mopinfish
0
150
やさしいClaude Code入門
minorun365
PRO
32
24k
データ戦略部門 紹介資料
sansan33
PRO
1
3.1k
Azure Developer CLI と Azure Deployment Environment / Azure Developer CLI and Azure Deployment Environment
nnstt1
1
130
KMP導⼊において、マネジャーとして考えた事
sansantech
PRO
1
210
TypeScript と歩む OpenAPI の discriminator / OpenAPI discriminator with TypeScript
kaminashi
1
150
Javaアプリケーションの配布とパッケージング / Distribution and packaging of Java applications
hogelog
1
150
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.2k
Devin&Cursor、それぞれの「本質」から導く最適ユースケース戦略
empitsu
8
2.4k
アプリケーションの中身が見える!Mackerel APMの全貌と展望 / Mackerel APMリリースパーティ
mackerelio
0
440
Featured
See All Featured
A better future with KSS
kneath
239
17k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.3k
For a Future-Friendly Web
brad_frost
178
9.7k
Being A Developer After 40
akosma
91
590k
KATA
mclloyd
29
14k
How GitHub (no longer) Works
holman
314
140k
Balancing Empowerment & Direction
lara
1
84
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Transcript
2025/04/08 Spatial AI 勉強会 読み手: 菊池悠太 (Preferred Networks, inc.) to
appear at CVPR2025 図表などは特に断り無ければ論文やproj. pageより (関連論文)とあるページの図表などはその関連論文より
https://city-super.github.io/horizon-gs/ の動画
3 • Aerial-to-ground(空撮と地上撮影が混ざったデータ)な復元 ◦ 空からの地上という2ステージのアプローチ ◦ LoDやチャンク分けなど広域の復元テクニックと組み合わせ ◦ 多分はじめて •
Scaffold-GSやそのLoD拡張であるOctree-GSがベース ◦ 両論文と著者被りが多い。両論文が前提で数式が最小限 ◦ Aerial-to-groundデータでOctree-GSするなら?みたいな話 ▪ でもOctree-GSとの直接の比較が無い • 選定理由: 過去の展示で経験して大変だった経験から→ Horizon-GS 加賀温泉駅と大土集落の3Dスキャン Visiting Virtual Kagaonsen Station
4 Aerial-to-groundなシーンとその難しさ Aerial-to-ground、つまり空撮と地上撮影が混ざったデータからの復元 単純に混ぜる(オレンジ)だけだと上手くいかない 画角の違い 地上は,建物の屋上が映らなかったり建物によるオ クルージョンが激しいが,空撮だと映る 勾配蓄積がうまくいかず densificationがに悪影響 撮影分布の違い
地上は全方向見るし間隔も短いので枚数が多い 空撮は見下ろす角度で間隔が長く枚数が少ない
5 • 3.2. Gaussian Splatting Base Modules • 3.3. Aerial-Street
Joint Reconstruction ◦ Coarse-to-Fine Training. ◦ Balanced Camera Distribution. ◦ Multi-resolution LOD Construction. • 3.4. Large-scale Scene Training • 3.5. Loss Function and Regularization Horizon-GS: 論文の構成で紹介 ベースであるScaffold-GSとOctree-GSを最初に
6 (関連研究) Scaffold-GS • SfM点群PからボクセルVを作成(εがvoxel size) • 各ボクセル中心(アンカー)に特徴ベクトルと k個のガウシアンオフセットを割当 ◦
densificationするときは、アンカーを増やす • ガウシアンのopacity, color, scale, quaternionは特徴ベクトルとカメラ姿勢を元に MLPで動的に生成 Figure from Lu+, “Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering”, CVPR2024 ← ボクセルvの座標x、スケールl、オフセットOから k個のガウ シアンの位置が決まる式 ← ボクセルvの特徴ベクトルfとカメラ情報から k個分のopacityが決まる式(FがMLP) (color, scale, quatもそれぞれMLPがある)
7 (関連研究) Octree-GS SfM点群からoctreeを構築 level数はカメラとcolmap点群の距離ベース L=0でscaffold-GSと一致 • level Lでレンダリングする時、それ以下の levelに属するガウシアンを全て使う
• 高いレベルは残差的に細かいところを補強 するようなprogressiveな工夫 Densificationのとき、平均gradが閾値を超えたボクセルに同 levelのアンカーを増やす ただ、より大きな閾値を超えた場合は次のレベルにアンカーを増やすことでディティールを強化
8 Coarse-to-Fine Training 復元工程を以下の2つのステージに分ける(どのステージでも空と地上両方使う) • 1st stage: ◦ シーンの大まかな構造を捉えるため、空撮のみで densificationのための勾配蓄積を行う
▪ 空撮用levelのみでアンカーを増やしていく ◦ 地上画像も使用はする • 2nd stage: ◦ MLPの重みをフリーズすることで 1stで得たシーンの大まかな構造( skelton)を保持 ▪ (完全フリーズで大丈夫なのだろうか) ◦ 地上画像によって詳細を肉付けしていく、そのためにも densificationのルールを変更 ▪ 従来 : screen空間での平均grad ▪ 提案手法 : screen空間での最大grad, 平均opacity、最大半径(τはハイパラ) largeでunboundedなシーンに平均 gradを使うことの問題点について指摘した Hierarchical-GSに由来 (Hierarchical-GSは広域だけど地上のみ) Kerbl+, “A Hierarchical 3D Gaussian Representation for Real-Time Rendering of Very Large Datasets”, SIGGRAPH 2024 3.3. Aerial-Street Joint Reconstruction
9 Balanced Camera Distribution 多くのデータセットで空撮と比べて地上の枚数が多いため、同じバランスでサンプルしてしまうと空から見たときにボ ヤけたり細かい構造が捉えられない 以下の式により地上と空撮のサンプリングを調整 前頁のCoarse-to-Fine Trainingと併せて、まず空撮メインで全体の構造を捉え、後半では地上メインで詳細を復元し ていく気持ち
3.3. Aerial-Street Joint Reconstruction - 1st stage: R=2、つまり2/3の確率で空撮を使う - 2nd stage: R=1、つまり半々
10 Multi-resolution LOD Construction Octree-GS(次ページ)というScaffold-GSにLoD要素を入れた手法を利用 Octree-GSをAerial-to-Ground化するにあたって • 全K階層のうち空撮用level K aerial
を設定 • 1st stageではK aerial のみ使う、アンカーのdensificationも同じレベルでのみ増やす • 2nd stageでは全部使う、さらに「勾配が大きい場合より高いレベルのアンカーを増やす」という Octree-GSで提案された機能も解禁 3.3. Aerial-Street Joint Reconstruction
11 広域シーンを復元するために、全体を小さなチャンクに分けてそのエリアのカメラと点群から復元 VastGaussianのアプローチをベースに、空と地でルールを分けている • 空: おそらくVastGaussianと同じ(次ページ) • 地: 入り組んでいるため、深度マップから密点群を作り、そのチャンクの点群を補強 ◦
実写のDepth推定はMesh Anything v2 3.4. Large-scale Scene Training
12 • まずカメラ数が同じになるように分割( a)、各エリアで、ちょっと拡大した範囲に含まれているカメラと点を選び (b)、かつそのエリアが良く写っている (f)カメラやそこから見えている部分点群も追加( d) • 各エリアを独立に復元し、マージ時は最初 (a)の境界を超える点群は削除してくっつける
(関連研究) VastGaussian Lin+, “VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction”, CVPR2024
13 3.5. Loss Function and Regularization よくあるPhotometric loss
14 3.5. Loss Function and Regularization Scaffold-GSで使われている、全ガウシアンのスケールs_iを小さく保って重なり をなるべく減らすためのloss
15 3.5. Loss Function and Regularization 深度ロス、実写データの GTはDepth Anything v2で推定
Yang+, “Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation”, NeurIPS2024 2DGSなどで使われている、「法線マップ」と「深度マップから計算した法線マップ」を一致させる
16 3.5. Loss Function and Regularization 歩行者、車、空などの推定マスク部分の opacityをゼロに近づける(マスクは GroundedSAM) Ren+,
“Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks”, 2024 (arxiv)
17 Dataset シーンによって4x2〜6x2のチャンクに分割
18 実験結果
19 いろいろ比較
20 • Hierarchical-GSは地上広域シーンのために提案されている手法なので地上は強い • Octree-GSとの比較がないのは気になる 小さめの人工シーンでの定量評価
21 • *は本稿で提案したチャンク分けを行っている • Hier-GSは地上に過学習している • Octree-GSとの比較がないのは気になる 大きめの人工シーンでの定量評価
22 その他の人工シーン
23 実写データ
24 Surface Reconstruction Performance ジオメトリが得意な2D-GSでも今回のようなAerial-to-Ground設定用の工夫無しだと厳しい
25 • camera balance: 1stでは2/3の確率で空を使うやつ • densify balance: 1stでのdensificationを空だけ、2ndでは地上だけでやるやつ •
multi LoDしないと空が悪化する。 • densify policy、↓の式を平均gradに戻す Ablation Studies
26 2行目が独立に訓練したもので、それをマージして 10K iter finetuneしたものが3行目 空と地を独立に訓練したあとにくっつけて finetuneすると?
27 2nd. stageを無くすと?
28 • Scaffold-GS、Octree-GSをベースに各所にAerial-to-Groundなデータで復元するための工夫たち ◦ 3.3. Aerial-Street Joint Reconstruction ▪ Coarse-to-Fine
Training. • 1st stageで空撮基準でdensification • 2nd stageは各種MLPを固定、densification基準も変更 ▪ Balanced Camera Distribution. • 1st stageでは空撮を多く使う、2ndで半々 ▪ Multi-resolution LOD Construction. • 1st stageでは空用LoDのみ使用、densificationは同レベルのみ • 2nd stageでOctree-GS通り全部で ◦ 3.4. Large-scale Scene Training ▪ 全体を複数のチャンクに分けるとき、地上視点の点群を推定depthから補強 まとめ
29
30 BungeeNeRF Xiangli+, “BungeeNeRF: Progressive Neural RadianceField for Extreme Multi-scale
Scene Rendering”, ECCV2022 Google Earth Studioを使って高い高度(数 1000m)から低い高度(数100m)へ順にレベル(詳細度)が上 がっていくようなデータセットを構築 高い高度で学習したパラメータに付け足す形で次のレベルの表現を学習( b)