Gaussian Splattingの表現力を拡張する — 高周波再構成とインタラクションへのアプローチ —

3D Gaussian Splattingは高速な新しい3次元表現として注目されていますが、高周波なテクスチャや細かな構造の表現には課題があります。
本講演では、Gaussianにニューラル表現を組み込むことで表現力を向上させるNeural Gabor Splattingを中心に、自身の研究に基づく高周波再構成手法を紹介します。また、インタラクションや応用への展開についても触れ、Gaussian Splattingの可能性を議論します。

Transcript

1. 1 Gaussian Splattingの表現力を拡張する ー高周波再構成とインタラクションへのアプローチー 渡辺羽亜人 2026/5/13 GPU UNITE 勉強会：3D Gaussian Splattingの現在地
2. 2 自己紹介 氏名：渡辺羽亜人 所属：東京大学大学院 梅谷研究室 博士課程 専門：コンピュータグラフィックス、 ガウシアン・スプラッティング 最近の成果： ⚫ CVPR 2026 Main Track ⚫ SIGGRAPH Asia 2025 Best Short Paper ⚫ MIRU 2025 オーディエンス賞＆優秀賞 ⚫ 東京大学 情報理工学系研究科 研究科長賞
3. 3 3D Gaussian Splatting for Real-Time Radiance Field Rendering [Kerbl et al. 2023] Video from [Kerbl et al. 2023]
4. 4 3D Gaussian Splattingにおけるガウシアンカーネル[Kerbl et al. 2023] 𝐺(𝑥) = 𝑒−𝑥𝑇Σ−1𝑥 ガウシアン 位置 (3次元ベクトル) 大きさと方向 (3次元共分散行列) アフィン 変換 α-ブレンディング ガウシアン・プリミティブ: G(x)
5. 5 3D Gaussian Splatting の問題点 高周波表現 インタラクション 色の移り変わりごとにプリミティブが必要 インタラクティブな操作が難しい
6. 高周波表現：Neural Gabor Splatting 6 CVPR 2026 Main Track
7. 7 3D Gaussian Splattingの問題点：高周波成分の表現 表現したいテクスチャ 再構築 膨大な数の ガウシアン プリミティブ 高周波成分の再構築は膨大なガウシアン・プリミティブを要する
8. 8 動機：ガウシアン プリミティブの拡張 膨大なガウシアン・プリミティブ 少数の高周波プリミティブ ガウシアンを高周波成分を表現できるものに置き換える 置換
9. 9 結果のプレビュー 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/neural-gabor-splatting/
10. 手法 10
11. 11 背景：ガボールノイズ [Lagae et al. 2009] Pictures from [Galerne et al. 2012] ＊ ＝ ガウシアン 三角波 ガボールカーネル ∑ 𝑖 (𝑤𝑖 ) ＝ ＊ 乱数重み ガボールノイズ 高周波 テクスチャ
12. 12 𝐺(𝑥) = 𝑒−𝑥𝑇Σ−1𝑥 アイデア：プリミティブをガボールで置き換え 𝐺′(𝑥) = 𝐺(𝑥)cos(2𝜋𝑓𝑥) 置き換え 単純なガボールカーネル ガウシアン
13. 13 既存手法：3D Gabor Splatting (複数の角度のガボールカーネルを合成) 合成 1つのプリミティブ アフィン 変換 いくつかの方向が無駄になる可能性
14. ビュー 方向 三次元ワールド座標 アフィン 変換 二次元ローカル座標 SIREN 活性化関数 Sigmoid 活性化関数 二次元ローカル座標 三次元ワールド座標 アフィン 変換 14 提案手法：ニューラル ガボール プリミティブ
15. SIREN 活性化関数 Sigmoid 活性化関数 15 ニューラルガボールプリミティブの例
16. 16 背景：画像のバンドパス・フィルタ 入力画像 輝度画像 出力画像 周波数空間 逆高速 フーリエ変換 高速 フーリエ変換 クリッピングマスク クリップ後スペクトラル スペクトラル空間
17. 17 提案手法：周波数を考慮したプリミティブ増加戦略 出力画像 バンドパスフィルタ 差分 エラーマップ ビュー 正解画像 エラーマップを プリミティブに投影
18. 結果 18
19. 19 実装の詳細 • 2DGS* CUDA ラスタライザを改造 • RTX 3090 GPUで実験 • FPS: 30-50 • 訓練時間: 120 分 *[Huang et al. 2024] 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/neural-gabor-splatting/
20. 20 3D Gaussian Splattingとの比較 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/neural-gabor-splatting/
21. 21 3D Gaussian Splattingとの比較 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/neural-gabor-splatting/
22. 22 定量的評価 ＊提案手法とデータ量が同一になるようにプリミティブ数の上限を設定
23. 23 低データ量における再構成品質の安定性 データ量を減らしても精度の悪化を抑えられる データ量 3DGS Ours PSNR
24. 24 • ガウシアン・スプラッティングを ニューラルガボールカーネルで拡張 • 小さいデータ量で安定した品質の再構成 • 周波数を考慮したプリミティブ増加戦略を提案 コントリビューション
25. 25 • 訓練とレンダリングの高速化 • 特定の物質に特化した視覚表現（例：毛髪） • ニューラルガボールを時系列シーンに拡張 Δt 展望
26. 26 3D Gaussian Splattingの問題点（再掲） 高周波表現 インタラクション 色の移り変わりごとにプリミティブが必要 インタラクティブな操作が難しい
27. インタラクション：SketchRodGS 27 SIGGRAPH Asia 2025 Technical Communications Best Communications Award
28. 28 3D Gaussian Splattingの問題点：シミュレーション可能性 再構築されたシーン プリミティブのジオメトリ ガウシアン・プリミティブ同士は接続されていない →弾性体シミュレーションには向いていない プリミティブ同士は 接続されていない
29. 29 動機：スケッチからシミュレーション可能なロッドを構築する ユーザーのスケッチ 弾性体シミュレーション 三次元ポリラインを構築 ユーザーのスケッチを三次元のシミュレーション可能なポリラインに変換する
30. 30 結果のプレビュー 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/sketchrodgs/
31. 手法 31
32. 32 ラスタライズ画像 二次元深度画像 三次元高度マップ 終点 始点 三次元高度マップの中で始点と終点を 繋ぐ三次元パスを探索する 手法：深度画像から形状を抽出する
33. 33 終点 始点 エネルギー = 二次元上のパスの誤差 + 三次元上のパスの長さ ラスタライズ二次元画像 三次元高度マップ 始点 終点 三次元上のパスの長さなし → 前面と背景を混合 二次元上のパスの誤差なし → 意図しない最短パス 手法：エネルギーを最小化するパスを計算する
34. ダイクストラ法による最短経路探索 34 ラスタライズ二次元画像 始点 終点 候補ピクセル 高度マップ上でパスを発見するために効率的に隣接ピクセルを繋ぐ
35. 遮蔽に対処するための不連続部分をスキップ 35 ラスタライズ画像 二次元深度画像 始点 終点 深度における 不連続 不連続部分はス キップして候補 ピクセルを接続 動画はプロジェクトページから視聴できます： https://haatowatanabe.com/projects/sketchrodgs/
36. 36 後処理とリニアブレンドスキニング 高度マップ上の三次元パス 三次元パス周りのガウシアン ・プリミティブを抽出 三次元パスをリサンプル & 離散弾性体ロッド シミュレーション リニアブレンドスキニング でガウシアンを アニメーション
37. 結果 37
38. 38 実装の詳細 • INRIAの3DGS*ラスタライザを使用 • シミュレーションはViscous Threads を実装 • Animationの一部はCUDA化 • RTX 3090 GPUで実験 *[Kerbl et al. 2023] 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/sketchrodgs/
39. 39 データセット構築 ブランコ ぬいぐるみ 街灯 ルーピング 恐竜 自転車 チェーン コートスタンド コーンバー 照明スタンド 細長い物体を含んだ10シーンのデータセットを収集
40. 40 実世界シーンにおけるデモ 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/sketchrodgs/
41. 41 実世界シーンにおけるデモ：粗いスケッチへの堅牢性 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/sketchrodgs/
42. 42 実世界シーンにおけるデモ：複雑なオブジェクトの抽出 動画はプロジェクトページから視聴できます：https://haatowatanabe.com/projects/sketchrodgs/
43. コントリビューション 43 • リニアブレンドスキニングとアニメーション • 粗い入力に堅牢なスクリーンスペース探索手法 • 実世界データセットとデモ
44. 展望 44 • アニメーションにおけるアーティファクト防止 のためのガウシアン細分化 • ポリラインの半径検出の自動化 • スクリーンスペースにおける表面メッシュの抽出
45. 45 全体のまとめ 高周波表現 インタラクション ⚫ スケッチベースの編集 ⚫ 取得したシーンへの物理シミュ レーション適用 ⚫ 高周波表現におけるデータ圧縮 ⚫ ガウシアンの表現拡張 ⚫ 三次元方向場の取得 動画はプロジェクトページから視聴できます： https://haatowatanabe.com/projects/neural-gabor-splatting/ https://haatowatanabe.com/projects/sketchrodgs/
46. 46 コードベース github.com/haato-w/sketch-rod-gs SketchRodGS github.com/haato-w/3d-gabor-splatting 3D Gabor Splatting Neural Gabor Splatting github.com/haato-w/neural-gabor-splatting CVPR 2026 Main Track SIGGRAPH Asia 2025 Best Communications Award ⚫ Eurographics 2025 Short ⚫ MIRU 2025 Oral & オーディ エンス賞 & 優秀賞