『Ground Truth: How We Create Geometrically Accurate Reconstructions (Niantic Spatial Blog)』 を読む / read Ground Truth: How We Create Geometrically Accurate Reconstructions

3DGS Meetup vol.2のオープニングトークにて発表した資料です
https://3dgs-meetup.connpass.com/event/385850/

Transcript

1. #3DGSMeetup 『Ground Truth: How We Create Geometrically Accurate Reconstructions (Niantic Spatial Blog) 』 を読む 株式会社ホロラボ にー兄さん 3DGS Meetup vol.2
2. #3DGSMeetup はじめに
3. #3DGSMeetup 自己紹介 にー兄さん（@ninisan_drumath） Babylon.jsや3DGSやAndroidXRが 好きなソフトウェアエンジニア 推しフォーマットはSOG 株式会社ホロラボ所属 Babylon.js勉強会・3DGS Meetup運営 Microsoft MVP(2024-)
4. #3DGSMeetup 本日の話 3DGS関連の気になるトピックを 紹介するコーナー（？） 最近見つけて「おもしろいな～」と思った Niantic Spatial Blogの記事をご紹介 ゴール： 3DGSデータの構築手法についての知見をお届けしたり 最近の3DGS活用のトレンドについて考える機会に なったら嬉しい
5. #3DGSMeetup アジェンダ 1. はじめに 2. 記事概要 3. 内容紹介 4. この記事を紹介したモチベーション 5. おわりに
6. #3DGSMeetup 記事概要
7. #3DGSMeetup Ground Truth: How We Create Geometrically Accurate Reconstructions Niantic Spatial Blogにて 5/27に公開されたブログ記事 Niantic Spatialの取り組み中心の紹介をする 短めのブログという感じ 日本語版もあります
8. #3DGSMeetup Ground Truth: How We Create Geometrically Accurate Reconstructions 3次元再構築パイプラインで使われている 高精度なジオメトリを構築する手法について解説 一般的な3次元再構成の内容も含みつつ ジオメトリ最適化やデータ活用については 3DGS中心で紹介されている
9. #3DGSMeetup 記事の背景（を推測） Niantic SpatialはScaniverseの開発元 スキャンプラットフォームや NSDKのような開発ツールを提供 Physical AIに関する研究開発も行う 4/7に新しいScaniverseが発表されたり 同サービスで利用されている技術 ということなのかも 今朝スキャンした自室のデスク
10. #3DGSMeetup 内容紹介
11. #3DGSMeetup 3次元再構成という問題を解く 3次元再構成って何なのか？ 例えば） →連番画像や動画を入力 →そこに映っているデータを解析 →3Dデータを作成・出力 いわゆるSfM（Structure from Motion） 一般に、入力されたフレーム情報には3次元情報は含まれない （※メタデータとして位置情報を持つことはある） 次の2ステップが必要 - カメラの位置推定 - カメラ位置からジオメトリを作成
12. #3DGSMeetup カメラの位置推定 カメラの姿勢（位置・回転）を推定 フレーム間で特徴点を 照合することで推定できる 逆にガラスや金属などの素材表面や オーバーラップが少ないことにより 特徴点が照合できないと厳しい Niantic Spatialでは 非専門家により作成されたデータでも Localizeできる手法をいくつか発表している 画像は同ブログより引用
13. #3DGSMeetup 3Dデータの構築 推定されたカメラ姿勢から 点群やメッシュ、3DGSなどを作成 3DGSは幅を持った点群のようなデータで見た 目を再現 しかし形状は不正確であることが多く、 シミュレーションやロボティクスでの活用に難 あり Niantic Spatialでは深度推定の手法をいくつ か発表しており それを使って整合性のあるジオメトリを 構築できる 画像・動画は同ブログより引用
14. #3DGSMeetup データの作成・圧縮および 活用について Niantic Spatialが主導する SPZフォーマット 非圧縮PLYにくらべて90%ほどの圧縮率を 誇る さらに5/5にはSPZ 4を発表 3DGSデータの活用先として インフラ関連の遠隔点検、 現場の分析・管理 ロボティクス、シミュレーション
15. #3DGSMeetup この記事を紹介した モチベーション
16. #3DGSMeetup 本記事のテーマを考える 「3DGSは見た目が綺麗だけど形状は不正確」 そもそもそういうもの　という感じ これを解消する必要がある →なぜ？
17. #3DGSMeetup 正確なジオメトリというトレンドを垣間見る 3DGSの普及により様々な分野で活用されるように フィジカルAI文脈のロボティクスなど - 現実をリアルに再現した空間での学習 - 物理的な挙動のシミュレーション（当たり判定） 例） - XGRIDS Lixelシリーズでのメッシュ出力 - TriSplatやGaussianMeshesのようなメッシュベースの手法の提案
18. #3DGSMeetup 記事を読んでみて 記事で紹介されている技術すごい！ というよりは……（すごいのは前提として） 3DGS活用に取り組む世界的企業が どのような活用先のトレンドを想定していて それに向けてどうデータを作るのか を考えてみるきっかけになった • ジオメトリ正確性への需要 • 地理空間データとしての利用 • ファイル圧縮技術 • フィジカルAIや産業向けシミュレーション用途など
19. #3DGSMeetup 参考 Ground Truth: How We Create Geometrically Accurate Reconstructions | Niantic Spatial, Inc. https://nianticspatial.com/en/blog/geometrically-accurate-reconstruction Reconstruct - Create High-Fidelity, Digital Twins | Niantic Spatial, Inc. https://nianticspatial.com/en/products/reconstruct Mapping the World For Machines with Scaniverse | Niantic Spatial, Inc. https://www.nianticspatial.com/en/blog/scaniverse TriSplat | Simulation-Ready Feed-Forward 3D Scene Reconstruction https://lhmd.top/trisplat/ Radiance Meshes https://half-potato.gitlab.io/rm/