個人的3D Gaussian Splattingニュースをご紹介 / sharing 3d gaussian splatting news

3DGS Meetup vol.1のオープニングで登壇した資料です

Transcript

1. #3DGSMeetup 個人的3D Gaussian Splatting ニュースをご紹介 株式会社ホロラボ にー兄さん 3DGS Meetup vol.1
2. #3DGSMeetup はじめに
3. #3DGSMeetup 自己紹介 にー兄さん（@ninisan_drumath） 株式会社ホロラボ ソフトウェアエンジニア Babylon.js勉強会・3DGS Meetup　運営 Microsoft MVP(2024-) Software Design誌にて 『現実世界を拡張するWebXRプログラミング』 連載中
4. #3DGSMeetup 本日の話 3DGSの活用をするにあたり 個人的に気になっているニュースをご紹介 ちょっとマニアックなものも含みます （詳しくは懇親会で話しましょう！） 「何かに使えないかな？」って考える キッカケになったら嬉しいです
5. #3DGSMeetup アジェンダ 1. はじめに 2. Mable開発元、World APIを公開 3. glTF拡張 KHR_gaussian_splatting RCに到達 4. SuperSplat Studioのリリース 5. おわりに
6. #3DGSMeetup Marble 開発元 World API を公開
7. #3DGSMeetup World API のリリース 日本時間1/22 World LabsからAPIのリリース World Labs： 3DGSの生成AIサービスMarbleを開発 Marbleでできるような3DGSの生成が いよいよWeb API経由で可能に！ https://x.com/theworldlabs/status/2014046372639408203 より
8. #3DGSMeetup Marble Marble https://marble.worldlabs.ai/ 単眼画像、パノラマ、動画などを入力し 3DGSデータを生成できるサービス トップページに生成されたGSデータが 並んでいて触ると楽しい
9. #3DGSMeetup Marble https://www.worldlabs.ai/より
10. #3DGSMeetup World API でできること API Reference https://docs.worldlabs.ai/api - アップロード用アセット管理 - ワールド生成 - ワールド取得 - ワールドのステータス取得 といったAPIが用意されている モデルは2種類 - Marble 0.1-mini - Marble 0.1-plus 注意： MarbleのクレジットとAPIは別で必要 https://docs.worldlabs.ai/api/reference/worlds/generateより
11. #3DGSMeetup glTF拡張 KHR_gaussian_splattin g RCに到達
12. #3DGSMeetup glTF拡張としての Gaussian Splatting 日本時間2/3に公式から発表され、 ちょっと話題になった ブログ https://www.khronos.org/news/press/gltf-gaussian-splatting- press-release glTF：3Dモデルのファイルフォーマット Khronos Groupによって仕様策定 KHR_gaussian_splatting拡張がRCになった という内容 →どういうこと？
13. #3DGSMeetup glTFのSpec 仕様はオープンになっているので閲覧可能 （PDF版は199ページくらいあります） GitHubにある説明はわかりやすい https://github.com/KhronosGroup/glTF コア機能と拡張機能がある - 異方性反射やクリアコート、Diffuse transmission - interactivity拡張 - テクスチャやメッシュの圧縮形式 ↑は拡張として仕様策定 https://registry.khronos.org/glTF/specs/2.0/glTF-2. 0.pdf より
14. #3DGSMeetup KHR_gaussian_splatting Khronos公式*の拡張としての位置づけ CesiumやNiantic Spatial、Esri などが中心となって仕様策定 GitHubのREADMEがわかりやすくて好き https://github.com/KhronosGroup/glTF/tree/main/extens ions/2.0/Khronos/KHR_gaussian_splatting *：正確にはIP Frameworkの対象かどうか
15. #3DGSMeetup 仕様策定の段階 →Release Candidate 承認の一歩手前 FB待ってるよ！ という段階
16. #3DGSMeetup 内容 属性データは一般的なもの プロパティとして - kernel - color space - projection - sorting method がある（興味深い） KHR_gaussian_splattingは 非圧縮の構造的データ 圧縮形式はSPZやL-GSCなどが提案されている
17. #3DGSMeetup SuperSplat Studio のリリース
18. #3DGSMeetup SuperSplat Studio の発表 日本時間2/12にPlayCanvas CEOの Willさんがツイート SuperSplatに統合されている オーサリングツールであるStudioが登場 公式ブログ： https://blog.playcanvas.com/build-gaussian-splat -experiences-with-supersplat-studio/ https://x.com/willeastcott/status/20216298434657 03917　より
19. #3DGSMeetup SuperSplat PlayCanvasが開発する 3DGSのプラットフォーム 以前はバラバラだったSuperSplat Editorや splat-transformが統合されている
20. #3DGSMeetup SuperSplat Studio を触ってみよう
21. #3DGSMeetup SuperSplat Studio を触ってみよう
22. #3DGSMeetup SuperSplat Studio を触ってみよう
23. #3DGSMeetup おわりに
24. #3DGSMeetup おわりに - World APIのリリース - glTFのKHR_gaussian_splatting拡張 - SuperSplat Studioの登場 についてご紹介 3DGSに関するニュースは更新が早くて キャッチアップが大変 しかしいろいろ出てきて見ているだけで面白い この新しいデータをどう活用するか 考えていきたい
25. #3DGSMeetup 参考 Announcing the World API https://www.worldlabs.ai/blog/announcing-the-world-api Quickstart - Learn how to use the World API https://docs.worldlabs.ai/api glTF™ 2.0 Specification https://registry.khronos.org/glTF/specs/2.0/glTF-2.0.html Khronos Announces glTF Gaussian Splatting Extension https://www.khronos.org/news/press/gltf-gaussian-splatting-press-release Build Gaussian Splat Experiences with SuperSplat Studio https://blog.playcanvas.com/build-gaussian-splat-experiences-with-supersplat-studio/ SuperSplat https://superspl.at/