Gaussian Splattingの実用化 - 映像制作への展開

ドラマ制作の現場にPFNのGaussian Splatting技術が活用されました。
本講演では、PFNが映像制作分野へ取り組んできた経緯と、制作ワークフローを紹介し、どのようにして実際の映像制作の現場へ組み込んでいったかを紹介します。

Transcript

1. 2026/5/13 GPU UNITE 勉強会 Gaussian Splattingの実用化 - 映像制作への展開 Preferred Networks
2. 2 自己紹介 松岡　徹 株式会社 Preferred Networks (PFN) AIプロダクツ&ソリューションズ事業本部 次世代視覚ソリューション開発部 https://pfn3d.com/ • 一貫して3DCG・映像領域の技術開発に従事 • これまで映像会社やゲーム開発会社などでキャ リアを積む
3. 会社概要
4. Preferred Networks (PFN) 会社概要 www.preferred.jp ミッション 設⽴ 本社 代表取締役 従業員数 事業内容 主要⼦会社 現実世界を計算可能にし、共に未来を創り出す 2014年3⽉26⽇ 東京都千代⽥区 ⻄川徹（共同創業者、代表取締役会⻑） 岡野原⼤輔（共同創業者、代表取締役社⻑） 約400名（2026年3⽉） AI半導体、計算基盤、⽣成AI基盤モデルなどのAI関連技術を 活⽤したソリューション‧製品の開発‧販売および研究開発 Matlantis株式会社（2021年6⽉設⽴） 株式会社Preferred Robotics（2021年11⽉設⽴） 株式会社Preferred Computing Infrastructure（2025年1⽉設⽴）
5. 5 PFNの事業: AI技術のバリューチェーンを垂直統合 AIプロダクト‧ ソリューション 計算基盤 AI半導体 ⽣成AI基盤モデル MN-Core MN-Core 2 GPUクラスタ MN-3 (MN-Coreクラスタ) ⼤規模⾔語モデル 次世代 MN-Core 2を計算資源とした クラウドサービス 物質のエネルギー計算モデル PFP MN-Core L1000 （2027年提供予定） Preferred Networks (PFN)は、AI技術のバリューチェーンを構成するAI半導体、計算基盤、生成AI基盤モデル、 AIプロダクト・ソリューションという4つのレイヤーすべての技術を自社で開発しています。この4レイヤーのノウ ハウを垂直統合し、技術的難易度の高い問題を解決するために最適な技術の組み合わせを提案・提供します。 様々な産業向けのAIソリューション‧製品
6. 事例紹介
7. 7 TBS日曜劇場『 GIFT』※放送中 https://pf-cu.tbs.co.jp/catalog_lp/28359
8. 8 TBS日曜劇場『 GIFT』 • 撮影〜ポストまで全工程で活用： GB 合成 / LED スクリーン（ ICVFX）/ 本番 VFX • 提供：3DGS による背景の 3D化 ＋ Unreal Engine 用 Plugin（自社開発）
9. 3DGS概要
10. 10 3D Gaussian Splatting (3DGS) 3D Gaussian Splatting [Kerbl+ 2023] - 多⽅向から撮影された画像をもとに3Dモデルを復元 - 従来の3Dスキャン⼿法より外観の再現度に優れる - 最適化⼿法が深層学習モデルと共通
11. 11 3DGS - 仕組み・特徴 品 質 描 画 速 度 編 集 性 省 サ イ ズ 動 的 表 現 3DGS ◎ ◎ ◯ ◯ ◯ 点群 △ ◎ ◯ △ △ メッシュ ◯ ◎ ◎ ◯ ◯ ボクセル ✕ ◯ ◯ ✕ ✕ NeRF ◎ ◯ △ ◯ ◯ 3Dシーンを楕円体の集まりで表現している様子 (スケールを強調して可視化 ) 他の3D表現手法との比較
12. 12 3DGS - 製作工程 写真撮影 3DGSを復元 3DGSを再生 ※視点位置を自由に変更可能
13. これまでの試み
14. 14 これまでの試み メタバース総合展 2022秋 CEATEC 2023 JLOX 2023 JLOX+ 2024 TBS日曜劇場『 GIFT』 2022 2023 2024 2025 2026
15. バーチャルプロダクション
16. 16 バーチャルプロダクション • 前景は実写、背景はCGという形式による映像制作手法 背景CG 俳優 撮影
17. 17 • グリーンバック • LED（In Camera VFX） バーチャルプロダクション
18. 製作工程
19. 19 • 一眼レフカメラ • リグなどの工夫 • 数百-数千枚の写真 写真撮影
20. 20 • 写真から3DGSを最適化 • GPUを用いて計算 3DGSを復元
21. 21 • Unreal Engine用Pluginを自社開発 ◦ 4K 解像度・60FPS ◦ 大容量GSデータも再生可能 ◦ VP 要件にも対応 3DGSの再生
22. 22 • Unreal Engine ◦ 多くのLEDスタジオで採用 ◦ 機能 ▪ リアルタイムレンダリング ▪ カメラリンク（Live Link） ▪ 複数パネルへの出力（nDisplay） • 自社開発 ◦ 大容量GSデータ ▪ 1500万GS以上を表示 ◦ 速度 ▪ 低レイテンシー ▪ 高スループット UE Pluginを開発した理由
23. 事例
24. 24 TBS日曜劇場『 GIFT』の事例 作品に合わせて、撮影〜ポストまでの全工程で 3DGSの実利用を伴走支援 撮影 3DGSの利用 3DGSの復元 ツール（UE Plugin）の開発・提供 • 撮影前にカメラワーク検討 • GB合成/LEDスクリーン（ICVFX） • 本番VFX
25. 25 TBS日曜劇場『 GIFT』の事例 • 激しいカメラワークが必要 • 実体育館では撮影制約が⼤きい • GBスタジオ撮影が前提になる • 写真‧動画背景では追従できない • 3D背景は品質‧コスト‧納期が課題 • ロケ地を⾼品質に3D化 • ⾃由なカメラワークに対応 • 撮影前にアングル確認を実施 • GB/LEDでリアルタイム合成 • 品質‧コスト‧納期を両⽴ 効果 • スタジオでの撮影前に詳細なカメラ ワークの検討を実現 • 臨場感のあるカメラワークを実現 • GB背景でもどのような映像が作られ ているか、関係者でリアルタイムに認 識合わせを実現 • スケジュール、予算内で⾼品質な映像 表現を実現 課題 実現したこと
26. まとめ
27. 27 • PFN は数年前から3DGSを継続的に実証 ◦ 展示会レベルから実放送の VFX 採用まで段階的にスケール • UE Plugin の自社開発など、ユーザーが実際に使える環境を提供 ◦ 1500 万 GS 超・4K/60FPS・低レイテンシ／高スループット ◦ バーチャルプロダクションでの利用にも対応 ◦ 映像制作現場の要件に合わせて継続的に改善 • 顧客の課題に伴走することが重要 ◦ 実在ロケ地の臨場感、撮影制約、品質 ◦ 3DGS × 自社環境 × 制作現場での経験で伴走 • これから ◦ 映像領域での利用拡大（CM・映画・ライブ・配信など） ◦ 3DGSのユースケースをさらに広げていく まとめ
28. 28 コンピュータビジョンエンジニア 募集中 https://www.preferred.jp/ja/careers/ ビジネスパートナー 募集中 https://www.preferred.jp/ja/contact/
29. Make the real world computable and create the future together.