論文紹介：Pixal3D (SIGGRAPH 2026)

社内のCV輪講で発表した資料です。
Pixal3D: Pixel-Aligned 3D Generation from Images (SIGGRAPH 2026)についてまとめました。

Transcript

1. AI Community 2026.05.15 Takato Yoshikawa 株式会社ディー・エヌ・エー / GO株式会社 / GOドライブ株式会社 論文紹介 Pixal3D (SIGGRAPH 2026)
2. AI 2 ▪ 3D生成モデルについてあまり調べたことがなかった ▪ 画像や動画生成とは異なる工夫点や現状の3D生成のクオリティ を知りたい ▪ Pixal3Dを中心に最近の3D生成モデル（特にimage-to-3D生成）に ついて調査 はじめに
3. AI 3 項目 01｜image-to-3D generation 02｜Pixal3D 03｜実際に動かしてみる
4. AI 4 01 image-to-3D generation
5. AI 5 ▪ 1枚（または複数枚）の画像から3Dモデルを生成するタスク ▪ 生成モデルを用いたImage-to-3Dでは、入力が少なくて 見えていない部分も補完して生成が可能 image-to-3D generation https://ldyang694.github.io/projects/pixal3d/
6. AI ▪ 画像生成などでもよく見られるLatent Diffusion型のパイプライン ▪ VAEの入出力のデータ形式は手法ごとに様々 ▪ 最終的にMeshが欲しい場合はSDFを生成し、後処理でメッシュ化 6 最近のImage-to-3Dの大まかなパイプライン 生成モデル VAE Decoder VAE Decoder 参照画像 Mesh化 VAE Encoder Mesh SDF Latent Latent VAEの学習 Noise
7. AI 7 ▪ SDF（Signed Distance Function）とは？ ▪ 各点からの物体表面までの符号付き距離 を返す関数 ▪ d(x, y, z) = 0が表面、- は形状内部 +が形状外部を表す ▪ NNで直接メッシュデータを生成するのは難しい →SDFを出力してからMarching Cubesなどの アルゴリズムでメッシュデータに変換 （SDFについて） - + + + + + 0
8. AI 8 ▪ 2段階パイプライン ▪ 1段目で疎な形状を作成し、２段目でディティールの生成 ▪ VAEの入力はDINOv2による多視点特徴、出力は3DGS, Radiance Fields, SDF 関連研究：TRELLIS Jianfeng Xiang, et al., "Structured 3D Latents for Scalable and Versatile 3D Generation," in Proc. of CVPR 2025.
9. AI 9 ▪ Spatial Sparse AttentionによるAttentionの効率化 ▪ 物体が存在する部分だけに効率よく注目 ▪ VAEの入出力をスパースなSDFに統一 ▪ フォーマットを統一したことで学習効率、安定性、忠実度が改善 関連研究：Direct3D-S2 Shuang Wu, et al., "Direct3D-S2: Gigascale 3D Generation Made Easy with Spatial Sparse Attention," in Proc. of NeurIPS 2025.
10. 10 02 Pixal3D
11. AI 11 ▪ 入力画像への忠実度が低い ▪ 参照画像のディティールが失われたり位置がズレたりする 既存手法の課題 入力画像 TRELLIS Direct3D-S2 Dong-Yang Li, et al., "Pixal3D: Pixel-Aligned 3D Generation from Images," in Proc. of SIGGRAPH 2026.
12. AI 12 忠実度が低くなる原因 入力画像 TRELLIS Direct3D-S2 ▪ 正準座標系（物体中心の座標系）による生成 ▪ 下の画像でも（おそらく）正面を向いた姿勢で生成されている ▪ 画像と3Dモデルの対応関係はCross Attentionでの学習に依存 →グローバルな意味情報を頼りに生成しがち Dong-Yang Li, et al., "Pixal3D: Pixel-Aligned 3D Generation from Images," in Proc. of SIGGRAPH 2026.
13. AI 13 ▪ 正準座標系（物体中心の座標系）による生成 ▪ 下の画像でも（おそらく）正面を向いた姿勢で生成されている ▪ 画像と3Dモデルの対応関係はCross Attentionでの学習に依存 →グローバルな意味情報を頼りに生成しがち 忠実度が低くなる原因 ▪ 入力カメラ座標系での生成 ▪ つまり参照画像と同じ向きになるように生成 ▪ Back Projectionによって明示的に画像と3Dの対応関係を考慮 Pixal3D
14. AI 14 ▪ ベースパイプライン：Direct3D-S2 ▪ カメラ座標系での生成のために、様々な向きでの画像-3Dペアを用意して学習 Pixal3D概要 Back Projection による2D-3D対応 Dong-Yang Li, et al., "Pixal3D: Pixel-Aligned 3D Generation from Images," in Proc. of SIGGRAPH 2026.
15. AI 15 1. DINOv2でマルチスケール画像特徴を作成 2. カメラから画像に飛ばしたRayがBoxに収まるような、カメラとBox位置を 決める 3. 各ボクセルから画像にRayを飛ばしてあたった特徴量を取得 a. 全特徴量を平均化 Back Projection Proj Injection: 特徴ボリュームを ノイズボリュームに加算 Dong-Yang Li, et al., "Pixal3D: Pixel-Aligned 3D Generation from Images," in Proc. of SIGGRAPH 2026.
16. AI 16 ▪ 全部で約100万のobjectで学習 ▪ Objaverse ▪ 低品質なデータをフィルタして約48万のobjectを使用 ▪ TRELLIS-500K ▪ いくつかの既存データセットを集めたもの 学習データ Matt Deitke, et al., "Objaverse-XL: A Universe of 10M+ 3D Objects," in Proc. of NeurIPS 2023.
17. AI 17 ▪ ディティールの忠実度が改善 しているのがわかる 実験結果 ユーザスタディによる 忠実度・クオリティ評価 2D-3Dの整合性評価 Dong-Yang Li, et al., "Pixal3D: Pixel-Aligned 3D Generation from Images," in Proc. of SIGGRAPH 2026.
18. AI ▪ 生成されたモデルをカメラ視点からレンダリングし作成された 法線マップとGTを比較(IoU, PSNR, SSIM, LPIPS) ▪ 後半の指標は法線ベクトルの向きのズレについて(Mean, Median~) ▪ 11.25°などは誤差がその角度に収まっている割合 18 実験結果 Dong-Yang Li, et al., "Pixal3D: Pixel-Aligned 3D Generation from Images," in Proc. of SIGGRAPH 2026.
19. AI 19 ▪ Back Projectionにおいて各視点の ボリューム特徴を平均化するだけで 拡張可能 ▪ （全体が写っている画像が与えられる前提か） Multi-viewへの拡張 Dong-Yang Li, et al., "Pixal3D: Pixel-Aligned 3D Generation from Images," in Proc. of SIGGRAPH 2026.
20. 20 03 実際に動かしてみる
21. AI ▪ https://github.com/TencentARC/Pixal3D ▪ 学術目的のみ利用可→MIT Licenceに変更！ ▪ Direct3D-S2をベースにした実装とTRELLIS2をベースにした実装 を公開 ▪ TRELLIS2ベースの実装を動かしてみる 21 実際に動かしてみる
22. AI 22 適当に画像を生成し3D化 Input Output 3DModel
23. AI 23 実写画像に対して生成 Input Output 3DModel
24. AI ▪ Pixal3D ▪ 画像と3Dモデルを明示的に対応付けるBack Projectionを導入 ▪ これにより入力画像への忠実度が改善 ▪ マルチビューへも自然に対応可能 ▪ 所感 ▪ ぱっと見ではきれいに生成できていそうだがメッシュが大きく崩れる 場合もある ▪ 特に画像では見えていない部分の補完は崩れやすそう ▪ 高品質データを集めるのが大変、高解像度化すると計算量が膨大になる などが引き続き課題か？ ▪ 実用上は生成した3Dモデルの分解や編集が簡単にできると良さそう 24 まとめ