【NeRF撮り方LT会】NeRFが空間を理解する仕組み

Transcript

1. 2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会
2. 2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG / Visualization) ▣ 3次元再構成，NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11
3. 2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話 2
4. 2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる！ どうやったら上手く絵が出来そうか？分析できる！ CV, CG, 機械学習，わからない人でもなんとなくわかる！ 正確性よりわかりやすさ重視で説明します！ ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも) をして教えてください
5. 2023/4/22 NeRFは何をするもの？ 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
6. 2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
7. 2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する
8. 2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない
9. 2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点
10. 2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差
11. 2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点
12. 2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
13. 2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える？？」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z) 方向(θ, φ) 色と密度(r, g, b, a)
14. 2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える？？」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z) 方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る
15. 2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
16. 2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
17. 2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
18. 2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
19. 2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定 半透明が表現できる
20. 2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える？？」 「90%の濃さの黄色です」
21. 2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える？？」 「90%の濃さの黄色です」
22. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較
23. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像
24. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が 変化しない このカメラでは〇〇が正解って 言ったのに！ このカメラは××って言った！ • 自分の影 • 通行人 • 明るさ補正
25. 2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい！