Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【NeRF撮り方LT会】NeRFが空間を理解する仕組み

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for さくたま さくたま
April 22, 2023
Technology
1.8k
1

 【NeRF撮り方LT会】NeRFが空間を理解する仕組み

Avatar for さくたま

さくたま

April 22, 2023

More Decks by さくたま

See All by さくたま
第36回OEDC: マイコンを使った『アイテム』でXR体験をリッチに
Avatar for さくたま sakutama_11
0
110
Unity Android XR入門
Avatar for さくたま sakutama_11
0
450
AR×ドラムで切り拓く音楽表現【XRKaigi 2024】
Avatar for さくたま sakutama_11
0
130
「ARドラム」の裏側 【Iwaken Lab. Tech Conference】
Avatar for さくたま sakutama_11
1
2.6k
SwiftUIで作るvisionOS向けTabViewUIの知見
Avatar for さくたま sakutama_11
1
470
8th Wall × Babylon.jsでhavok physics　【Babylon.js　ゆるほめLT会 vol.2】
Avatar for さくたま sakutama_11
0
970

Other Decks in Technology

See All in Technology
修正PRを食べてレビュースキルが賢くなる：Claude Codeによる自己改善サイクル
Avatar for um(うめ) yuyaumetsu
5
1.4k
モノリス Rails でも日中に rails db:migrate を走らせたい！ / Daytime rails db:migrate on Monolithic Rails!
Avatar for Shintani Teppei euglena1215
4
550
Redmine 7.0 新機能・機能強化解説（OSC2026京都ダイジェスト版）
Avatar for MAEDA Go vividtone
1
210
もう一度考える SRE チームの作り方・育て方 / Rethinking SRE #1: Building and Growing SRE Teams
Avatar for rrreeeyyy rrreeeyyy
6
1k
20260804_Q4AzureUpdateBite_FabricDataAgentの精度を高める設計.pdf
Avatar for matayuuu matayuuu
1
120
Master Dataグループ紹介資料
Avatar for Sansan, Inc. sansan33
PRO
1
4.8k
社内の7割が使うデータ基盤を、 データチーム2人で回すためにやったこと
Avatar for KOH koh_yoshi
4
1.2k
クラウドセキュリティ入門　～安全なクラウド利用のための基礎知識～
Avatar for LHazy lhazy
11
8.4k
[しろおび夏祭り2026] チャットするAIから、作業するAIへ - 使われ方の変化と、その裏側で起きていること
Avatar for kk0n kk0n
0
1.7k
FPGAが実現する遠方宇宙の高空間分解能天体撮影 -大型地上望遠鏡の視力を補正する「補償光学」とは？-
Avatar for 高橋光明 / Mitsuaki Takahashi komei_mt
0
180
変化の早いClaude Codeを 書籍に落とし込む
Avatar for Oikon oikon48
7
1.3k
【CEDEC2026】コードレビュー支援ツール開発から学ぶ：LLMを用いた業務システムの実践的な運用設計と誤出力対策
Avatar for Cygames, Inc. cygames
PRO
0
630

Featured

See All Featured
Rails Girls Zürich Keynote
Avatar for Gregor Martynus gr2m
96
14k
Fight the Zombie Pattern Library - RWD Summit 2016
Avatar for Marcelo Somers marcelosomers
234
17k
Introduction to Domain-Driven Design and Collaborative software design
Avatar for Kenny Baas-Schwegler baasie
1
930
Self-Hosted WebAssembly Runtime for Runtime-Neutral Checkpoint/Restore in Edge–Cloud Continuum
Avatar for Yuki Nakata chikuwait chikuwait
0
690
Documentation Writing (for coders)
Avatar for Carmen Chung carmenintech
77
5.4k
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
Avatar for UX Y'all uxyall
0
360
Ethics towards AI in product and experience design
Avatar for Skipper Chong Warson skipperchong
2
340
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
4.5k
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
Avatar for Sophie Logan marketingsoph
0
360
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
Avatar for Irina Nazarova irinanazarova
9
1.5k
Speed Design
Avatar for Sergey Chernyshev sergeychernyshev
33
2k
So, you think you're a good person
Avatar for Per Axbom axbom
PRO
2
2.1k

Transcript

  1. 2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会

  2. 2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG

    / Visualization) ▣ 3次元再構成，NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11

  3. 2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話

    2

  4. 2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる！ どうやったら上手く絵が出来そうか？分析できる！ CV, CG, 機械学習，わからない人でもなんとなくわかる！ 正確性よりわかりやすさ重視で説明します！ ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも)

    をして教えてください

  5. 2023/4/22 NeRFは何をするもの？ 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置

  6. 2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置

  7. 2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する

  8. 2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない

  9. 2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点

  10. 2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差

  11. 2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点

  12. 2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像

    色々な方向から 撮影した画像 +カメラ位置

  13. 2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える？？」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z)

    方向(θ, φ) 色と密度(r, g, b, a)

  14. 2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える？？」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z)

    方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る

  15. 2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像

    +カメラ位置

  16. 2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定

  17. 2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定

  18. 2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定

  19. 2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定

    半透明が表現できる

  20. 2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える？？」 「90%の濃さの黄色です」

  21. 2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える？？」 「90%の濃さの黄色です」

  22. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較

  23. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像

  24. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が

    変化しない このカメラでは〇〇が正解って 言ったのに！ このカメラは××って言った！ • 自分の影 • 通行人 • 明るさ補正

  25. 2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像

    +カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい！