Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
Search
さくたま
April 22, 2023
Technology
1
1.6k
【NeRF撮り方LT会】NeRFが空間を理解する仕組み
さくたま
April 22, 2023
Tweet
Share
More Decks by さくたま
See All by さくたま
Unity Android XR入門
sakutama_11
0
280
AR×ドラムで切り拓く音楽表現【XRKaigi 2024】
sakutama_11
0
63
「ARドラム」の裏側 【Iwaken Lab. Tech Conference】
sakutama_11
1
2.3k
SwiftUIで作るvisionOS向けTabViewUIの知見
sakutama_11
1
430
8th Wall × Babylon.jsでhavok physics 【Babylon.js ゆるほめLT会 vol.2】
sakutama_11
0
800
Other Decks in Technology
See All in Technology
【NoMapsTECH 2025】AI Edge Computing Workshop
akit37
0
230
会社紹介資料 / Sansan Company Profile
sansan33
PRO
6
380k
S3アクセス制御の設計ポイント
tommy0124
3
200
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
460
バイブスに「型」を!Kent Beckに学ぶ、AI時代のテスト駆動開発
amixedcolor
2
580
品質視点から考える組織デザイン/Organizational Design from Quality
mii3king
0
210
20250913_JAWS_sysad_kobe
takuyay0ne
2
250
Oracle Cloud Infrastructure IaaS 新機能アップデート 2025/06 - 2025/08
oracle4engineer
PRO
0
110
職種の壁を溶かして開発サイクルを高速に回す~情報透明性と職種越境から考えるAIフレンドリーな職種間連携~
daitasu
0
170
今日から始めるAWSセキュリティ対策 3ステップでわかる実践ガイド
yoshidatakeshi1994
0
110
普通のチームがスクラムを会得するたった一つの冴えたやり方 / the best way to scrum
okamototakuyasr2
0
110
実践!カスタムインストラクション&スラッシュコマンド
puku0x
0
510
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
920
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
4 Signs Your Business is Dying
shpigford
184
22k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
Embracing the Ebb and Flow
colly
87
4.8k
A Modern Web Designer's Workflow
chriscoyier
696
190k
Navigating Team Friction
lara
189
15k
Producing Creativity
orderedlist
PRO
347
40k
The Pragmatic Product Professional
lauravandoore
36
6.9k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Transcript
2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会
2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG
/ Visualization) ▣ 3次元再構成,NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11
2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話
2
2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる! どうやったら上手く絵が出来そうか?分析できる! CV, CG, 機械学習,わからない人でもなんとなくわかる! 正確性よりわかりやすさ重視で説明します! ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも)
をして教えてください
2023/4/22 NeRFは何をするもの? 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置
2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する
2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない
2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点
2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差
2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点
2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像
色々な方向から 撮影した画像 +カメラ位置
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a)
2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える??」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z)
方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る
2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定
半透明が表現できる
2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える??」 「90%の濃さの黄色です」
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像
2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が
変化しない このカメラでは〇〇が正解って 言ったのに! このカメラは××って言った! • 自分の影 • 通行人 • 明るさ補正
2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像
+カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい!