Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【NeRF撮り方LT会】NeRFが空間を理解する仕組み

Avatar for さくたま さくたま
April 22, 2023
Technology
1.8k
1

 【NeRF撮り方LT会】NeRFが空間を理解する仕組み

Avatar for さくたま

さくたま

April 22, 2023

More Decks by さくたま

See All by さくたま
Unity Android XR入門
Avatar for さくたま sakutama_11
0
420
AR×ドラムで切り拓く音楽表現【XRKaigi 2024】
Avatar for さくたま sakutama_11
0
100
「ARドラム」の裏側 【Iwaken Lab. Tech Conference】
Avatar for さくたま sakutama_11
1
2.4k
SwiftUIで作るvisionOS向けTabViewUIの知見
Avatar for さくたま sakutama_11
1
460
8th Wall × Babylon.jsでhavok physics　【Babylon.js　ゆるほめLT会 vol.2】
Avatar for さくたま sakutama_11
0
920

Other Decks in Technology

See All in Technology
Percolatorを廃止し、マルチ検索サービスへ刷新した話 / Search Engineering Tech Talk 2026 Spring
Avatar for Visional Engineering ＆ Design visional_engineering_and_design
0
150
AIコーディング時代における、ソフトウェアサプライチェーン攻撃に対する防衛術（簡易版）
Avatar for D soysoysoyb
0
130
AI時代における技術的負債への取り組み
Avatar for Tadashi Shigeoka codenote
1
1.7k
20260423_執筆の工夫と裏側 技術書の企画から刊行まで / From the planning to the publication of technical book
Avatar for nash_efp nash_efp
3
440
これからの「データマネジメント」の話をしよう
Avatar for SansanTech sansantech
PRO
0
150
データ定義の混乱と戦う 〜 管理会計と財務会計 〜
Avatar for wonohe wonohe
0
140
Class.new is all you need
Avatar for Shia riseshia
1
170
Do Ruby::Box dream of Modular Monolith?
Avatar for Tomohiro Hashidate joker1007
1
350
Keeping Ruby Running on Cygwin
Avatar for fd0 fd0
0
180
No Types Needed, Just Callable Method Check
Avatar for dak2 dak2
1
1.9k
ハーネスエンジニアリングの概要と設計思想
Avatar for sergicalsix sergicalsix
9
5.3k
国内外の生成AIセキュリティの最新動向 & AIガードレール製品「chakoshi」のご紹介 / Latest Trends in Generative AI Security (Domestic & International) & Introduction to AI Guardrail Product "chakoshi"
Avatar for NTT docomo Business nttcom
4
1.4k

Featured

See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
Avatar for Tammy Everts tammyeverts
55
3.3k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
Avatar for Rebecca Miller-Webster rmw
35
3.4k
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
Avatar for Greg Gifford greggifford
PRO
0
150
RailsConf 2023
Avatar for Aaron Patterson tenderlove
30
1.4k
Discover your Explorer Soul
Avatar for Emna emna__ayadi
2
1.1k
Building Better People: How to give real-time feedback that sticks.
Avatar for Will Jessup wjessup
370
20k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
254
22k
JavaScript: Past, Present, and Future - NDC Porto 2020
Avatar for David Neal reverentgeek
52
5.9k
Game over? The fight for quality and originality in the time of robots
Avatar for Wayne Barker wayneb77
1
160
Lightning talk: Run Django tests with GitHub Actions
Avatar for Sarah Abderemane sabderemane
0
170
The Curse of the Amulet
Avatar for Matthew Lei leimatthew05
1
11k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
Avatar for Irina Nazarova irinanazarova
9
1.3k

Transcript

  1. 2023/4/22 NeRFが空間を理解する仕組み さくたま NeRF LT会

  2. 2023/4/22 自己紹介: さくたま 1 ▣ 慶應義塾大学 修士1年 ▣ 藤代研究室 (CG

    / Visualization) ▣ 3次元再構成，NeRFを研究し始めた ▣ AR好き ▣ LiSA ドラマー @ sakutama_11

  3. 2023/4/22 内容 今日話すこと ▣ NeRFのざっくりした仕組み 話さないこと ▣ 機械学習の細かい話 ▣ レンダリングの細かい話

    2

  4. 2023/4/22 今日のゴール 3 なんとなくNeRFが何やってるか想像できる！ どうやったら上手く絵が出来そうか？分析できる！ CV, CG, 機械学習，わからない人でもなんとなくわかる！ 正確性よりわかりやすさ重視で説明します！ ※詳しい方はぜひ間違い探し(さくたまが認知してるものもしてないものも)

    をして教えてください

  5. 2023/4/22 NeRFは何をするもの？ 4 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置

  6. 2023/4/22 撮った動画を前処理する 7 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像 +カメラ位置

  7. 2023/4/22 撮った動画を前処理する 8 動画から各フレームを 切り出す カメラの位置を推定する

  8. 2023/4/22 撮った動画を前処理する 9 動画から各フレームを 切り出す カメラの位置を推定する ブラさない

  9. 2023/4/22 撮った動画を前処理する 10 カメラの位置を推定する 特徴点

  10. 2023/4/22 撮った動画を前処理する 11 カメラの位置を推定する 特徴点 視差

  11. 2023/4/22 撮った動画を前処理する 12 カメラの位置を推定する • 特徴点の位置関係の変化から カメラ位置を逆算 特徴点

  12. 2023/4/22 Neural Radiance Field を作る 13 動画 NeRF 未知の視点から 見た画像

    色々な方向から 撮影した画像 +カメラ位置

  13. 2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える？？」 Radiance Fieldとは 15 「90%の濃さの黄色です」 位置(x, y, z)

    方向(θ, φ) 色と密度(r, g, b, a)

  14. 2023/4/22 が記録されている3Dデータ 「この位置はこっちから何色に見える？？」 Radiance Fieldとは 16 「90%の濃さの黄色です」 位置(x, y, z)

    方向(θ, φ) 色と密度(r, g, b, a) 同じ点を別の方向から見る

  15. 2023/4/22 Radiance Fieldから絵を作る 17 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像

    +カメラ位置

  16. 2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 18 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定

  17. 2023/4/22 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する Radiance Fieldから絵を作る仕組み 19 https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定

  18. 2023/4/22 Radiance Fieldから絵を作る仕組み 20 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定

  19. 2023/4/22 Radiance Fieldから絵を作る仕組み 21 「レンダリング」(ボリュームレイキャスティング) 全ピクセル方向の光を計算する 1ピクセルの色: →光線方向に色と密度を足し合わせる https://www.wikiwand.com/ja/ボリュームレンダリング カメラを設定

    半透明が表現できる

  20. 2023/4/22 答えているのはニューラルネットワーク AI “Neural” Radiance Field 22 「この位置はこっちから何色に見える？？」 「90%の濃さの黄色です」

  21. 2023/4/22 答えているのはニューラルネットワーク →正解データをもとに学習 AI “Neural” Radiance Field 23 「この位置はこっちから何色に見える？？」 「90%の濃さの黄色です」

  22. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 24 比較

  23. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 25 入力画像 レンダリング画像

  24. 2023/4/22 NeRFの学習 1. レンダリングする 2. 入力画像とレンダリング結果の各画素を比較して学習 26 入力画像 レンダリング画像 撮影中に空間が

    変化しない このカメラでは〇〇が正解って 言ったのに！ このカメラは××って言った！ • 自分の影 • 通行人 • 明るさ補正

  25. 2023/4/22 まとめ 27 27 動画 NeRF 未知の視点から 見た画像 色々な方向から 撮影した画像

    +カメラ位置 NeRFの深い話や新しいNeRFについてもぜひ語り合いたい！