Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Vision Proで広告フリーな世界を実現したい
Search
Shuhei Shitamori
December 12, 2024
Programming
0
70
Vision Proで広告フリーな世界を実現したい
MIERUNE BBQ #14発表資料
Shuhei Shitamori
December 12, 2024
Tweet
Share
More Decks by Shuhei Shitamori
See All by Shuhei Shitamori
Foundation Models触ってみた - iPhone Dev Sapporo — WWDC25 Recap
shitamori1272
0
35
Wallet API, Verifier APIで実現するIDカード on iPhoneの世界
shitamori1272
1
2.5k
Other Decks in Programming
See All in Programming
つよそうにふるまい、つよい成果を出すのなら、つよいのかもしれない
irof
1
300
ktr0731/go-mcpでMCPサーバー作ってみた
takak2166
0
170
PHP 8.4の新機能「プロパティフック」から学ぶオブジェクト指向設計とリスコフの置換原則
kentaroutakeda
1
330
Spring gRPC で始める gRPC 入門 / Introduction to gRPC with Spring gRPC
mackey0225
2
520
設計やレビューに悩んでいるPHPerに贈る、クリーンなオブジェクト設計の指針たち
panda_program
3
390
ASP.NETアプリケーションのモダナイズ インフラ編
tomokusaba
1
390
KotlinConf 2025 現地で感じたServer-Side Kotlin
n_takehata
1
220
Bytecode Manipulation 으로 생산성 높이기
bigstark
2
360
すべてのコンテキストを、 ユーザー価値に変える
applism118
2
470
[初登壇@jAZUG]アプリ開発者が気になるGoogleCloud/Azure+wasm/wasi
asaringo
0
130
ReadMoreTextView
fornewid
1
450
イベントストーミング図からコードへの変換手順 / Procedure for Converting Event Storming Diagrams to Code
nrslib
1
190
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Stop Working from a Prison Cell
hatefulcrawdad
270
20k
Fireside Chat
paigeccino
37
3.5k
How STYLIGHT went responsive
nonsquared
100
5.6k
Gamification - CAS2011
davidbonilla
81
5.3k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Faster Mobile Websites
deanohume
307
31k
Thoughts on Productivity
jonyablonski
69
4.7k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Transcript
Լɹपฏ 2024/11/20 Vision ProͰࠂϑϦʔͳੈքΛ ࣮ݱ͍ͨ͠ MIERUNE BBQ
Լ पฏ w ࠓͷ݄͔Βࡳຈࡏॅ ग़Γ w Χφμͷσδλϧ*%ελʔτΞοϓͰJ04ΤϯδχΞ w 7JTJPO1SPങͬͨ
2 #MVFTLZ -JOLFEJO
XRͱ • Ծੈքͱݱ࣮ੈքͷΈ߹ΘͤʹΑͬͯ ৽ͨͳମݧΛੜΈग़ٕ͢ज़ͷ૯শ https://www.canon-its.co.jp/solution/mr/vr-ar-mr/
AR(֦ுݱ࣮)ͰͰ͖Δମݧ https://k-tai.watch.impress.co.jp/docs/news/1203694.html
ใྔ͕ଟ͍ͱετϨε • ใྔ͕ଟ͍ͱετϨεΛײ͍͢͡ • λεΫύϑΥʔϚϯεʹӨڹ • ใΛݮΒͨ͢ΊͷऔΓΈॏཁ
Diminished Reality(ݮଛݱ࣮) • ARͱରʹ࣮ࡍʹଘࡏ͢ΔͷΛϦΞϧλΠϜͰݟ͑ͳ͘͢Δٕज़ • ΠϠϗϯͷϊΠζΩϟϯηϦϯάͷࢹ֮όʔδϣϯ https://solution.itage.jp/2021/12/16/16738/
Vision ProͰDRΛͬͯΈΔ • ֗த͔ΒࠂுΓࢴΛফͯ͠ೝෛՙͷ͍ੈքΛ࣮ݱ͍ͨ͠
Vision Proͱ • Apple͕2023ʹൢച։࢝ͨ͠MRϔουηοτ • MacBookͱಉͷM2 νοϓࡌ • ߴղ૾ͷө૾ •
ϓϥΠόγʔΛྀͨ͠ମݧઃܭ
ࠂDRʹඞཁͳٕज़ Vision Proͷಛٕज़ཁ݅ʹϚον͍ͯ͠Δʂ • 1. ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ • Vision ProʹߴੑೳͳΧϝϥ͕ࡌ͞ΕͯΔ •
2. ࠂΛফͨ͢Ίͷഎܠը૾Λੜ • Vision ProʹAIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕ࡌ͞ΕͯΔ • 3. ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ • Vision ProʹԾମΛۭؒʹஔͰ͖Δ
ࠂDRʹඞཁͳٕज़ Vision Proͷಛٕज़ཁ݅ʹϚον͍ͯ͠Δʂ͠ͳ͍… • 1. ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ • Vision ProʹߴੑೳͳΧϝϥ͕ࡌ͞ΕͯΔ͕ɺΧϝϥө૾ʹΞΫηεͰ͖ͳ͍ •
2. ࠂΛফͨ͢Ίͷഎܠը૾Λੜ • Vision ProʹAIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕ࡌ͞ΕͯΔ͕ɺAI༻ΤϯδϯʹΞΫηεͰ͖ͳ͍ • 3. ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ • Vision ProʹԾମΛۭؒʹஔͰ͖Δ
ࠓճͷॲཧϑϩʔ • PCͰࣄલʹʮݕ͍ͨ͠ࠂʯͱʮॏͶ͍ͨഎܠը૾ͷੜʯΛΔ • Vision Proʮੜͨ͠ը૾ΛࠂʹॏͶͯදࣔʯ͚ͩ • ࢹ֮ใ(Χϝϥ)͔Β ࠂͷݕग़ 1.
ࠂΛࡱӨͯ͠σʔληοτ࡞ 2. ը૾͔ΒࠂྖҬΛݕग़ 3. ը૾ੜ༻ʹྖҬΛܗ ࠂΛফͨ͢Ίͷ എܠը૾ͷੜ 1. ࠂʹସΘΔഎܠը૾Λੜ 2. Vision Pro༻ʹը૾Λܗ ੜͨ͠ը૾Λ ࠂʹॏͶͯදࣔ 1. Vision Pro༻ͷΞϓϦΛ࡞ PCͰࣄલʹ AVPͰϦΞϧλΠϜʹ
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ࠂΛࡱӨͯ͠σʔληοτ࡞ • ԼమӺʹܝࡌ͞ΕͨࠂுΓࢴΛΧϝϥͰࡱӨ
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ը૾͔ΒࠂྖҬΛݕग़ • ը૾͔ΒҙͷΦϒδΣΫτΛݕग़Ͱ͖Δ Segmented Anything Model(SAM)ϕʔεͷϞσϧΛར༻ • prompt=“Advertisement”Ͱ֘͢ΔྖҬΛࣗಈͰݕग़ ”Advertisement”
https://github.com/hustvl/EVF-SAM
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ྖҬݕग़݁Ռͷܗ • ΪβΪβ݀ݕग़ྖҬͱͯ͠ෆਖ਼֬ͳͷͰ࢛֯ܗͱͯ͠ܗ • ܗޙͷը૾Λॏը૾ੜͷϚεΫͱͯ͠ར༻
ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ ݕग़ྖҬΛੜAIͰ࠶ඳը • ը૾෮ݩʹಛԽͨ͠stable-di ff usionϞσϧͰϚεΫྖҬΛ࠶ੜ ޭ ύλʔϯ ࣦഊ ύλʔϯ
https://huggingface.co/stabilityai/stable-di ff usion-2-inpainting
ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ Vision ProͰ͏σʔληοτΛ࡞ • Vision ProͰར༻͢Δը૾σʔληοτΛ࡞ • ݕग़༻ͷReference, ॏ༻ͷGeneratedΛ࡞ Reference
Generated
ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ Vision ProΞϓϦͷ࡞ • Reference ImageΛݕग़ͨ͠Β Generated ImageΛಉ͡Ґஔʹදࣔͤ͞ΔγϯϓϧͳΞϓϦ Reference ൃݟʂ
Generated ࠂ্ʹ ॏͶͯදࣔʂ
͍͟ɺӺߏͰ࣮ݧ ͦͷ1
͍͟ɺӺߏͰ࣮ݧ ͦͷ2
݁Ռ • Reference ImageΛ͖ͪΜͱݕग़ͯ͠Generated ImageΛॏදࣔͰ͖ͨ • ҰํͰ • ࠂʹेʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ͠ͳ͍
• Generated Imageʹมͳͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌͋ͬͨ
ࠓޙվળ͢ΔͳΒ • ेʹࠂʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ͠ͳ͍ -> ͋Β͔͡Ί্ۭؒʹGenerated ImageΛஔ͓͚ͯ͠ ReferenceͷݕΛඞཁͱ͠ͳ͍͔ʁ • Generated
Imageʹมͳͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌͋ͬͨ -> SAMʹΑΔࠂྖҬݕग़ͷਫ਼͕ෆेͩͬͨͷͰɺଞͷख๏ݕ౼ -> Generated ImageΛੜ͢Δࡍʹ”น”ͱ໌ࣔͯ͠ྑ͔͔ͬͨ