Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Vision Proで広告フリーな世界を実現したい
Search
Shuhei Shitamori
December 12, 2024
Programming
0
61
Vision Proで広告フリーな世界を実現したい
MIERUNE BBQ #14発表資料
Shuhei Shitamori
December 12, 2024
Tweet
Share
More Decks by Shuhei Shitamori
See All by Shuhei Shitamori
Wallet API, Verifier APIで実現するIDカード on iPhoneの世界
shitamori1272
1
2.3k
Other Decks in Programming
See All in Programming
Practical Domain-Driven Design - Workshop at NDC 2025
mufrid
0
130
Devinで実践する!AIエージェントと協働する開発組織の作り方
masahiro_nishimi
6
2.6k
MLOps Japan 勉強会 #52 - 特徴量を言語を越えて一貫して管理する, 『特徴量ドリブン』な MLOps の実現への試み
taniiicom
2
570
TSConfig Solution Style & subpath imports to switch types on a per-file basis
maminami373
1
180
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法
cuebic9bic
2
270
Language Server と喋ろう – TSKaigi 2025
pizzacat83
2
670
事業戦略を理解してソフトウェアを設計する
masuda220
PRO
8
1.4k
技術懸念に立ち向かい 法改正を穏便に乗り切った話
pop_cashew
0
840
Cloudflare Realtime と Workers でつくるサーバーレス WebRTC
nekoya3
0
240
ソフトウェア品質特性、意識してますか?AIの真の力を引き出す活用事例 / ai-and-software-quality
minodriven
19
6.7k
CRUD から CQRS へ ~ 分離が可能にする柔軟性
tkawae
0
230
Efficiency and Rock 'n’ Roll (Really!)
hollycummins
0
600
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
228
22k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
15
890
Fontdeck: Realign not Redesign
paulrobertlloyd
84
5.5k
The Cost Of JavaScript in 2023
addyosmani
49
8.1k
The Power of CSS Pseudo Elements
geoffreycrofte
76
5.8k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
How STYLIGHT went responsive
nonsquared
100
5.6k
Become a Pro
speakerdeck
PRO
28
5.4k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
32
5.8k
How GitHub (no longer) Works
holman
314
140k
Art, The Web, and Tiny UX
lynnandtonic
298
21k
Product Roadmaps are Hard
iamctodd
PRO
53
11k
Transcript
Լɹपฏ 2024/11/20 Vision ProͰࠂϑϦʔͳੈքΛ ࣮ݱ͍ͨ͠ MIERUNE BBQ
Լ पฏ w ࠓͷ݄͔Βࡳຈࡏॅ ग़Γ w Χφμͷσδλϧ*%ελʔτΞοϓͰJ04ΤϯδχΞ w 7JTJPO1SPങͬͨ
2 #MVFTLZ -JOLFEJO
XRͱ • Ծੈքͱݱ࣮ੈքͷΈ߹ΘͤʹΑͬͯ ৽ͨͳମݧΛੜΈग़ٕ͢ज़ͷ૯শ https://www.canon-its.co.jp/solution/mr/vr-ar-mr/
AR(֦ுݱ࣮)ͰͰ͖Δମݧ https://k-tai.watch.impress.co.jp/docs/news/1203694.html
ใྔ͕ଟ͍ͱετϨε • ใྔ͕ଟ͍ͱετϨεΛײ͍͢͡ • λεΫύϑΥʔϚϯεʹӨڹ • ใΛݮΒͨ͢ΊͷऔΓΈॏཁ
Diminished Reality(ݮଛݱ࣮) • ARͱରʹ࣮ࡍʹଘࡏ͢ΔͷΛϦΞϧλΠϜͰݟ͑ͳ͘͢Δٕज़ • ΠϠϗϯͷϊΠζΩϟϯηϦϯάͷࢹ֮όʔδϣϯ https://solution.itage.jp/2021/12/16/16738/
Vision ProͰDRΛͬͯΈΔ • ֗த͔ΒࠂுΓࢴΛফͯ͠ೝෛՙͷ͍ੈքΛ࣮ݱ͍ͨ͠
Vision Proͱ • Apple͕2023ʹൢച։࢝ͨ͠MRϔουηοτ • MacBookͱಉͷM2 νοϓࡌ • ߴղ૾ͷө૾ •
ϓϥΠόγʔΛྀͨ͠ମݧઃܭ
ࠂDRʹඞཁͳٕज़ Vision Proͷಛٕज़ཁ݅ʹϚον͍ͯ͠Δʂ • 1. ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ • Vision ProʹߴੑೳͳΧϝϥ͕ࡌ͞ΕͯΔ •
2. ࠂΛফͨ͢Ίͷഎܠը૾Λੜ • Vision ProʹAIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕ࡌ͞ΕͯΔ • 3. ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ • Vision ProʹԾମΛۭؒʹஔͰ͖Δ
ࠂDRʹඞཁͳٕज़ Vision Proͷಛٕज़ཁ݅ʹϚον͍ͯ͠Δʂ͠ͳ͍… • 1. ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ • Vision ProʹߴੑೳͳΧϝϥ͕ࡌ͞ΕͯΔ͕ɺΧϝϥө૾ʹΞΫηεͰ͖ͳ͍ •
2. ࠂΛফͨ͢Ίͷഎܠը૾Λੜ • Vision ProʹAIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕ࡌ͞ΕͯΔ͕ɺAI༻ΤϯδϯʹΞΫηεͰ͖ͳ͍ • 3. ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ • Vision ProʹԾମΛۭؒʹஔͰ͖Δ
ࠓճͷॲཧϑϩʔ • PCͰࣄલʹʮݕ͍ͨ͠ࠂʯͱʮॏͶ͍ͨഎܠը૾ͷੜʯΛΔ • Vision Proʮੜͨ͠ը૾ΛࠂʹॏͶͯදࣔʯ͚ͩ • ࢹ֮ใ(Χϝϥ)͔Β ࠂͷݕग़ 1.
ࠂΛࡱӨͯ͠σʔληοτ࡞ 2. ը૾͔ΒࠂྖҬΛݕग़ 3. ը૾ੜ༻ʹྖҬΛܗ ࠂΛফͨ͢Ίͷ എܠը૾ͷੜ 1. ࠂʹସΘΔഎܠը૾Λੜ 2. Vision Pro༻ʹը૾Λܗ ੜͨ͠ը૾Λ ࠂʹॏͶͯදࣔ 1. Vision Pro༻ͷΞϓϦΛ࡞ PCͰࣄલʹ AVPͰϦΞϧλΠϜʹ
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ࠂΛࡱӨͯ͠σʔληοτ࡞ • ԼమӺʹܝࡌ͞ΕͨࠂுΓࢴΛΧϝϥͰࡱӨ
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ը૾͔ΒࠂྖҬΛݕग़ • ը૾͔ΒҙͷΦϒδΣΫτΛݕग़Ͱ͖Δ Segmented Anything Model(SAM)ϕʔεͷϞσϧΛར༻ • prompt=“Advertisement”Ͱ֘͢ΔྖҬΛࣗಈͰݕग़ ”Advertisement”
https://github.com/hustvl/EVF-SAM
ࢹ֮ใ(Χϝϥ)͔Βࠂͷݕग़ ྖҬݕग़݁Ռͷܗ • ΪβΪβ݀ݕग़ྖҬͱͯ͠ෆਖ਼֬ͳͷͰ࢛֯ܗͱͯ͠ܗ • ܗޙͷը૾Λॏը૾ੜͷϚεΫͱͯ͠ར༻
ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ ݕग़ྖҬΛੜAIͰ࠶ඳը • ը૾෮ݩʹಛԽͨ͠stable-di ff usionϞσϧͰϚεΫྖҬΛ࠶ੜ ޭ ύλʔϯ ࣦഊ ύλʔϯ
https://huggingface.co/stabilityai/stable-di ff usion-2-inpainting
ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ Vision ProͰ͏σʔληοτΛ࡞ • Vision ProͰར༻͢Δը૾σʔληοτΛ࡞ • ݕग़༻ͷReference, ॏ༻ͷGeneratedΛ࡞ Reference
Generated
ੜͨ͠ը૾ΛࠂʹॏͶͯදࣔ Vision ProΞϓϦͷ࡞ • Reference ImageΛݕग़ͨ͠Β Generated ImageΛಉ͡Ґஔʹදࣔͤ͞ΔγϯϓϧͳΞϓϦ Reference ൃݟʂ
Generated ࠂ্ʹ ॏͶͯදࣔʂ
͍͟ɺӺߏͰ࣮ݧ ͦͷ1
͍͟ɺӺߏͰ࣮ݧ ͦͷ2
݁Ռ • Reference ImageΛ͖ͪΜͱݕग़ͯ͠Generated ImageΛॏදࣔͰ͖ͨ • ҰํͰ • ࠂʹेʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ͠ͳ͍
• Generated Imageʹมͳͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌͋ͬͨ
ࠓޙվળ͢ΔͳΒ • ेʹࠂʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ͠ͳ͍ -> ͋Β͔͡Ί্ۭؒʹGenerated ImageΛஔ͓͚ͯ͠ ReferenceͷݕΛඞཁͱ͠ͳ͍͔ʁ • Generated
Imageʹมͳͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌͋ͬͨ -> SAMʹΑΔࠂྖҬݕग़ͷਫ਼͕ෆेͩͬͨͷͰɺଞͷख๏ݕ౼ -> Generated ImageΛੜ͢Δࡍʹ”น”ͱ໌ࣔͯ͠ྑ͔͔ͬͨ