Vision Proで広告フリーな世界を実現したい

MIERUNE BBQ #14発表資料

Transcript

1. Լ৿ɹपฏ 2024/11/20 Vision ProͰ޿ࠂϑϦʔͳੈքΛ ࣮ݱ͍ͨ͠ MIERUNE BBQ
2. Լ৿ पฏ w ࠓ೥ͷ݄͔Βࡳຈࡏॅ ग़໭Γ
   w Χφμͷσδλϧ*%
   ελʔτΞοϓͰJ04ΤϯδχΞ
   w 7JTJPO
   1SPങͬͨ 2 #MVFTLZ -JOLFEJO
3. XRͱ͸ • Ծ૝ੈքͱݱ࣮ੈքͷ૊Έ߹ΘͤʹΑͬͯ
 ৽ͨͳମݧΛੜΈग़ٕ͢ज़ͷ૯শ https://www.canon-its.co.jp/solution/mr/vr-ar-mr/
4. AR(֦ுݱ࣮)ͰͰ͖Δମݧ https://k-tai.watch.impress.co.jp/docs/news/1203694.html
5. ৘ใྔ͕ଟ͍ͱετϨε • ৘ใྔ͕ଟ͍ͱετϨεΛײ͡΍͍͢ • λεΫύϑΥʔϚϯεʹ΋Өڹ • ৘ใΛݮΒͨ͢ΊͷऔΓ૊Έ΋ॏཁ
6. Diminished Reality(ݮଛݱ࣮) • ARͱ͸൓ରʹ࣮ࡍʹଘࡏ͢Δ΋ͷΛϦΞϧλΠϜͰݟ͑ͳ͘͢Δٕज़ • ΠϠϗϯͷϊΠζΩϟϯηϦϯάͷࢹ֮όʔδϣϯ https://solution.itage.jp/2021/12/16/16738/
7. Vision ProͰDRΛ΍ͬͯΈΔ • ֗த͔Β޿ࠂ΍ுΓࢴΛফͯ͠ೝ஌ෛՙͷ௿͍ੈքΛ࣮ݱ͍ͨ͠
8. Vision Proͱ͸ • Apple͕2023೥ʹൢച։࢝ͨ͠MRϔουηοτ • MacBookͱಉ౳ͷM2 νοϓ౥ࡌ • ߴղ૾౓ͷө૾ • ϓϥΠόγʔΛ഑ྀͨ͠ମݧઃܭ
9. ޿ࠂDRʹඞཁͳٕज़ Vision Proͷಛ௃͸ٕज़ཁ݅ʹϚον͍ͯ͠Δʂ • 1. ࢹ֮৘ใ(Χϝϥ)͔Β޿ࠂͷݕग़ • Vision Proʹ͸ߴੑೳͳΧϝϥ͕౥ࡌ͞ΕͯΔ • 2. ޿ࠂΛফͨ͢Ίͷഎܠը૾Λੜ੒ • Vision Proʹ͸AIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕౥ࡌ͞ΕͯΔ • 3. ੜ੒ͨ͠ը૾Λ޿ࠂʹॏͶͯදࣔ • Vision Proʹ͸Ծ૝෺ମΛۭؒʹ഑ஔͰ͖Δ
10. ޿ࠂDRʹඞཁͳٕज़ Vision Proͷಛ௃͸ٕज़ཁ݅ʹϚον͍ͯ͠Δʂ͠ͳ͍… • 1. ࢹ֮৘ใ(Χϝϥ)͔Β޿ࠂͷݕग़ • Vision Proʹ͸ߴੑೳͳΧϝϥ͕౥ࡌ͞ΕͯΔ͕ɺΧϝϥө૾ʹΞΫηεͰ͖ͳ͍ • 2. ޿ࠂΛফͨ͢Ίͷഎܠը૾Λੜ੒ • Vision Proʹ͸AIΛಈ͔ͨ͢Ίͷߴੑೳͳνοϓ͕౥ࡌ͞ΕͯΔ͕ɺAI༻ΤϯδϯʹΞΫηεͰ͖ͳ͍ • 3. ੜ੒ͨ͠ը૾Λ޿ࠂʹॏͶͯදࣔ • Vision Proʹ͸Ծ૝෺ମΛۭؒʹ഑ஔͰ͖Δ
11. ࠓճͷॲཧϑϩʔ • PCͰࣄલʹʮݕ஌͍ͨ͠޿ࠂʯͱʮॏͶ͍ͨഎܠը૾ͷੜ੒ʯΛ΍Δ • Vision Pro͸ʮੜ੒ͨ͠ը૾Λ޿ࠂʹॏͶͯදࣔʯ͚ͩ • ࢹ֮৘ใ(Χϝϥ)͔Β
 ޿ࠂͷݕग़ 1. ޿ࠂΛࡱӨͯ͠σʔληοτ࡞੒ 2. ը૾͔Β޿ࠂྖҬΛݕग़ 3. ը૾ੜ੒༻ʹྖҬΛ੔ܗ ޿ࠂΛফͨ͢Ίͷ
 എܠը૾ͷੜ੒ 1. ޿ࠂʹସΘΔഎܠը૾Λੜ੒ 2. Vision Pro༻ʹը૾Λ੔ܗ ੜ੒ͨ͠ը૾Λ
 ޿ࠂʹॏͶͯදࣔ 1. Vision Pro༻ͷΞϓϦΛ࡞੒ PCͰࣄલʹ AVPͰϦΞϧλΠϜʹ
12. ࢹ֮৘ใ(Χϝϥ)͔Β޿ࠂͷݕग़ ޿ࠂΛࡱӨͯ͠σʔληοτ࡞੒ • ஍ԼమӺʹܝࡌ͞Εͨ޿ࠂ΍ுΓࢴΛΧϝϥͰࡱӨ
13. ࢹ֮৘ใ(Χϝϥ)͔Β޿ࠂͷݕग़ ը૾͔Β޿ࠂྖҬΛݕग़ • ը૾͔Β೚ҙͷΦϒδΣΫτΛݕग़Ͱ͖Δ
 Segmented Anything Model(SAM)ϕʔεͷϞσϧΛར༻ • prompt=“Advertisement”Ͱ֘౰͢ΔྖҬΛࣗಈͰݕग़ ”Advertisement” https://github.com/hustvl/EVF-SAM
14. ࢹ֮৘ใ(Χϝϥ)͔Β޿ࠂͷݕग़ ྖҬݕग़݁Ռͷ੔ܗ • ΪβΪβ΍݀͸ݕग़ྖҬͱͯ͠ෆਖ਼֬ͳͷͰ࢛֯ܗͱͯ͠੔ܗ • ੔ܗޙͷը૾Λॏ৞ը૾ੜ੒ͷϚεΫͱͯ͠ར༻
15. ޿ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ੒ ݕग़ྖҬΛੜ੒AIͰ࠶ඳը • ը૾෮ݩʹಛԽͨ͠stable-di ff usionϞσϧͰϚεΫྖҬΛ࠶ੜ੒ ੒ޭ
 ύλʔϯ ࣦഊ
 ύλʔϯ https://huggingface.co/stabilityai/stable-di ff usion-2-inpainting
16. ޿ࠂΛফͨ͢Ίͷഎܠը૾ͷੜ੒ Vision ProͰ࢖͏σʔληοτΛ࡞੒ • Vision ProͰར༻͢Δը૾σʔληοτΛ࡞੒ • ݕग़༻ͷReference, ॏ৞༻ͷGeneratedΛ࡞੒ Reference Generated
17. ੜ੒ͨ͠ը૾Λ޿ࠂʹॏͶͯදࣔ Vision ProΞϓϦͷ࡞੒ • Reference ImageΛݕग़ͨ͠Β
 Generated ImageΛಉ͡Ґஔʹදࣔͤ͞ΔγϯϓϧͳΞϓϦ Reference ൃݟʂ Generated ޿ࠂ্ʹ
 ॏͶͯදࣔʂ
18. ͍͟ɺӺߏ಺Ͱ࣮ݧ ͦͷ1
19. ͍͟ɺӺߏ಺Ͱ࣮ݧ ͦͷ2
20. ݁Ռ • Reference ImageΛ͖ͪΜͱݕग़ͯ͠Generated ImageΛॏ৞දࣔͰ͖ͨ • ҰํͰ • ޿ࠂʹे෼ʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ஌͠ͳ͍ • Generated Imageʹมͳ΋ͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌΋͋ͬͨ
21. ࠓޙվળ͢ΔͳΒ • े෼ʹ޿ࠂʹ͔ۙͮͳ͍ͱVision Pro͕ReferenceΛݕ஌͠ͳ͍
 -> ͋Β͔͡Ί্ۭؒʹGenerated ImageΛ഑ஔ͓͚ͯ͠͹
 Referenceͷݕ஌Λඞཁͱ͠ͳ͍͔΋ʁ • Generated Imageʹมͳ΋ͷ͕ೖΓɺʮফ͢ʯ͜ͱ͕Ͱ͖ͳ͍࣌΋͋ͬͨ
 -> SAMʹΑΔ޿ࠂྖҬݕग़ͷਫ਼౓͕ෆे෼ͩͬͨͷͰɺଞͷख๏΋ݕ౼
 -> Generated ImageΛੜ੒͢Δࡍʹ”น”ͱ໌ࣔͯ͠΋ྑ͔͔ͬͨ΋