【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来

Transcript

2. 2 ࣗݾ঺հ ɾ෍ཹ઒
   ӳҰ
   ;Δ͔Θ
   ͻͰ͔ͣ
   ɾϋϯυϧ
   
   OQBLB
   ɾגࣜձࣾθϧϖϜ
   ɾϓϩάϥϜྺ
   ೥
   
   ɾΠϯλʔωοτྺ
   ೥
   
   ɾٕज़ॻྺ
   ೥
   
   ɹɹ೥ؒ࡭ϖʔεͰ࡭΄Ͳ
3. 3 OPUF
4. 4 ೥୅ ɾΠϯλʔωοτɾਓ޻ੜ໋ɾਓ޻ແ೴
   ɾ+BWB
   
   ɾ.JOE4UPSNT
   
5. 5 ೥୅ ɾΨϥέʔɾεϚʔτϑΥϯ
   ɾ.JDSPTPGU
   3PCPUJDT
   4UVEJP
   
   ɾJ40#05ɾωοτλϯαʔɾ&.."
   
6. 6 ೥୅ ɾਂ૚ֶशɾڧԽֶश
   ɾ%FFQ.JOE
   "MQIB(P
   
   ɾ0QFO"*
   (ZNɾ#BTFMJOFT
   
   ɾUPJP
   
7. 7 ೥୅ ɾੜ੒"*ɾ--.ɾ"*ΤʔδΣϯτ
   ɾϚϧνϞʔμϧɾϩʔΧϧ--.
   ɾύʔιφϧ"*Ξγελϯτ
   ɾύʔιφϧ"*ϩϘοτ
8. 8 ΞδΣϯμ
9. 9 ΞδΣϯμ 
   (FNJOJͷ࠷৽ٕज़৘ใ
   ɹ
   (FNJOJຊͷ঺հ
   ɹ
   (FNJOJͷ࠷৽৘ใ
   ɹ
   -BOH$IBJOɾ-MBNB*OEFYͷ࠷৽৘ใ
   
   ϚϧνϞʔμϧͱϩʔΧϧ--.ͷݱࡏͱະདྷ
   ɹ
   ϚϧνϞʔμϧͷݱࡏͱະདྷ
   ɹ
   ϩʔΧϧ--.ͷݱࡏͱະདྷ
10. 10 
    (FNJOJͷ࠷৽ٕज़৘ใ
11. 11 
    (FNJOJຊͷ঺հ
12. 12 (FNJOJຊͷ঺հ ɾϘʔϯσδλϧΦϯϥΠϯϒοΫετΞ
    IUUQTXHOPCTTIPQQSPKQ QJE
    ɾBNB[PO
     ԁ
    IUUQTXXXBNB[PODPKQEQ (PPHMF
    (FNJOJ
    ʗ
    -MBNB*OEFYʗ-BOH$IBJO
    
    ਓ޻஌ೳϓϩάϥϛϯά࣮ફೖ໳
13. 13 (FNJOJຊͷ໨࣍ ষ
    (FNJOJͷ֓ཁͱ͸͡Ίํ
    ষ
    (FNJOJͷར༻๏
    ষ
    1ZUIPO։ൃ؀ڥͷ४උ
    ষ
    (FNJOJ
    "1*ʢ1ZUIPOฤʣ
    ষ
    (FNJOJ
    "1*ʢ"OESPJEฤʣ
    ষ
    (FNJOJ
    "1*ʢJ04ฤʣ
    ষ
    -MBNB*OEFY
    ষ
    -BOH$IBJO ೥݄ͷେܕΞοϓσʔτʹରԠʂ
14. 14 
    (FNJOJͷ࠷৽৘ใ
15. 15 (FNJOJͷϦϦʔε೥ද ೥
    ݄೔
    1B-.
    ݄೔
    #BSE
    ݄೔
    1B-.
    
    ݄೔
    (FNJOJ
    
    6MUSBɾ1SPɾ/BOP
    ೥
    ݄೔
    #BSEΛ(FNJOJʹվ໊
    ݄೔
    (FNJOJ
    
    1SP
    
    ϓϨϏϡʔ൛
    ݄೔
    (FNJOJ
    
    'MBTI
    
    ϓϨϏϡʔ൛
    ݄೔
    (FNJOJ
    
    1SPɾ'MBTI
    
    ҆ఆ൛
16. 16 (FNJOJͷϞσϧҰཡ ɾ(FNJOJ
    
    6MUSBɾ(FNJOJ
    
    1SP
    ɾ(FNJOJ
    
    1SPɾ(FNJOJ
    
    'MBTI
    ɾ(FNJOJ
    /BOP
17. 17 ೔ຊޠੑೳͷϕϯνϚʔΫͰτοϓ
    ೥݄
18. 18 ສτʔΫϯͷίϯςΩετ΢Οϯυ΢
19. 19 ϚϧνϞʔμϧ
20. 20 (FNJOJ
    ͱ
    (15
    ͷରൺ ɾ(FNJOJ
    ɾ(FNJOJ
    
    ɾ(PPHFM
    "*
    (FNJOJ
    "1*
    ɾ(PPHMF
    "*
    4UVEJP
    ɾ7FSUFY
    "*
    (FNJOJ
    "1*
    ɾ7FSUFY
    "*
    4UVEJP ɾ$IBU(15
    ɾ(15P
    ɾ0QFO"*
    "1*
    ɾ1MBZHSPVOE
    ɾ"[VSF
    0QFO"*
    4FSWJDF
    ɾ"[VSF
    0QFO"*
    4UVEJP
21. 21 ϩʔΧϧ--. ɾ(FNJOJ
    /BOP
    ɾ(FNNB
    
    ɾ$PEF
    (FNNBɾ3FDDVSFOU(FNNBɾ1BMJ(FNNB
22. 22 
    -BOH$IBJOɾ
    -MBNB*OEFYͷ࠷৽৘ใ
23. 23 -BOH$IBJO
    ͱ
    -MBNB*OEFY ɾ-BOH$IBJO
    
    
    "*ΤʔδΣϯτ
    ɾ-MBNB*OEFY
    
    3"( ɾ--.ΞϓϦΛߏங͢ΔϑϨʔϜϫʔΫ
    ɾ--.ΞϓϦͷະདྷΛߟ͑ΔίϛϡχςΟ
24. 24 -BOH$IBJO
     ɾMBOHDIBJODPSF
    ɹMBOHDIBJODPNNVOJUZ
    ɹMBOHDIBJO
    ɹͷύοέʔδʹ෼཭
    ɾ$IBJOΠϯλϑΣʔε
    ɹɹˣ
    ɹ-$&-
    ɹ-BOH(SBQI
25. 25 ΤʔδΣϯτ
26. 26 ೝ஌ΞʔΩςΫνϟ --.͕ͲͷΑ͏ʹ৘ใΛॲཧ͠Ԡ౴Λੜ੒͢Δ͔Λ
    ཧղ͢ΔͨΊͷ࿮૊Έ
27. 27 -MBNB*OEFY
     ɾMMBNBJOEFYDPSF
    ͱ
    ݸผͷ
    *OUFHSBUJPO
    ʹ෼཭
    ɾݸผͷ
    *OUFHSBUJPO
    Λ
    -MBNB)VC
    Ͱ؅ཧ
    ɾ4FSWJDF$POUFYU
    
    ˠ
    
    4FUUJOHT
28. 28 3"(
    3FUSJFWBM"VHNFOUFE
    (FOFSBUJPO
29. 29 ϩϯάίϯςΩετ--.
    ʹରԠͨ͠3"(ͷ৽ΞʔΩςΫνϟ ɾνϟϯΫͷௐ੔͕༰қʹͳΔ
    ɾࢥߟ࿈࠯ΤʔδΣϯτͷௐ੔͕༰қʹͳΔ
    ɾཁ໿͕༰қʹͳΔ
    ɾهԱͷߏங͕༰қʹͳΓΔ
    ɾ.τʔΫϯ͸େن໛ͳจॻίʔύεʹ͸े෼Ͱ͸ͳ͍
    ɾຒΊࠐΈϞσϧͷίϯςΩετ௕͸୹͍··
    ɾίετͱϨΠςϯγʔ
30. 30 
    ϚϧνϞʔμϧͱ
    ϩʔΧϧ--.ͷݱࡏͱະདྷ
31. 31 
    ϚϧνϞʔμϧͷ
    ݱࡏͱະདྷ
32. 32 ϚϧνϞʔμϧͷݱࡏ
33. 33 ϚϧνϞʔμϧ ৘ใ΍ίϛϡχέʔγϣϯʹ͓͍ͯɺ
    ෳ਺ͷҟͳΔײ֮΍ഔମΛ૊Έ߹Θͤͯ࢖༻͢Δ͜ͱ ɾςΩετ
    ɾϏδϡΞϧʢը૾ɾಈըʣ
    ɾΦʔσΟΦʢԻ੠ʣ
    ɾϋϓςΟΫε
    ৮֮
    ɾͦͷଞͷੈքΛཧղ͢ΔͨΊͷ৘ใ
34. 34 7JEFPUP5FYU
    (FNJOJ (c) copyright 2008, Blender Foundation / www.bigbuckbunny.org and licensed under the Creative Commons Attribution 3.0 License. ಈը͔ΒςΩετੜ੒
35. 35 "VEJPUP5FYU
    (FNJOJ Ի੠͔ΒςΩετੜ੒
36. 36 *NBHFɾ5FYUUP*NBHF
    (15P ը૾ɾςΩετ͔Βը૾ੜ੒
37. 37 *NBHFɾ5FYUUP7JEFP
    %SFBN
    .BDIJOF ը૾ɾςΩετ͔Βಈըੜ੒
38. TextɾAudio-to-Audio (Suno) ςΩετɾΦʔσΟΦ͔ΒՎੜ੒
39. VideoɾText-to-Audio (DeepMind) ಈըɾςΩετ͔ΒΦʔσΟΦੜ੒
40. 40 ϚϧνϞʔμϧͷະདྷ
41. 41 ϚϧνϞʔμϧͷະདྷ ϚϧνϞʔμϧʹΑͬͯੈքͷཧղ͕ਐΉ
    ˣ
    ਓ޻஌ೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ
    ˣ
    ະདྷ༧ଌ͕Մೳͳ௕ظใुΛ࠷େԽ͢Δ
    "*ΤʔδΣϯτͷొ৔
42. 42 ೥Ҏલͷ
    %FFQ.JOE
    ͱ
    0QFO"*
43. 43 ڧԽֶश
    Y
    ήʔϜ"* 0QFO"*
    'JWF "MQIB4UBS
44. 44 ڧԽֶश
    Y
    ήʔϜ ɾήʔϜ͸ݱ࣮ੈքͷλεΫͷϞσϧԽ
    
    
    ɾήʔϜΛ߈ུͰ͖Δ"*
    
    
    ɾݱ࣮ੈքͷλεΫΛ͜ͳͤΔ"*
45. 45 ڧԽֶश ΤʔδΣϯτ͕؀ڥͱ૬ޓ࡞༻͠ͳ͕Β
    ؀ڥ͔ΒͷใुΛड͚ͯߦಈΛֶश
    ୹ظใुΑΓ௕ظใु͕ॏཁ
46. 46 ڧԽֶशͷେ͖ͳ໰୊ 1. ඇৗʹଟ͘ͷֶशσʔλΛඞཁͱ͢Δɻ 2. ؀ڥ΍λεΫͷมԽʹ͏·͘ରԠͰ͖ͳ͍ɻ ਓ޻஌ೳ͕ເͷதͰֶश ੈքϞσϧ
47. 47 ਓ͸ޒײͰײͨ͡ੈքͷ৘ใͷஅยΛݩʹ
    ಄ͷதͰԾ૝ੈքΛߏங͢Δ ੈքϞσϧ
48. 48 ೥ҎલͷੈքϞσϧ Car RacingͱDoom͸ֶशͰ͖ͨ ιχοΫ͸ݫ͍͠
49. 49 ϚϧνϞʔμϧ͸ੈքϞσϧͷ࣮ݱͷجૅ ෺ཧੈքΛγϛϡϨʔτ͠ɺͦͷੈքͰߦಈ΋Մೳ 4PSB
50. 50 ϚϧνϞʔμϧͷະདྷ
    ࠶ܝ ϚϧνϞʔμϧʹΑͬͯݱ࣮ੈքͷཧղ͕ਐΉ
    ˣ
    ਓ޻஌ೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ
    ˣ
    ະདྷ༧ଌ͕Մೳͳ௕ظใुΛ࠷େԽ͢Δ
    "*ΤʔδΣϯτͷొ৔
51. 51 
    ϩʔΧϧ--.ͷ
    ݱࡏͱະདྷ
52. 52 ϩʔΧϧ--.ͷݱࡏ
53. 53 ϩʔΧϧ--. ओʹΤοδσόΠε্Ͱಈ࡞͢Δ
    খن໛ͳݴޠϞσϧ ɾϓϥΠόγʔอޢ
    ɾΦϑϥΠϯಈ࡞
    ɾΧελϚΠζੑ
    ɾ௿ίετ
54. 54 ϩʔΧϧ--.ͷϦϦʔε೥ද ೥
    ݄೔
    -MBNB
    ݄೔
    "MQBDB
    ݄೔
    -MBNBDQQ
    ݄೔
    "MQBDB-P3"
    ݄೔
    3FE1BKBNB
    ݄೔
    -MBNB
    
    ݄೔
    0QFO
    *OUFSQSFUFS
    ݄೔
    .JTUSBMW
    ݄೔
    (FNJOJ
    /BOP ೥
    ݄೔
    $PNNBOE
    3
    ݄೔
    .JYUSBMW
    ݄೔
    $PNNBOE
    3
    ݄೔
    -MBNB
    
    ݄೔
    .JTUSBMW
    ݄೔
    "QQMF
    *OUFMMJHFODF
    ݄೔
    ,"3",63*
    -.
    Y#
    ݄೔
    -MBNB&-:;"+1#
55. 1$ɾεϚʔτϑΥϯʹඪ४౥ࡌ ɾ
    (FNJOJ
    /BOP
    ɹ(PPHMF
    
    "OESPJEɾ$ISPNF
    ɾ"QQMF
    *OUFMMJHFODFͷΦϯσόΠεج൫Ϟσϧ
    ɹ"QQMF
    
    J1IPFOɾJ1BEɾ.BD
    ɾ
    1IJ4JMJDB
    
    ɹ.JDSPTPGU
    
    $PQJMPU 1$ɹ
56. ίϐϖײ֮Ͱ"*Λར༻ (FNJOJ
    /BOP "QQMF
    *OUFMMJHFODF
57. 57 ϩʔΧϧ--.ͷະདྷ
58. 58 ϩʔΧϧ--.ͷະདྷ ϩʔΧϧ--.ͷੑೳ޲্
    ˣ
    ύʔιφϧ"*Ξγελϯτͷൃల
    ˣ
    ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure 01
59. 59 ɾաڈͷ΍ΓͱΓΛهԱ͠ɺ
    ɹͦΕʹج͍ͮͯԠ౴ΛΧελϚΠζ ύʔιφϥΠζ ϦΞϧλΠϜͳ
    ಈըɾԻ੠ ೖྗςΩετ ϓϥΠόγʔ͕ΑΓॏཁʹʂ
60. 60 ύʔιφϥΠζ ϓϥΠόγʔͱΧελϚΠζੑͷ؍఺Ͱ
    ύʔιφϥΠζ͸ϩʔΧϧ--.Ͱ͋Δ͜ͱ͕ॏཁ ɾϓϥΠόγʔอޢ
    ɾΦϑϥΠϯಈ࡞
    ɾΧελϚΠζੑ
    ɾ௿ίετ
61. 61 ϩʔΧϧ--.Ͱ͸଍Γͳ͍λεΫ͸֎෦πʔϧͰॲཧ ࠓ͸ੑೳతʹϩʔΧϧ--.͸ݫ͍͠
    Ϣʔβʔ͕σʔλఏڙΛڐՄͨ͠৔߹ͷΈ
    ֎෦πʔϧͰॲཧ "QQMF
    *OUFMMJHFODFͷ
    αʔόʔج൫Ϟσϧ $IBU(15 (FNJOJ
62. 62 ύʔιφϥΠζʹ͸هԱͷ؅ཧ͕ॏཁ ɾݸਓ৘ใ͸ϩʔΧϧͰอ࣋
    ɾ೔ͷऴΘΓʹ͸هԱͷ੔ཧ͕ඞཁ (FOFSBUJWF
    "HFOUT
63. 63 ϩʔΧϧ--.ͷະདྷ
    ࠶ܝ ϩʔΧϧ--.ͷੑೳ޲্
    ˣ
    ύʔιφϧ"*Ξγελϯτͷൃల
    ˣ
    ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure 01
64. 64 ͓͠·͍