Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
Search
npaka
June 27, 2024
Programming
3
2.1k
【Gemini本発売記念】npaka による マルチモーダルとローカルLLMの現在と未来
npaka
June 27, 2024
Tweet
Share
More Decks by npaka
See All by npaka
手が届くところまで来た!ロボット開発とAIの今とこれから
npaka
1
540
【OpenAI本出版記念】npakaによるOpenAI最新技術情報と技術情報キャッチアップ術
npaka
9
2.1k
どうなる?2024年のLLM
npaka
3
860
Other Decks in Programming
See All in Programming
Reactの歴史を振り返る
tutinoko
1
180
#QiitaBash TDDで(自分の)開発がどう変わったか
ryosukedtomita
1
360
CEDEC2025 長期運営ゲームをあと10年続けるための0から始める自動テスト ~4000項目を50%自動化し、月1→毎日実行にした3年間~
akatsukigames_tech
0
110
Understanding Kotlin Multiplatform
l2hyunwoo
0
250
それ CLI フレームワークがなくてもできるよ / Building CLI Tools Without Frameworks
orgachem
PRO
17
3.8k
CEDEC 2025 『ゲームにおけるリアルタイム通信への QUIC導入事例の紹介』
segadevtech
3
810
WebAssemblyインタプリタを書く ~Component Modelを添えて~
ruccho
1
710
Constant integer division faster than compiler-generated code
herumi
2
560
Flutterと Vibe Coding で個人開発!
hyshu
1
240
『リコリス・リコイル』に学ぶ!! 〜キャリア戦略における計画的偶発性理論と変わる勇気の重要性〜
wanko_it
1
350
QA x AIエコシステム段階構築作戦
osu
0
250
Flutter로 Gemini와 MCP를 활용한 Agentic App 만들기 - 박제창 2025 I/O Extended Seoul
itsmedreamwalker
0
130
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
800
Adopting Sorbet at Scale
ufuk
77
9.5k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
22
1.4k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
Being A Developer After 40
akosma
90
590k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
332
22k
Side Projects
sachag
455
43k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Transcript
None
2 ࣗݾհ ɾཹӳҰ ;Δ͔ΘͻͰ͔ͣ ɾϋϯυϧOQBLB ɾגࣜձࣾθϧϖϜ ɾϓϩάϥϜྺ
ɾΠϯλʔωοτྺ ɾٕज़ॻྺ ɹɹؒϖʔεͰ΄Ͳ
3 OPUF
4 ɾΠϯλʔωοτɾਓੜ໋ɾਓແ ɾ+BWB ɾ.JOE4UPSNT
5 ɾΨϥέʔɾεϚʔτϑΥϯ ɾ.JDSPTPGU3PCPUJDT4UVEJP ɾJ40#05ɾωοτλϯαʔɾ&.."
6 ɾਂֶशɾڧԽֶश ɾ%FFQ.JOE"MQIB(P ɾ0QFO"*(ZNɾ#BTFMJOFT ɾUPJP
7 ɾੜ"*ɾ--.ɾ"*ΤʔδΣϯτ ɾϚϧνϞʔμϧɾϩʔΧϧ--. ɾύʔιφϧ"*Ξγελϯτ ɾύʔιφϧ"*ϩϘοτ
8 ΞδΣϯμ
9 ΞδΣϯμ (FNJOJͷ࠷৽ٕज़ใ ɹ(FNJOJຊͷհ ɹ(FNJOJͷ࠷৽ใ ɹ-BOH$IBJOɾ-MBNB*OEFYͷ࠷৽ใ ϚϧνϞʔμϧͱϩʔΧϧ--.ͷݱࡏͱະདྷ ɹϚϧνϞʔμϧͷݱࡏͱະདྷ ɹϩʔΧϧ--.ͷݱࡏͱະདྷ
10 (FNJOJͷ࠷৽ٕज़ใ
11 (FNJOJຊͷհ
12 (FNJOJຊͷհ ɾϘʔϯσδλϧΦϯϥΠϯϒοΫετΞ IUUQTXHOPCTTIPQQSPKQ QJE ɾBNB[PO ԁ IUUQTXXXBNB[PODPKQEQ
(PPHMF(FNJOJʗ -MBNB*OEFYʗ-BOH$IBJO ਓೳϓϩάϥϛϯά࣮ફೖ
13 (FNJOJຊͷ࣍ ষ(FNJOJͷ֓ཁͱ͡Ίํ ষ(FNJOJͷར༻๏ ষ1ZUIPO։ൃڥͷ४උ ষ(FNJOJ"1*ʢ1ZUIPOฤʣ ষ(FNJOJ"1*ʢ"OESPJEฤʣ ষ(FNJOJ"1*ʢJ04ฤʣ ষ-MBNB*OEFY ষ-BOH$IBJO
݄ͷେܕΞοϓσʔτʹରԠʂ
14 (FNJOJͷ࠷৽ใ
15 (FNJOJͷϦϦʔεද ݄1B-. ݄#BSE ݄1B-. ݄(FNJOJ6MUSBɾ1SPɾ/BOP ݄#BSEΛ(FNJOJʹվ໊ ݄(FNJOJ1SPϓϨϏϡʔ൛
݄(FNJOJ'MBTIϓϨϏϡʔ൛ ݄(FNJOJ1SPɾ'MBTI҆ఆ൛
16 (FNJOJͷϞσϧҰཡ ɾ(FNJOJ6MUSBɾ(FNJOJ1SP ɾ(FNJOJ1SPɾ(FNJOJ'MBTI ɾ(FNJOJ/BOP
17 ຊޠੑೳͷϕϯνϚʔΫͰτοϓ ݄
18 ສτʔΫϯͷίϯςΩετΟϯυ
19 ϚϧνϞʔμϧ
20 (FNJOJͱ(15ͷରൺ ɾ(FNJOJ ɾ(FNJOJ ɾ(PPHFM"*(FNJOJ"1* ɾ(PPHMF"*4UVEJP ɾ7FSUFY"*(FNJOJ"1* ɾ7FSUFY"*4UVEJP ɾ$IBU(15 ɾ(15P
ɾ0QFO"*"1* ɾ1MBZHSPVOE ɾ"[VSF0QFO"*4FSWJDF ɾ"[VSF0QFO"*4UVEJP
21 ϩʔΧϧ--. ɾ(FNJOJ/BOP ɾ(FNNB ɾ$PEF(FNNBɾ3FDDVSFOU(FNNBɾ1BMJ(FNNB
22 -BOH$IBJOɾ -MBNB*OEFYͷ࠷৽ใ
23 -BOH$IBJOͱ-MBNB*OEFY ɾ-BOH$IBJO"*ΤʔδΣϯτ ɾ-MBNB*OEFY3"( ɾ--.ΞϓϦΛߏங͢ΔϑϨʔϜϫʔΫ ɾ--.ΞϓϦͷະདྷΛߟ͑ΔίϛϡχςΟ
24 -BOH$IBJO ɾMBOHDIBJODPSF ɹMBOHDIBJODPNNVOJUZ ɹMBOHDIBJO ɹͷύοέʔδʹ ɾ$IBJOΠϯλϑΣʔε ɹɹˣ ɹ-$&- ɹ-BOH(SBQI
25 ΤʔδΣϯτ
26 ೝΞʔΩςΫνϟ --.͕ͲͷΑ͏ʹใΛॲཧ͠ԠΛੜ͢Δ͔Λ ཧղ͢ΔͨΊͷΈ
27 -MBNB*OEFY ɾMMBNBJOEFYDPSFͱݸผͷ*OUFHSBUJPOʹ ɾݸผͷ*OUFHSBUJPOΛ-MBNB)VCͰཧ ɾ4FSWJDF$POUFYUˠ4FUUJOHT
28 3"( 3FUSJFWBM"VHNFOUFE(FOFSBUJPO
29 ϩϯάίϯςΩετ--. ʹରԠͨ͠3"(ͷ৽ΞʔΩςΫνϟ ɾνϟϯΫͷௐ͕༰қʹͳΔ ɾࢥߟ࿈ΤʔδΣϯτͷௐ͕༰қʹͳΔ ɾཁ͕༰қʹͳΔ ɾهԱͷߏங͕༰қʹͳΓΔ ɾ.τʔΫϯେنͳจॻίʔύεʹेͰͳ͍ ɾຒΊࠐΈϞσϧͷίϯςΩετ͍·· ɾίετͱϨΠςϯγʔ
30 ϚϧνϞʔμϧͱ ϩʔΧϧ--.ͷݱࡏͱະདྷ
31 ϚϧνϞʔμϧͷ ݱࡏͱະདྷ
32 ϚϧνϞʔμϧͷݱࡏ
33 ϚϧνϞʔμϧ ใίϛϡχέʔγϣϯʹ͓͍ͯɺ ෳͷҟͳΔײ֮ഔମΛΈ߹Θͤͯ༻͢Δ͜ͱ ɾςΩετ ɾϏδϡΞϧʢը૾ɾಈըʣ ɾΦʔσΟΦʢԻʣ ɾϋϓςΟΫε ৮֮
ɾͦͷଞͷੈքΛཧղ͢ΔͨΊͷใ
34 7JEFPUP5FYU (FNJOJ (c) copyright 2008, Blender Foundation / www.bigbuckbunny.org
and licensed under the Creative Commons Attribution 3.0 License. ಈը͔ΒςΩετੜ
35 "VEJPUP5FYU (FNJOJ Ի͔ΒςΩετੜ
36 *NBHFɾ5FYUUP*NBHF (15P ը૾ɾςΩετ͔Βը૾ੜ
37 *NBHFɾ5FYUUP7JEFP %SFBN.BDIJOF ը૾ɾςΩετ͔Βಈըੜ
TextɾAudio-to-Audio (Suno) ςΩετɾΦʔσΟΦ͔ΒՎੜ
VideoɾText-to-Audio (DeepMind) ಈըɾςΩετ͔ΒΦʔσΟΦੜ
40 ϚϧνϞʔμϧͷະདྷ
41 ϚϧνϞʔμϧͷະདྷ ϚϧνϞʔμϧʹΑͬͯੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
42 Ҏલͷ %FFQ.JOEͱ0QFO"*
43 ڧԽֶशYήʔϜ"* 0QFO"*'JWF "MQIB4UBS
44 ڧԽֶशYήʔϜ ɾήʔϜݱ࣮ੈքͷλεΫͷϞσϧԽ ɾήʔϜΛ߈ུͰ͖Δ"* ɾݱ࣮ੈքͷλεΫΛ͜ͳͤΔ"*
45 ڧԽֶश ΤʔδΣϯτ͕ڥͱ૬ޓ࡞༻͠ͳ͕Β ڥ͔ΒͷใुΛड͚ͯߦಈΛֶश ظใुΑΓظใु͕ॏཁ
46 ڧԽֶशͷେ͖ͳ 1. ඇৗʹଟ͘ͷֶशσʔλΛඞཁͱ͢Δɻ 2. ڥλεΫͷมԽʹ͏·͘ରԠͰ͖ͳ͍ɻ ਓೳ͕ເͷதͰֶश ੈքϞσϧ
47 ਓޒײͰײͨ͡ੈքͷใͷஅยΛݩʹ ಄ͷதͰԾੈքΛߏங͢Δ ੈքϞσϧ
48 ҎલͷੈքϞσϧ Car RacingͱDoomֶशͰ͖ͨ ιχοΫݫ͍͠
49 ϚϧνϞʔμϧੈքϞσϧͷ࣮ݱͷجૅ ཧੈքΛγϛϡϨʔτ͠ɺͦͷੈքͰߦಈՄೳ 4PSB
50 ϚϧνϞʔμϧͷະདྷ ࠶ܝ ϚϧνϞʔμϧʹΑͬͯݱ࣮ੈքͷཧղ͕ਐΉ ˣ ਓೳ͕ເͷதͰֶशͰ͖ΔΑ͏ʹͳΔ ˣ ະདྷ༧ଌ͕ՄೳͳظใुΛ࠷େԽ͢Δ "*ΤʔδΣϯτͷొ
51 ϩʔΧϧ--.ͷ ݱࡏͱະདྷ
52 ϩʔΧϧ--.ͷݱࡏ
53 ϩʔΧϧ--. ओʹΤοδσόΠε্Ͱಈ࡞͢Δ খنͳݴޠϞσϧ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
54 ϩʔΧϧ--.ͷϦϦʔεද ݄-MBNB ݄"MQBDB ݄-MBNBDQQ ݄"MQBDB-P3" ݄3FE1BKBNB ݄-MBNB ݄0QFO*OUFSQSFUFS
݄.JTUSBMW ݄(FNJOJ/BOP ݄$PNNBOE3 ݄.JYUSBMW ݄$PNNBOE3 ݄-MBNB ݄.JTUSBMW ݄"QQMF*OUFMMJHFODF ݄,"3",63*-.Y# ݄-MBNB&-:;"+1#
1$ɾεϚʔτϑΥϯʹඪ४ࡌ ɾ(FNJOJ/BOP ɹ(PPHMF"OESPJEɾ$ISPNF ɾ"QQMF*OUFMMJHFODFͷΦϯσόΠεج൫Ϟσϧ ɹ"QQMFJ1IPFOɾJ1BEɾ.BD ɾ1IJ4JMJDB ɹ.JDSPTPGU$PQJMPU 1$ɹ
ίϐϖײ֮Ͱ"*Λར༻ (FNJOJ/BOP "QQMF*OUFMMJHFODF
57 ϩʔΧϧ--.ͷະདྷ
58 ϩʔΧϧ--.ͷະདྷ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra Figure
01
59 ɾաڈͷΓͱΓΛهԱ͠ɺ ɹͦΕʹج͍ͮͯԠΛΧελϚΠζ ύʔιφϥΠζ ϦΞϧλΠϜͳಈըɾԻ ೖྗςΩετ ϓϥΠόγʔ͕ΑΓॏཁʹʂ
60 ύʔιφϥΠζ ϓϥΠόγʔͱΧελϚΠζੑͷ؍Ͱ ύʔιφϥΠζϩʔΧϧ--.Ͱ͋Δ͜ͱ͕ॏཁ ɾϓϥΠόγʔอޢ ɾΦϑϥΠϯಈ࡞ ɾΧελϚΠζੑ ɾίετ
61 ϩʔΧϧ--.ͰΓͳ͍λεΫ֎෦πʔϧͰॲཧ ࠓੑೳతʹϩʔΧϧ--.ݫ͍͠ Ϣʔβʔ͕σʔλఏڙΛڐՄͨ͠߹ͷΈ ֎෦πʔϧͰॲཧ "QQMF*OUFMMJHFODFͷ αʔόʔج൫Ϟσϧ $IBU(15 (FNJOJ
62 ύʔιφϥΠζʹهԱͷཧ͕ॏཁ ɾݸਓใϩʔΧϧͰอ࣋ ɾͷऴΘΓʹهԱͷཧ͕ඞཁ (FOFSBUJWF"HFOUT
63 ϩʔΧϧ--.ͷະདྷ ࠶ܝ ϩʔΧϧ--.ͷੑೳ্ ˣ ύʔιφϧ"*Ξγελϯτͷൃల ˣ ύʔιφϧ"*ϩϘοτΞγελϯτͷൃల Project Astra
Figure 01
64 ͓͠·͍