Share
Embed
日本におけるデータエンジニアリングのこれまでとこれから
2024/04/16(火) に行われた イベントの登壇資料です
先達エンジニアに学ぶ 思考の現在地 Online Conferencehttps://findy.connpass.com/event/313119/
numa
April 16, 2024
Transcript
88 slides
-
$IVSB%"5"JOD ͜Ε·ͰɺσʔλͱγεςϜʹ͍ͭͯɺਓྨ৭ʑ͖ͬͯͨ σʔλΤϯδχΞ͜Ε·ͰԿΛ͖͔ͯͨ͠ 3%#ੜ σʔλج൫ͬΆ͍ͷੜ $*'ɺ%JNFOUJPOBM.PEFMJOH Ϗοάσʔλͱ3%#ͷݶքʁ Ϋϥυத৺ ࠓ͜ͷ͋ͨΓ )BEPP
Q 4QBSL 1SFTUP .POHP %# 7FSUJDB -VDFOF /VUDI ('4 จ .BQ3F EVDF จ $*' 3FETIJG U #JC2V FSZ 4OPXGGM BLF 4ZOBQT F %BUBCSJ DLT )FBU8 BWF .Z42- 0SBDMF %JNFOUJP OBM .PEFMJOH %BUB 7BVMU *OHSFTT 42- 1PTUHSF 42- 42- 4FSWFS 1PTUHSFTT 5J%# $PDLSP BDI%# %44 )%# 3FEJT 42-JUF %BUB8B SFIPVTF -
$IVSB%"5"JOD ϓϥοτϑΥʔϜΤϯδχΞϦϯά Ψʔτφʔ͕2022ʹϋΠϓαΠΫϧ (※)Ճͨ֓͠೦ɺ5ҐͰ80%ͷ ձ͕ࣾऔΓΉ༧͞ΕͯΔΒ͍͠ νʔϜτϙϩδ(ޙड़)Ͱϓϥοτϑ ΥʔϜνʔϜ͕ಠཱͯ͠ଘࡏɺ·͞ʹ τϨϯυ આ໌ 1.
ϓϥοτϑΥʔϜνʔϜͷଘࡏ 2. X-as-a-Serviceͱ։ൃऀϙʔλϧ 3. ΠϯϑϥͷෳࡶੑΛӅ͢ ಛ ˞ϋΠϓαΠΫϧςΫϊϩδ͕࣌ؒͷܦաͱͱʹͲ͏ਐԽ͔ͯ͘͠ Λࢹ֮తʹઆ໌ͨ͠ਤ -
$IVSB%"5"JOD νʔϜτϙϩδͱ֤νʔϜ ΠωΠϒ Ϧϯά νʔϜ ετϦʔϜΞϥΠϯυνʔϜ ίϯϓϦέΠ ςουαϒγ εςϜνʔϜ ϓϥοτϑΥʔϜνʔϜ
ετϦʔϜΞϥΠϯυνʔϜ 9BTBʵ4FSWJDF 9BTBʵ4FSWJDF આ໌ ετϦʔϜΞϥΠϯυνʔϜ ϏδωεཁٻʹԊͬͯஔ͢ΔνʔϜͰɺϑ ϩʔ࠷େԽΛࢦ͢ɺ৬ೳԣஅܕνʔϜͰࣗ ͨͪͰͯ͢σϦόϦͰ͖Δ ΠωΠϒϦϯάνʔϜ ଞͷνʔϜͷࢧԉςΫχΧϧίϯαϧΛ͢ ΔνʔϜͰɺಛఆྖҬͷٕज़ʹڧ͔ͬͨΓ͢ Δ ίϯϓϦέΠςουαϒγεςϜνʔϜ ෳͷαʔϏε͔Βར༻͞ΕΔΑ͏ͳෳࡶ ͷߴ͍ίϯϙʔωϯτΛ͔͋ͭ͏εϖγϟϦ ετνʔϜ ϓϥοτϑΥʔϜνʔϜ Πϯϑϥڞ௨αʔϏεΛ෦͚ʹఏڙ͢ ΔνʔϜͰɺϓϥοτϑΥʔϜΤϯδχΞϦ ϯάΛߦͳ͍ͬͯΔ νʔϜτϙϩδνʔϜؒͷґଘΛݮΒ ͢͜ͱͰɺೝෛՙΛԼ͛ɺνʔϜΛη ϧϑαʔϏεԽ͢Δ͜ͱͰϑϩʔΛ࠷େ Խ͢Δ։ൃνʔϜͷฤํ๏ -
$IVSB%"5"JOD νʔϜτϙϩδ%FW0QTͷ͏ͪΞϓϦέʔγϣϯ։ൃετϦʔϜΞϥΠϯυνʔ ϜɺΠϯϑϥϓϥοτϑΥʔϜνʔϜΛ୲ͤ͞Δͱྑ͍ ϓϥοτϑΥʔϜΤϯδχΞ%FW0QTͷΠϯϑϥ໘ LT %PDLFS 5J%# (JU)VC Y6OJU 5%%
#%% -JOUFS (JU-BC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 3VTU 74$PEF 69σβΠϯ %%% ϦʔϯΩϟϯόε ΫϦʔϯΞʔΩςΫνϟ .71 ϓϩτλΠϐϯά μʔΫϞʔυ ύϥϥοΫεεΫϩʔϧ ΠϯΫϧʔγϒσβΠϯ ΫϨΠϞʔϑΟζϜ εΫϥϜ ϚʔέοτϦαʔν ,(*,1* #* ػցֶश σʔλੳ $3. $4$9 σϦόϦ ϚΠΫϩΠϯλϥΫγϣϯ εςʔΫϗϧμʔ ϢʔβʔϦαʔν ੜ"* 6.- ϓϩμΫτͰಛʹେࣄͳ͜ͱ %FW0QTͷΠϯϑϥ໘ -
$IVSB%"5"JOD ιϑτΣΞചΓΓϞσϧ͔ΒɺαϒεΫϦϓγϣϯϞσϧʹϏδωε͕มԽ͢ ΔதͰɺϓϩμΫτͷՁΛͭ͘Δͷॳظͷ։ൃ͔Βܧଓతͳ։ൃҠ͍ͬͯͬͨ %FW0QTొͷഎܠ ։ൃͷਓ ӡ༻ͷਓ ചΓΓϞσϧ αϙʔτ͍߹Θ ͤରԠɺϚχϡΞ ϧ࡞Γɺճͷ
ΞοϓσʔτͳͲ ͨ͘͞Μͷਓ Ͱ։ൃ ιϑτΣΞ ॳظ։ൃϝϯόʔ αʔϏεதͷ ։ൃνʔϜ ։ൃऀͱӡ༻ऀ͕νʔϜ αϒεΫϦϓγϣϯϞσϧ ৽ػೳͷϦϦʔ εطଘػೳͷ վળ .71Λ։ൃ ͯ͠ϦϦʔε ιϑτΣΞ -
$IVSB%"5"JOD ͔͠͠։ൃνʔϜͱӡ༻νʔϜͰརӹରཱ͕ى͜Γ͘͢ɺจԽతʹٕज़తʹ ղܾ͢Δඞཁ͕ੜ·Εͯ͘Δ %FW0QT͕ղܾ͠Α͏ͱ͢Δ͜ͱ ։ൃνʔϜ %FWFMPQNFOU ӡ༻νʔϜ 0QFSBUJPOT ü৽͍͠ػೳΛϦϦʔε͍ͨ͠ üطଘͷػೳΛվमͯ͠ϦϦʔε͠
͍ͨ üଟ͘ͷػೳΛϦϦʔε͍ͨ͠ üߴසʹϦϦʔε͍ͨ͠ ։ൃνʔϜͷత γεςϜΛมߋ͍ͨ͠ üγεςϜোΛݮΒ͍ͨ͠ ü࡞ۀϛεʹΑΔࣄނΛݮΒ͍ͨ͠ üϢʔβ͔ΒͷΫϨʔϜΛݮΒͨ͠ ͍ üίετͷมಈΛݮΒ͍ͨ͠ ӡ༻νʔϜͷత γεςϜΛมߋͨ͘͠ͳ͍ 74 ͜ͷରཱΛճආ͢ΔͨΊͷ %FW0QT -
$IVSB%"5"JOD %FW0QTʹแ͞ΕΔٕज़ྖҬ͜Ε ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋཧ σϓϩΠࣗಈԽ πʔϧબΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ ςετࣗಈԽ
ςετσʔλཧ τϥϯΫϕʔε։ൃ όʔδϣϯཧ %FW0QTͰ͜ΕΒ͕େࣄͩͱΘ͔͖ͬͯͨ -
ٕज़ྖҬ $IVSB%"5"JOD ͋ͳͨͷ%FW0QTΠέͯΔʁ ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋཧ σϓϩΠࣗಈԽ πʔϧબΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ
ςετࣗಈԽ ςετσʔλཧ τϥϯΫϕʔε։ ൃ όʔδϣϯཧ σϓϩΠִؒ มߋো αʔϏεճ෮࣌ؒ มߋϦʔυλΠϜ ܭଌࢦඪ 'PVS,FZT -
$IVSB%"5"JOD %FW0QTͱ͍͏දʹӅ͞ΕͨେͳςΫϊϩδελοΫʜ ٕज़ཁૉ ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋཧ σϓϩΠࣗಈԽ πʔϧબΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ
ςετࣗಈԽ ςετσʔλཧ τϥϯΫϕʔε։ ൃ όʔδϣϯཧ LT %PDLFS 5J%# (JU)VC Y6OJU 5%% #%% -JOUFS (JU-BC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 3VTU 74$PEF -
$IVSB%"5"JOD %FW0QTͱ͍͏දʹӅ͞ΕͨେͳςΫϊϩδελοΫʜ ٕज़ཁૉ ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋཧ σϓϩΠࣗಈԽ πʔϧબΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ
ςετࣗಈԽ ςετσʔλཧ τϥϯΫϕʔε։ ൃ όʔδϣϯཧ LT %PDLFS 5J%# (JU)VC Y6OJU 5%% #%% -JOUFS (JU-BC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 3VTU 74$PEF Δ͖͜ͱ ͕ଟ͗͢Δ -
$IVSB%"5"JOD %FW0QTͱ͍͏දʹӅ͞ΕͨେͳςΫϊϩδελοΫʜ ٕज़ཁૉ ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋཧ σϓϩΠࣗಈԽ πʔϧબΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ
ςετࣗಈԽ ςετσʔλཧ τϥϯΫϕʔε։ ൃ όʔδϣϯཧ LT %PDLFS 5J%# (JU)VC Y6OJU 5%% #%% -JOUFS (JU-BC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 3VTU 74$PEF Δ͖͜ͱ ͕ଟ͗͢Δ ͬͱސ٬Λ تͤΔػೳ͕࡞ Γ͍ͨΜͩʂʂ -
$IVSB%"5"JOD ੈͷதͷιϑτΣΞΤϯδχΞϦϯάϓϩμΫτத৺ʹൃలΛॏͶͨ݁Ռɺϓ ϥοτϑΥʔϜΤϯδχΞϦϯάʹ౸ୡɺͰσʔλΤϯδχΞʁ ੈͷதͱσʔλΤϯδχΞϦϯά ΞδϟΠϧ ੈͷத σʔλΤϯδχΞք۾ εΫϥϜ %FW0QT $*$%
νʔϜτϙϩδ ϓϥοτϑΥʔϜ ΤϯδχΞϦϯά σʔλΣ Ξϋε %BUB7BVMU σʔλϚω δϝϯτ %BUB0QT Ϟμϯσʔλε λοΫ .-0QT σʔλϝογϡ ϚΠΫϩαʔϏε ΘΓͱੈͷத͔ΒσʔλΤϯδ χΞք۾ٵऩͯͦ͠͏ͩ -
$IVSB%"5"JOD ͜Ε·ͰσʔλΤϯδχΞϦϯάιϑτΣΞΤϯδχΞϦϯά͔Β͍Ζ͍Ζٵऩ ͯ͠ਐԽΛ͖ͯͨ͠ ιϑτΣΞΤϯδχΞϦϯάΛٵऩͯ͠Δྫ ΞδϟΠϧ %BUB7BVMU %FW0QT %BUB0QT .-0QT σʔλϝογϡ
ϚΠΫϩαʔϏε DataVault ϏδωεΩʔͷ҆ఆੑʹ͢Δ͜ͱ ͰσʔλͷมߋΛॊೈʹड͚ࢭΊΔ͜ͱʹޭͨ͠ ΞδϦςΟͷߴ͍σʔλϞσϦϯάํ๏ DataOpsɺMLOpsͦΕͧΕDevOpsͰഓΘΕͨࣗ ಈԽCI/CDͳͲͷํ๏ΛऔΓೖΕΔ͜ͱͰɺӡ ༻ΛΑΓྑ͘͠Α͏ͱ͍͏औΓΈ σʔλϝογϡϚΠΫϩαʔϏεͱಉ༷ʹυϝΠ ϯ͝ͱʹࢄͨ͠σʔλج൫Λϝογϡঢ়ʹ݁ͿΞ ʔΩςΫνϟ -
$IVSB%"5"JOD ͜Ε·Ͱσʔλք۾ੈͷத͔Β͍Ζ͍Ζٵऩͯ͠ਐԽΛ͖ͯͨ͠ ੈͷதΛٵऩͯ͠Δྫ ΞδϟΠϧ %BUB7BVMU %FW0QT %BUB0QT .-0QT σʔλϝογϡ ϚΠΫϩαʔϏε
DataVault ϏδωεΩʔͷ҆ఆੑʹ͢Δ͜ͱ ͰσʔλͷมߋΛॊೈʹड͚ࢭΊΔ͜ͱʹޭͨ͠ ΞδϦςΟͷߴ͍σʔλϞσϦϯάํ๏ DataOpsɺMLOpsͦΕͧΕDevOpsͰഓΘΕͨࣗ ಈԽCI/CDͳͲͷํ๏ΛऔΓೖΕΔ͜ͱͰɺӡ ༻ΛΑΓྑ͘͠Α͏ͱ͍͏औΓΈ σʔλϝογϡϚΠΫϩαʔϏεͱಉ༷ʹυϝΠ ϯ͝ͱʹࢄͨ͠σʔλج൫Λϝογϡঢ়ʹ݁ͿΞ ʔΩςΫνϟ ͜Ε͕આ໌ͨͯ͘͠ɺ%FW0QTͱ͔ ϓϥοτϑΥʔϜΤϯδχΞϦϯά ͷઆ໌͠·ͨ͠ -
$IVSB%"5"JOD ϏοάσʔλΛޮΑ͘ѻ͏εΩϧوॏͰɺ͔ͩΒͦ͜ʢձ͔ࣾΒݟͨΒʣϦεΫ ཁҼͱड͚औΒΕͦ͏ʹͳΔ͜ͱʜ σʔλք۾͋Δ͋Δ 1#σʔλྔ͕͋ΔΜͩ ͚ͲͲ͏ͬͯΞυϗοΫ ੳ͢Ε͍͍Μͩʁ 4QBSLʁ$BTTBOESBʁͲͬͪ Λબίεύ͕ྑ͍ͷʁ ্ྲྀγεςϜ͕Ҏ্͋Δʜɺ
ͦΕͧΕγεςϜؒΠϯλʔ ϑΣʔεΛઃܭߏஙςετ͠ ͯͨΒ͖Γ͕ͳ͍ͧʜ ͦͦ͜Μͳٕज़Λ࣋ͬͨ༏ लͳਓ͕࠾༻Ͱ͖ΔΜͩΖ͏ ͔ʁεΩϧ͕͋ͬͯརݾతͳ ਓͩͱͦΕ͚ͩͰϦεΫͩʜ ٕज़ྗߴ͍͚ͩͰϦ εΫͬͯʜ൵͍͠ -
$IVSB%"5"JOD ΫϥυωΠςΟϒͳσʔλΣΞϋεͷొͱ4BB4ͷຄڵʹΑͬͯɺϞμϯσʔ λελοΫ͕ੜ·ΕͨɺͦΕʹΑͬͯϋΠεΩϧਓࡐͷރׇΛܰݮ͢Δ͜ͱʹʜ ϞμϯσʔλελοΫ 4BB4σʔλ ۀσʔλ σʔλΣΞϋε ɾσʔλϚʔτ ϏδωεɾΠϯςϦδΣϯε ձܭ
σʔλ ձܭ σʔλ ձܭ σʔλ ձܭ σʔλ &5-&-5&5-5 'JWFUSBO "JSCZUF ."5*--*0/ 4UJDI ECU %BUBGPSN 3FETIJGU 4OPXGMBLF #JH2VFSZ 4ZOBQTF DIBSUJP -PPLFS .FUBCBTF 3FEBTI %0.0 5BCMFBV 3FWFSTF&5- $FOTVT IJHIUPVDI 1PMZUPNJD σʔλϨΠΫ "NB[PO4 ($4 "[VSF#MPC σʔλΧλϩάɾ.%. %BUBIVC *OGPNBUJDB NBSRVF[ ϚωʔδυͰෳࡶ͞ ͕গͳ͍ɺϋΠεΩ ϧΛཁٻ͠ͳ͍ɺ༏ ͍͠τϨϯυ -
$IVSB%"5"JOD ͜Μͳ;͏ʹͳͬͪΌ͏ 1#σʔλྔ͕͋ΔΜͩ ͚ͲͲ͏ͬͯΞυϗοΫ ੳ͢Ε͍͍Μͩʁ 4QBSLʁ$BTTBOESBʁͲͬͪΛ બίεύ͕ྑ͍ͷʁ ্ྲྀγεςϜ͕Ҏ্͋Δʜɺ ͦΕͧΕγεςϜؒΠϯλʔ ϑΣʔεΛઃܭߏஙςετͯ͠
ͨΒ͖Γ͕ͳ͍ͧʜ ͦͦ͜Μͳٕज़Λ࣋ͬͨ༏ लͳਓ͕࠾༻Ͱ͖ΔΜͩΖ͏ ͔ʁεΩϧ͕͋ͬͯརݾతͳ ਓͩͱͦΕ͚ͩͰϦεΫͩʜ LT %PDLFS 5J%# (JUIVC 96OJU 5%% #%% -JOUFS (JUMBC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 4QBSL $BTTBOESB 1SFTUP 4 %BUBCSJDLT "VSPSB 5J%# "JSCZUF ECU #JH2VFSZ "UIFOB -PPLFS 5BCMFBV /PUFCPPL )6-'5 'JWFUSBO &NCVML +1 %BHTUFS 4BHF.BLFS -
$IVSB%"5"JOD ͜Μͳ;͏ʹͳͬͪΌ͏ 1#σʔλྔ͕͋ΔΜͩ ͚ͲͲ͏ͬͯΞυϗοΫ ੳ͢Ε͍͍Μͩʁ 4QBSLʁ$BTTBOESBʁͲͬͪΛ બίεύ͕ྑ͍ͷʁ ্ྲྀγεςϜ͕Ҏ্͋Δʜɺ ͦΕͧΕγεςϜؒΠϯλʔ ϑΣʔεΛઃܭߏஙςετͯ͠
ͨΒ͖Γ͕ͳ͍ͧʜ ͦͦ͜Μͳٕज़Λ࣋ͬͨ༏ लͳਓ͕࠾༻Ͱ͖ΔΜͩΖ͏ ͔ʁεΩϧ͕͋ͬͯརݾతͳ ਓͩͱͦΕ͚ͩͰϦεΫͩʜ LT %PDLFS 5J%# (JUIVC 96OJU 5%% #%% -JOUFS (JUMBC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 4QBSL $BTTBOESB 1SFTUP 4 %BUBCSJDLT "VSPSB 5J%# "JSCZUF ECU #JH2VFSZ "UIFOB -PPLFS 5BCMFBV /PUFCPPL )6-'5 'JWFUSBO &NCVML +1 %BHTUFS 4BHF.BLFS ͜Μͳʹ͘Ͱ͖ΔΤϯδχΞͬͯɺ ຊࠃʹ·͍ͬͨ͘ͳ͍Ͱ͠ΐ େ -
$IVSB%"5"JOD ΫϥυωΠςΟϒͳσʔλΣΞϋεͷొͱ4BB4ͷຄڵʹΑͬͯɺϞμϯσʔ λελοΫ͕ੜ·ΕͨɺͦΕʹΑͬͯϋΠεΩϧਓࡐͷރׇΛܰݮ͢Δ͜ͱʹʜ ϞμϯσʔλελοΫ 4BB4σʔλ ۀσʔλ σʔλΣΞϋε ɾσʔλϚʔτ ϏδωεɾΠϯςϦδΣϯε ձܭ
σʔλ ձܭ σʔλ ձܭ σʔλ ձܭ σʔλ &5-&-5&5-5 'JWFUSBO "JSCZUF ."5*--*0/ 4UJDI ECU %BUBGPSN 3FETIJGU 4OPXGMBLF #JH2VFSZ 4ZOBQTF DIBSUJP -PPLFS .FUBCBTF 3FEBTI %0.0 5BCMFBV 3FWFSTF&5- $FOTVT IJHIUPVDI 1PMZUPNJD σʔλϨΠΫ "NB[PO4 ($4 "[VSF#MPC σʔλΧλϩάɾ.%. %BUBIVC *OGPNBUJDB NBSRVF[ ϚωʔδυͰෳࡶ͞ ͕গͳ͍ɺϋΠεΩ ϧΛཁٻ͠ͳ͍ɺ༏ ͍͠τϨϯυ ࠶ܝ -
$IVSB%"5"JOD σʔλ͔ΒՁΛऔΓग़ͦ͏ͱ͢Δ࣌ɺͱͱͳΔσʔλͷ࣭͕ѱ͍ͱޡͬͨҙࢥ ܾఆਪ݁ՌΛͨΒͨ͢Ίɺσʔλ࣭ͷՄ؍ଌੑͷऔΓΈʹ͕ू·Δ σʔλΦϒβʔόϏϦςΟ • ECUΛ࣭ͬͨνΣοΫυΩϡϝϯ τੜ • 0QFO.FUBEBUBͳͲσʔλΧλϩάͷϓ ϩϑΝΠϦϯάػೳΛͬͨΛͬͨܧ
ଓతͳ࣭ͷੳΞϥʔτ • ػցֶशΛ༻͍ͨҟৗݕ σʔλνʔϜ σʔλج൫ ݯઘγεςϜͨͪ -
$IVSB%"5"JOD σʔλΤϯδχΞͷτϨϯυιϑτΣΞۀքશମͷྲྀΕͱɺσʔλͳΒͰͷ ͷͭͷྲྀΕ͕߹Θͬͯ͞Ͱ͖͍ͯ·͢ σʔλΤϯδχΞͷ͜Ε·ͰͷτϨϯυશମ σʔλΤϯδχΞͷશମͷτϨϯυ ੈͷத͔Βڧ͘ӨڹΛड͚ͯΔ ྑ͍ͱ͜ͲΓͯ͠Δ෦ ͦ͏͡Όͳ͍෦ ΞδϟΠϧ εΫϥϜ
%FW0QT $*$% ϚΠΫϩαʔϏε ༏लͳσʔλਓࡐ Γͳ͍ 4BB4044׆༻͢ΔϞ μϯσʔλελοΫ σʔλΦϒβʔόϏϦ ςΟ HBSCBHFJOHBSCBHFPVU ΰϛΛೖΕͨΒΰϛ͕ग़ͯ͘Δ -
$IVSB%"5"JOD ຊͰσʔλج൫ͮ͘Γʹ͕ू·ΓɺσʔλΤϯδχΞ͕ੈʹೝ͞Εͨ݁Ռɺ ͨΓલਫ४ͷ্--.ͳͲ৽ٕज़ͷద༻͕࢝·͍ͬͯΔ ͜Ε͔Βग़ͯ͘Δආ͚ΒΕͳ͍τϨϯυͨͪ --.Λ͡ Ίͱͨ͠ੜ "* σʔλνʔϜ ֦େ 5FYUUP42-
--.GPS9 ੳऀ͕42-Λ$PQJMPUͱ͍ͬ͠ΐʹ࡞Γ࢝ΊΔ͕࣌࢝·Γ·ͨ͠ ·ͩ༩͑ΒΕΔใྔ͕গͳ͘ɺෳࡶͳΫΤϦͷੜ͍͠Ͱ͕͢ɺͦΕ Ͱ42-Λॻ͖׳Εͳ͍ਓͷิॿɺେྔͷ42-ͷςϯϓϨʔτతͳੜͳ ͲɺҰ෦ͷνʔϜͰར༻͕࢝·͍ͬͯ·͢ • #*ɿμογϡϘʔυΛੜ͢Δੜ"*ɺσʔλϚΠχϯάΛੳऀͱ Ұॹʹ࣮ࢪ͢Δ$PQJMPUʹΑΔΠϯαΠτಋग़ͳͲɺҰ෦Ͱػೳ͕ ϦϦʔε͞Ε1P$͕࢝·͍ͬͯ·͢ • 43&ɿݚڀ৭͕ڧ͍ͷͷɺোͷݪҼ༧ଌࣗಈͰͷো෮چͷ1P$ ͕ग़࢝Ί͍ͯ·͢ σʔλΤϯδχΞ͕ຊͰ૿͖͍͑ͯͯͯɺͦͷ݁ՌɺࣝͷΒ͖͕ͭ ՝ʹͳΓͭͭ͋ΓɺͦΕΛຒΊΔͨΊͷυΩϡϝϯτ্࣭͕ඞਢʹͳ Γ·ͨ͠ɻ·ͣECUʹϝλσʔλΛຒΊࠐΈɺνʔϜͷ֦େʹ߹Θͤͯɺ σʔλΧλϩάͰࣗಈऩू͠ར༻Մೳʹ͢ΔਐΊํ͕ຊ໋Ͱ͢ɻ σʔλΧλϩά %BUBBTB 1SPEVDU σʔλج൫ࣗମ͕ੳऀʹΑͬͯར༻͞ΕΔϓϩμΫτͱͯ͠ͷੑ࣭Λଳͼ ͖͍ͯͯ·͢ 1E.͕Χόʔ͢Δ69؍/14ͳͲࢦඪΛͪ͜ΈɺΑΓར༻͢͠ ͍ج൫ͷมֵ͕Ұ෦ͷνʔϜͰඞཁͱ͞Ε͍ͯ·͢ ࣍εϥΠυ Ҏ߱Ͱղઆ -
$IVSB%"5"JOD Ҏ߱ಛʹΓ্͕͍ͬͯΔͰ"(*ʹҰݟݟ͑Δ(15ͳͲͷϞσϧΛͬͯɺ ࣗવݴޠʹΑΔ͍͔͚͔Βσʔλੳ͠Α͏ͱ͍͏ҙཉతͳऔΓΈͷݱ࣮ 5FYUUP42- PinterestͰͷࣄྫ Gemini in BigQuery ςʔϒϧͷϝλσʔλɺ--.ɺ7FDUPS4FBSDIΛΈ߹Θͤ Δ͜ͱͰੳऀ͔Βͷ42-࡞࡞ۀΛେ෯ʹޮԽͨ͠
3"(ΞϓϦέʔγϣϯͷࣄྫɺ1P$ͱͯ͠ࢼߦࡨޡͨ͠Γɺ ࠓޙొ͢Δ--.ʹΑͬͯ·ͩ·ͩਫ਼্͕ૂ͑ΔՄ ೳੑͷմ IUUQTNFEJVNDPNQJOUFSFTUFOHJOFFSJOHIPXXFCVJMUUFYUUP TRMBUQJOUFSFTUCBEEBCGG ઌिൃද͞ΕͨσʔλΩϟϯύεͱ͍͏ΞϓϦέʔγϣϯ ʹ(FNJOJ͕ࡌ͞Ε͓ͯΓɺࣗવݴޠͷରʹΑΔσʔλ ୳ࡧɺ42-ɾ1ZUIPOͷੜʹΑΔσʔλύΠϓϥΠϯߏ ங·ͰൣͳػೳΛఏڙɺ͕͢͞(PPHMFɺ(FNJOJͷੜΈͷ Ͱ͢ɻͪΖΜຊޠͰରՄೳɻ IUUQTDMPVEHPPHMFDPNCMPHKBQSPEVDUTBJNBDIJOF MFBSOJOHHFNJOJGPSHPPHMFDMPVEJTIFSF -
$IVSB%"5"JOD --.ੜ"*ͷ׆༻ͲΜͲΜਐΜͰ͓Γɺσʔλج൫Ͱར༻ऀࢹͰ#*Ͱͷ--. ׆༻ɺΤϯδχΞࢹͰ43&Ͱͷ--.׆༻͕ཁ --.GPS9 for BI for SRE #*ۀք֤ϕϯμʔ͕͠ͷ͗Λ͓ͬͯΓɺ5BCMFBV ͷ"TL%BUBͷΑ͏ʹҎલΑΓ"*ΈࠐΈ͕ࢼ͞Ε͖͕ͯͨɺ
--.ͷొʹΑΓҰؾʹଟ͘ͷʹࡌ͞Εͨ ࡢ͍ͪૣ͘ൃද͞Εͨ1PXFS#*ͷ$PQJMPUμογϡ ϘʔυੜσϞ͕Ͱଟ͘ͷ#*ϢʔβʹিܸΛ༩͑ͨ ·ͩ·ͩݚڀ৭ͷڧ͍Ͱ͋Δ͕ɺ43&ྖҬͰͷ--. ׆༻ٕज़͕ਐΜͰ͖͍ͯΔɻΠϯγσϯτϩάʹηϚϯ ςΟοΫͳใ͕༩͞Ε͍ͯΕɺোݪҼੳো ෮چखॱͷੜΛ--.͕ߦ͏Մೳੑ͕ेʹग़͖͍ͯͯΔɻ োͷҰ࣍ରԠࣗಈԽอकӡ༻ίετʹେ͖͘ӨڹΛ༩ ͑ΔͨΊظେ͖͍ IUUQTXXXNJDSPTPGUDPNFOVTSFTFBSDICMPHMBSHFMBOHVBHF NPEFMTGPSBVUPNBUJDDMPVEJODJEFOUNBOBHFNFOU 5BCMFBV1VMTF 2VJDL4JHIU2 $PQJMPUGPS1PXFS#* (FNJOJJO-PPLFS ˞ͷճΓͰΑ͘ฉ͘--.GPS#* 8PSLGMPXPGSFUSJFWBMBVHNFOUFESPPUDBVTFBOBMZTJT -
$IVSB%"5"JOD ʙલ·Ͱແ໊ͩͬͨσʔλΤϯδχΞͱ͍͏৬छ͕Ұؾʹೝ͞Εͨ݁Ռɺಥવ ͷνʔϜԽ֦ͦͯ͠େ͕ൃੜɺଟ͘ͷॴͰυΩϡϝϯτෆ͕ى͖͍ͯΔ σʔλνʔϜ֦େʹ͏υΩϡϝϯτͷॏཁੑ Ұਓͷ࣌ɺࣗͱؔऀ͚͕ͩΘ ͔ΕΑ͔ͬͨ ʮυΩϡϝϯτ/PUJPOͱ42-ͷίϝ ϯτʹॻ͍ͯ͋Δͥʂʯ ҰਓDE࣌ DEνʔϜੜ
σʔλνʔϜʹ֦େ σʔλج൫ͷॏཁੑΛձ͕ࣾೝࣝɺ σʔλΤϯδχΞͷ࠾༻ڧԽͰɺೋਓ ࡾਓͷ͕ؒʜͬͨͥʂ ʮ͋ɺΘ͔Βͳ͍͜ͱ͕͋Εฉ͍ͯ Լ͍͞ʂʯ σʔλج൫ͷҡ͚࣋ͩ͡Όͳ͘ɺσʔ λ׆༻ͷ֦େΛతʹαΠΤϯςΟε τΞφϦςΟΫεΤϯδχΞ͕߹ྲྀɺ σʔλνʔϜ͕ੜͩʂ ʮ͋ɺ/PUJPOͦͷϖʔδઌ݄͔Βߋ ৽Ͱ͖ͯͳͯ͘ɺΑ͔ͬͨΒίʔυݟ ͯߋ৽͓͍ͯͯ͠Β͍͍ͬͯͰ͢ ͔ʁʯ ಈ͚Α͔ͬͨ ಈ͚ͩ͘͡Όμϝ -
$IVSB%"5"JOD ECUͰ։ൃΛ࢝ΊͯϝλσʔλΛॻ͍͍͚ͯɺ࠷ऴతʹσʔλΧλϩάऔΓࠐΈʹ ΑͬͯɺσʔλνʔϜ֦େʹରԠ͕Մೳ σʔλνʔϜͷ֦େʹ߹ΘͤͨυΩϡϝϯτπʔϧ ҰਓDE࣌ DEνʔϜੜ σʔλνʔϜʹ֦େ ಈ͚Α͔ͬͨ ಈ͚ͩ͘͡Όμϝ ͋ͳ͕ͨ
Δ͖ ͜ͱ ECUͰಓʹϝλσʔλΛॻ͍͍ͯ͘ɺϩδοΫ ઃܭͷഎܠɺσʔλछྨΫηͳͲɺͲΜͳ ใେࣄɻυΩϡϝϯτΛੜͯ͠ΈΜͳ͕ ݟ͑Δॴʹ͓͍͓ͯ͜͏Ͷɻ ECUͷϝλσʔλΛऔΓࠐΊΔσʔλΧλϩάΛಋೖ ͯ͠ɺݕࡧՄೳʹͯ͠ར༻ͨ͘͢͠͠ΓɺνʔϜ ͷ୭͕ؾܰʹίϝϯτ5*14ΛهͰ͖ΔΑ͏ʹ αʔϏεఏڙ͠Α͏ɻσʔλΧλϩάͷଟࣗ͘ಈ ऩूػೳΛඋ͍͑ͯΔ͔Βߋ৽࿙ΕͳͲΧόʔͰ ͖Δɻ -
$IVSB%"5"JOD σʔλΧλϩάʹΑͬͯϝλσʔλ͕ఏڙ͞ΕΔ͜ͱʹΑͬͯɺ--.ͷ׆༻ɺΦϒ βʔόϏϦςΟͷ্͕ૂ͑ɺҰੴೋௗҎ্ͷརӹ͕ಘΒΕΔ σʔλΧλϩάΛத৺ͱͨ͠σʔλ׆༻ͷεέʔϧ͕ݟࠐΊΔ σʔλΧλϩά ςΫχΧϧϝλσʔλ Ϗδωεϝλσʔλ ΦϖϨʔγϣφϧϝλσʔλ --. ϕΫλʔݕࡧ
ΦϒβʔόϏϦςΟ 5FYUUP42- --.GPS#* --.GPS43& --.ʹΑΔ໊دͤఏҊɺςʔ ϒϧؒࢀরͷఏҊɺ༰ཁ ʹΑΔϝλσʔλͷੜ -
$IVSB%"5"JOD ͜ΕσʔλϝογϡͷݪଇͷҰͭͱͯ͠ొ͖ͯͨ͠ͷͰɺσʔλΛͱͯ͠ ଊ͑ͯϓϩμΫτϚωδϝϯτ͍͖ͯ͠·͠ΐ͏ͱ͍͏औΓΈͰ͢ %BUBBTB1SPEVDU ൃݟՄೳ ҆શʹར༻Ͱ͖ͯ ΞυϨε࣋ͬͯΔ ཧղͰ͖Δ ৴པͰ͖Δ ͱͯ͠ͷσʔλ͕උ͑Δ͖ಛੑ
.-Ϟσϧ σʔλࣗମ μογϡϘʔυ σʔλࢿ࢈ ͜ΕΒΛϓϩμ Ϋτͱͯ͠Ϛω δϝϯτ͢Δ -
$IVSB%"5"JOD ͜ΕσʔλϝογϡͷݪଇͷҰͭͱͯ͠ొ͖ͯͨ͠ͷͰɺσʔλΛͱͯ͠ ଊ͑ͯϓϩμΫτϚωδϝϯτ͍͖ͯ͠·͠ΐ͏ͱ͍͏औΓΈͰ͢ %BUBBTB1SPEVDU ൃݟՄೳ ҆શʹར༻Ͱ͖ͯ ΞυϨε࣋ͬͯΔ ཧղͰ͖Δ ৴པͰ͖Δ ͱͯ͠ͷσʔλ͕උ͑Δ͖ಛੑ
.-Ϟσϧ σʔλࣗମ μογϡϘʔυ σʔλࢿ࢈ ͜ΕΒΛϓϩμ Ϋτͱͯ͠Ϛω δϝϯτ͢Δ ͓ʁ ͜ΕσʔλΧλϩά ͕ར༻Ͱ͖ͦ͏ͩͶ -
$IVSB%"5"JOD σʔλΤίγεςϜͷख़ データで始める ステージ1 データで拡⼤する ステージ2 データ基盤のゴール ステージ3 ⽬指す データ基盤
の状態 ステージの 説明 データチーム の状態 採⽤されやす い代表的な アーキテク チャ ݎ࿚ͳσʔλΛڙڅ͢Δσʔλج൫ Λ࡞ͬͯӡ༻ͯ͠Δঢ়ଶ εέʔϥϒϧͳσʔλج൫͕࡞ΒΕ ͍ͯΔঢ়ଶ ࣗಈԽ͞ΕͨύΠϓϥΠϯɺηϧϑ αʔϏεͳMLͱੳ͕ՄೳɺڐՄ ͞Εͨਓ͕ΞΫηεͰ͖Δσʔλ͕ ࣮ݱ͞Εͨσʔλج൫ ར༻ऀʹ৴༻Ͱ͖Δݎ࿚ͳσʔλΛ ఏڙ͢ΔͨΊʹɺσʔλΛूΊɺඪ ४Խ͢ΔͳͲ࣭͠ΛߴΊΔ͜ͲͰɺ εϞʔϧνʔϜͰઓΛଓ͚Δες ʔδ MLͷઓΑΓ·ͣܦӦࢦඪͷ ՄࢹԽͳͲऔΓΈɺఆ࣌ɾใ ϨϙʔτͳͲɺϏδωε্ͷҙࢥܾ ఆʹར༻Ͱ͖Δ͜ͱΛࢦ͢ ݎ࿚ͳσʔλ͕ڙڅ͞ΕΔΑ͏ʹͳ ͬͨ݁ՌɺσʔλΛ༻͍ͨҙࢥܾఆ ͕৫ͷҰ෦Ͱ࢝·ΓɺΧόʔ͢Δ ྖҬ͕ܦӦࢦඪͷݩͱͳΔେ͖ͳσ ʔλ͔ΒɺΞϓϦέʔγϣϯϩάͷ Α͏ͳࡉ͔͍σʔλʹ·Ͱঃʑʹ૿ ͍͑ͯ͘ɺͦͷ݁ՌMLΛ༻͍ͨػೳ ։ൃɺར༻ऀʹΑΔηϧϑੳ͕ ࢝·ΓɺσʔλνʔϜͦΕΛࢧ͑ Δσʔλج൫Λӡ༻͢Δεςʔδ σʔλυϦϒϯͳҙࢥܾఆ͕ͨΓ લͷ৫ʹͳΓɺܦӦʹσʔλ αΠΤϯςΟετग़ऀͳͲσʔλ Ϧςϥγͷߴ͍ϝϯόʔ͕૿͑Δɺ ৽نɾطଘࣄۀؒͷσʔλγΣΞϦ ϯά͚ͩͰͳ͘ɺM&AΞϥΠΞϯ εʹΑΔσʔλΤΫενΣϯδΛ͍ ͔ʹߴ͍ΞδϦςΟΛอͬͯਐΊΔ ͔͕σʔλνʔϜʹ՝ͤΒΕͨ՝ɺ ϏδωευϝΠϯʹಛԽͨ͠෦ ֤υϝΠϯʹҠৡٻΊΒΕΔ 10ਓҎԼɺσʔλΤϯδχΞϑϧ ελοΫͷԿͰ 10ʙ20ਓɺσʔλΤϯδχΞಛఆ ٕज़ͷઐՈʹɺ֦େظʹ͓͍ͯ νʔϜ͕ϘτϧωοΫʹͳΔ͜ͱ 20ਓʙɺσʔλνʔϜׂ͞Εɺ νʔϜτϙϩδͷ࠾༻ ΤϯλʔϓϥΠζσʔλΣΞϋ εɺσʔλϨΠΫɺϞμϯσʔλε λοΫͳͲγϯϓϧͳΞʔΩςΫν ϟ͔Β࢝·Δ σʔλνʔϜੜ࢈ੑɺΞδϦςΟ ͕ॏཁʹͳΓϞμϯσʔλελοΫ ܥʹͳ͍ͬͯ͘ɺεέʔϧͷͨΊʹ DataVaultΛ࠾༻͢Δ߹ Scaled ArchitectureɺDataMesh ɺDataFabricͳͲɺେنʹσʔλ ཧՄೳͳΞʔΩςΫνϟҠߦ͠ ͍ͯ͘