Upgrade to Pro — share decks privately, control downloads, hide ads and more …

日本におけるデータエンジニアリングのこれまでとこれから

numa
April 16, 2024

 日本におけるデータエンジニアリングのこれまでとこれから

2024/04/16(火) に行われた イベントの登壇資料です
先達エンジニアに学ぶ 思考の現在地 Online Conferencehttps://findy.connpass.com/event/313119/

numa

April 16, 2024
Tweet

More Decks by numa

Other Decks in Technology

Transcript

  1. ˜$IVSB%"5"JOD ͜Ε·ͰɺσʔλͱγεςϜʹ͍ͭͯɺਓྨ͸৭ʑ΍͖ͬͯͨ σʔλΤϯδχΞ͸͜Ε·ͰԿΛ͖͔ͯͨ͠ 3%#஀ੜ σʔλج൫ͬΆ͍ͷ஀ੜ $*'ɺ%JNFOUJPOBM.PEFMJOH Ϗοάσʔλͱ3%#ͷݶքʁ Ϋϥ΢υத৺ ࠓ͜ͷ͋ͨΓ )BEPP

    Q 4QBSL 1SFTUP .POHP %# 7FSUJDB -VDFOF /VUDI ('4࿦ จ .BQ3F EVDF࿦ จ $*' 3FETIJG U #JC2V FSZ 4OPXGGM BLF 4ZOBQT F %BUBCSJ DLT )FBU8 BWF .Z42- 0SBDMF %JNFOUJP OBM .PEFMJOH %BUB 7BVMU *OHSFTT 42- 1PTUHSF 42- 42- 4FSWFS 1PTUHSFTT 5J%# $PDLSP BDI%# %44 )%# 3FEJT 42-JUF %BUB8B SFIPVTF
  2. ˜$IVSB%"5"JOD ϓϥοτϑΥʔϜΤϯδχΞϦϯά Ψʔτφʔ͕2022೥ʹϋΠϓαΠΫϧ (※)΁௥Ճͨ֓͠೦ɺ5೥ҐͰ80%ͷ ձ͕ࣾऔΓ૊Ή༧૝͞ΕͯΔΒ͍͠ νʔϜτϙϩδ(ޙड़)Ͱ΋ϓϥοτϑ ΥʔϜνʔϜ͕ಠཱͯ͠ଘࡏɺ·͞ʹ τϨϯυ આ໌ 1.

    ϓϥοτϑΥʔϜνʔϜͷଘࡏ 2. X-as-a-Serviceͱ։ൃऀϙʔλϧ 3. ΠϯϑϥͷෳࡶੑΛӅ͢ ಛ௃ ˞ϋΠϓαΠΫϧ͸ςΫϊϩδ͕࣌ؒͷܦաͱͱ΋ʹͲ͏ਐԽ͔ͯ͘͠ Λࢹ֮తʹઆ໌ͨ͠ਤ
  3. ˜$IVSB%"5"JOD νʔϜτϙϩδͱ֤νʔϜ ΠωΠϒ Ϧϯά νʔϜ ετϦʔϜΞϥΠϯυνʔϜ ίϯϓϦέΠ ςουαϒγ εςϜνʔϜ ϓϥοτϑΥʔϜνʔϜ

    ετϦʔϜΞϥΠϯυνʔϜ 9BTBʵ4FSWJDF 9BTBʵ4FSWJDF આ໌ ετϦʔϜΞϥΠϯυνʔϜ ϏδωεཁٻʹԊͬͯ഑ஔ͢ΔνʔϜͰɺϑ ϩʔ࠷େԽΛ໨ࢦ͢ɺ৬ೳԣஅܕνʔϜͰࣗ ෼ͨͪͰ͢΂ͯσϦόϦͰ͖Δ ΠωΠϒϦϯάνʔϜ ଞͷνʔϜͷࢧԉ΍ςΫχΧϧίϯαϧΛ͢ ΔνʔϜͰɺಛఆྖҬͷٕज़ʹڧ͔ͬͨΓ͢ Δ ίϯϓϦέΠςουαϒγεςϜνʔϜ ෳ਺ͷαʔϏε͔Βར༻͞ΕΔΑ͏ͳෳࡶ౓ ͷߴ͍ίϯϙʔωϯτΛ͔͋ͭ͏εϖγϟϦ ετνʔϜ ϓϥοτϑΥʔϜνʔϜ Πϯϑϥ΍ڞ௨αʔϏεΛ಺෦޲͚ʹఏڙ͢ ΔνʔϜͰɺϓϥοτϑΥʔϜΤϯδχΞϦ ϯάΛߦͳ͍ͬͯΔ νʔϜτϙϩδ͸νʔϜؒͷґଘΛݮΒ ͢͜ͱͰɺೝ஌ෛՙΛԼ͛ɺνʔϜΛη ϧϑαʔϏεԽ͢Δ͜ͱͰϑϩʔΛ࠷େ Խ͢Δ։ൃνʔϜͷฤ੒ํ๏࿦
  4. ˜$IVSB%"5"JOD νʔϜτϙϩδ͸%FW0QTͷ͏ͪΞϓϦέʔγϣϯ։ൃ͸ετϦʔϜΞϥΠϯυνʔ Ϝ΁ɺΠϯϑϥ͸ϓϥοτϑΥʔϜνʔϜ΁੹೚Λ෼୲ͤ͞Δͱྑ͍ ϓϥοτϑΥʔϜΤϯδχΞ͸%FW0QTͷΠϯϑϥ໘ LT %PDLFS 5J%# (JU)VC Y6OJU 5%%

    #%% -JOUFS (JU-BC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 3VTU 74$PEF 69σβΠϯ %%% ϦʔϯΩϟϯόε ΫϦʔϯΞʔΩςΫνϟ .71 ϓϩτλΠϐϯά μʔΫϞʔυ ύϥϥοΫεεΫϩʔϧ ΠϯΫϧʔγϒσβΠϯ ΫϨΠϞʔϑΟζϜ εΫϥϜ ϚʔέοτϦαʔν ,(*,1* #* ػցֶश σʔλ෼ੳ $3. $4$9 σϦόϦ ϚΠΫϩΠϯλϥΫγϣϯ εςʔΫϗϧμʔ ϢʔβʔϦαʔν ੜ੒"* 6.- ϓϩμΫτͰಛʹେࣄͳ͜ͱ %FW0QTͷΠϯϑϥ໘
  5. ˜$IVSB%"5"JOD ιϑτ΢ΣΞ͸ചΓ੾ΓϞσϧ͔ΒɺαϒεΫϦϓγϣϯϞσϧʹϏδωε͕มԽ͢ ΔதͰɺϓϩμΫτͷՁ஋Λͭ͘Δͷ͸ॳظͷ։ൃ͔Βܧଓతͳ։ൃ΁Ҡ͍ͬͯͬͨ %FW0QTొ৔ͷഎܠ ։ൃͷਓ ӡ༻ͷਓ ചΓ੾ΓϞσϧ αϙʔτ໰͍߹Θ ͤରԠɺϚχϡΞ ϧ࡞Γɺ೥ճͷ

    ΞοϓσʔτͳͲ ͨ͘͞Μͷਓ ਺Ͱ։ൃ ιϑτ΢ΣΞ ॳظ։ൃϝϯόʔ αʔϏεதͷ ։ൃνʔϜ ։ൃऀͱӡ༻ऀ͕νʔϜ αϒεΫϦϓγϣϯϞσϧ ৽ػೳͷϦϦʔ ε΍طଘػೳͷ վળ .71Λ։ൃ ͯ͠ϦϦʔε ιϑτ΢ΣΞ
  6. ˜$IVSB%"5"JOD ͔͠͠։ൃνʔϜͱӡ༻νʔϜͰ͸རӹରཱ͕ى͜Γ΍͘͢ɺจԽతʹ΋ٕज़తʹ΋ ղܾ͢Δඞཁ͕ੜ·Εͯ͘Δ %FW0QT͕ղܾ͠Α͏ͱ͢Δ͜ͱ ։ൃνʔϜ %FWFMPQNFOU ӡ༻νʔϜ 0QFSBUJPOT ü৽͍͠ػೳΛϦϦʔε͍ͨ͠ üطଘͷػೳΛվमͯ͠ϦϦʔε͠

    ͍ͨ üଟ͘ͷػೳΛϦϦʔε͍ͨ͠ üߴස౓ʹϦϦʔε͍ͨ͠ ։ൃνʔϜͷ໨త γεςϜΛมߋ͍ͨ͠ üγεςϜো֐ΛݮΒ͍ͨ͠ ü࡞ۀϛεʹΑΔࣄނΛݮΒ͍ͨ͠ üϢʔβ͔ΒͷΫϨʔϜΛݮΒͨ͠ ͍ üίετͷมಈΛݮΒ͍ͨ͠ ӡ༻νʔϜͷ໨త γεςϜΛมߋͨ͘͠ͳ͍ 74 ͜ͷରཱΛճආ͢ΔͨΊͷ %FW0QT
  7. ٕज़ྖҬ ˜$IVSB%"5"JOD ͋ͳͨͷ%FW0QTΠέͯΔʁ ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋ؅ཧ σϓϩΠࣗಈԽ πʔϧબ୒ΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ

    ςετࣗಈԽ ςετσʔλ؅ཧ τϥϯΫϕʔε։ ൃ όʔδϣϯ؅ཧ σϓϩΠִؒ มߋো֐཰ αʔϏεճ෮࣌ؒ มߋϦʔυλΠϜ ܭଌࢦඪ 'PVS,FZT
  8. ˜$IVSB%"5"JOD %FW0QTͱ͍͏ද૚ʹӅ͞Εͨ๲େͳςΫϊϩδελοΫʜ ٕज़ཁૉ ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋ؅ཧ σϓϩΠࣗಈԽ πʔϧબ୒ΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ

    ςετࣗಈԽ ςετσʔλ؅ཧ τϥϯΫϕʔε։ ൃ όʔδϣϯ؅ཧ LT %PDLFS 5J%# (JU)VC Y6OJU 5%% #%% -JOUFS (JU-BC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 3VTU 74$PEF
  9. ˜$IVSB%"5"JOD %FW0QTͱ͍͏ද૚ʹӅ͞Εͨ๲େͳςΫϊϩδελοΫʜ ٕज़ཁૉ ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋ؅ཧ σϓϩΠࣗಈԽ πʔϧબ୒ΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ

    ςετࣗಈԽ ςετσʔλ؅ཧ τϥϯΫϕʔε։ ൃ όʔδϣϯ؅ཧ LT %PDLFS 5J%# (JU)VC Y6OJU 5%% #%% -JOUFS (JU-BC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 3VTU 74$PEF ΍Δ΂͖͜ͱ ͕ଟ͗͢Δ
  10. ˜$IVSB%"5"JOD %FW0QTͱ͍͏ද૚ʹӅ͞Εͨ๲େͳςΫϊϩδελοΫʜ ٕज़ཁૉ ίʔυϝϯςφϯεੑ ܧଓతΠϯςάϨʔγϣϯ σʔλϕʔεมߋ؅ཧ σϓϩΠࣗಈԽ πʔϧબ୒ΛνʔϜʹ༬͚Δ ૄ݁߹ΞʔΩςΫνϟ ϞχλϦϯάͱΦϒβʔόϏϦςΟ

    ςετࣗಈԽ ςετσʔλ؅ཧ τϥϯΫϕʔε։ ൃ όʔδϣϯ؅ཧ LT %PDLFS 5J%# (JU)VC Y6OJU 5%% #%% -JOUFS (JU-BC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 3VTU 74$PEF ΍Δ΂͖͜ͱ ͕ଟ͗͢Δ ๻͸΋ͬͱސ٬Λ ت͹ͤΔػೳ͕࡞ Γ͍ͨΜͩʂʂ
  11. ˜$IVSB%"5"JOD ੈͷதͷιϑτ΢ΣΞΤϯδχΞϦϯά͸ϓϩμΫτத৺ʹൃలΛॏͶͨ݁Ռɺϓ ϥοτϑΥʔϜΤϯδχΞϦϯάʹ౸ୡɺͰ͸σʔλΤϯδχΞ͸ʁ ੈͷதͱσʔλΤϯδχΞϦϯά ΞδϟΠϧ ੈͷத σʔλΤϯδχΞք۾ εΫϥϜ %FW0QT $*$%

    νʔϜτϙϩδ ϓϥοτϑΥʔϜ ΤϯδχΞϦϯά σʔλ΢Σ Ξϋ΢ε %BUB7BVMU σʔλϚω δϝϯτ %BUB0QT Ϟμϯσʔλε λοΫ .-0QT σʔλϝογϡ ϚΠΫϩαʔϏε ΘΓͱੈͷத͔ΒσʔλΤϯδ χΞք۾͸ٵऩͯͦ͠͏ͩ
  12. ˜$IVSB%"5"JOD ͜Ε·ͰσʔλΤϯδχΞϦϯά΋ιϑτ΢ΣΞΤϯδχΞϦϯά͔Β͍Ζ͍Ζٵऩ ͯ͠ਐԽΛ͖ͯͨ͠ ιϑτ΢ΣΞΤϯδχΞϦϯάΛٵऩͯ͠Δྫ ΞδϟΠϧ %BUB7BVMU %FW0QT %BUB0QT .-0QT σʔλϝογϡ

    ϚΠΫϩαʔϏε DataVault ͸ϏδωεΩʔͷ҆ఆੑʹ஫໨͢Δ͜ͱ ͰσʔλͷมߋΛॊೈʹड͚ࢭΊΔ͜ͱʹ੒ޭͨ͠ ΞδϦςΟͷߴ͍σʔλϞσϦϯάํ๏ DataOpsɺMLOps͸ͦΕͧΕDevOpsͰഓΘΕͨࣗ ಈԽ΍CI/CDͳͲͷํ๏࿦ΛऔΓೖΕΔ͜ͱͰɺӡ ༻ΛΑΓྑ͘͠Α͏ͱ͍͏औΓ૊Έ σʔλϝογϡ͸ϚΠΫϩαʔϏεͱಉ༷ʹυϝΠ ϯ͝ͱʹ෼ࢄͨ͠σʔλج൫Λϝογϡঢ়ʹ݁ͿΞ ʔΩςΫνϟ
  13. ˜$IVSB%"5"JOD ͜Ε·Ͱσʔλք۾΋ੈͷத͔Β͍Ζ͍Ζٵऩͯ͠ਐԽΛ͖ͯͨ͠ ੈͷதΛٵऩͯ͠Δྫ ΞδϟΠϧ %BUB7BVMU %FW0QT %BUB0QT .-0QT σʔλϝογϡ ϚΠΫϩαʔϏε

    DataVault ͸ϏδωεΩʔͷ҆ఆੑʹ஫໨͢Δ͜ͱ ͰσʔλͷมߋΛॊೈʹड͚ࢭΊΔ͜ͱʹ੒ޭͨ͠ ΞδϦςΟͷߴ͍σʔλϞσϦϯάํ๏ DataOpsɺMLOps͸ͦΕͧΕDevOpsͰഓΘΕͨࣗ ಈԽ΍CI/CDͳͲͷํ๏࿦ΛऔΓೖΕΔ͜ͱͰɺӡ ༻ΛΑΓྑ͘͠Α͏ͱ͍͏औΓ૊Έ σʔλϝογϡ͸ϚΠΫϩαʔϏεͱಉ༷ʹυϝΠ ϯ͝ͱʹ෼ࢄͨ͠σʔλج൫Λϝογϡঢ়ʹ݁ͿΞ ʔΩςΫνϟ ͜Ε͕આ໌ͨͯ͘͠ɺ%FW0QTͱ͔ ϓϥοτϑΥʔϜΤϯδχΞϦϯά ͷઆ໌͠·ͨ͠
  14. ˜$IVSB%"5"JOD ϏοάσʔλΛޮ཰Α͘ѻ͏εΩϧ͸وॏͰɺ͔ͩΒͦ͜ʢձ͔ࣾΒݟͨΒʣϦεΫ ཁҼͱड͚औΒΕͦ͏ʹͳΔ͜ͱ΋ʜ σʔλք۾͋Δ͋Δ 1#΋σʔλྔ͕͋ΔΜͩ ͚ͲͲ͏΍ͬͯΞυϗοΫ ෼ੳ͢Ε͹͍͍Μͩʁ 4QBSLʁ$BTTBOESBʁͲͬͪ Λબ΂͹ίεύ͕ྑ͍ͷʁ ্ྲྀγεςϜ͕Ҏ্͋Δʜɺ

    ͦΕͧΕγεςϜؒΠϯλʔ ϑΣʔεΛઃܭߏஙςετ͠ ͯͨΒ͖Γ͕ͳ͍ͧʜ ͦ΋ͦ΋͜Μͳٕज़Λ࣋ͬͨ༏ लͳਓ͕࠾༻Ͱ͖ΔΜͩΖ͏ ͔ʁεΩϧ͕͋ͬͯ΋རݾతͳ ਓͩͱͦΕ͚ͩͰϦεΫͩʜ ٕज़ྗߴ͍͚ͩͰϦ εΫͬͯʜ൵͍͠
  15. ˜$IVSB%"5"JOD Ϋϥ΢υωΠςΟϒͳσʔλ΢ΣΞϋ΢εͷొ৔ͱ4BB4ͷຄڵʹΑͬͯɺϞμϯσʔ λελοΫ͕ੜ·ΕͨɺͦΕʹΑͬͯϋΠεΩϧਓࡐͷރׇΛܰݮ͢Δ͜ͱʹʜ ϞμϯσʔλελοΫ 4BB4σʔλ ۀ຿σʔλ σʔλ΢ΣΞϋ΢ε ɾσʔλϚʔτ ϏδωεɾΠϯςϦδΣϯε ձܭ

    σʔλ ձܭ σʔλ ձܭ σʔλ ձܭ σʔλ &5-&-5&5-5 'JWFUSBO "JSCZUF ."5*--*0/ 4UJDI ECU %BUBGPSN 3FETIJGU 4OPXGMBLF #JH2VFSZ 4ZOBQTF DIBSUJP -PPLFS .FUBCBTF 3FEBTI %0.0 5BCMFBV 3FWFSTF&5- $FOTVT IJHIUPVDI 1PMZUPNJD σʔλϨΠΫ "NB[PO4 ($4 "[VSF#MPC σʔλΧλϩάɾ.%. %BUBIVC *OGPNBUJDB NBSRVF[ ϚωʔδυͰෳࡶ͞ ͕গͳ͍ɺϋΠεΩ ϧΛཁٻ͠ͳ͍ɺ༏ ͍͠τϨϯυ
  16. ˜$IVSB%"5"JOD ͜Μͳ;͏ʹͳͬͪΌ͏ 1#΋σʔλྔ͕͋ΔΜͩ ͚ͲͲ͏΍ͬͯΞυϗοΫ ෼ੳ͢Ε͹͍͍Μͩʁ 4QBSLʁ$BTTBOESBʁͲͬͪΛ બ΂͹ίεύ͕ྑ͍ͷʁ ্ྲྀγεςϜ͕Ҏ্͋Δʜɺ ͦΕͧΕγεςϜؒΠϯλʔ ϑΣʔεΛઃܭߏஙςετͯ͠

    ͨΒ͖Γ͕ͳ͍ͧʜ ͦ΋ͦ΋͜Μͳٕज़Λ࣋ͬͨ༏ लͳਓ͕࠾༻Ͱ͖ΔΜͩΖ͏ ͔ʁεΩϧ͕͋ͬͯ΋རݾతͳ ਓͩͱͦΕ͚ͩͰϦεΫͩʜ LT %PDLFS 5J%# (JUIVC 96OJU 5%% #%% -JOUFS (JUMBC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 4QBSL $BTTBOESB 1SFTUP 4 %BUBCSJDLT "VSPSB 5J%# "JSCZUF ECU #JH2VFSZ "UIFOB -PPLFS 5BCMFBV /PUFCPPL )6-'5 'JWFUSBO &NCVML +1 %BHTUFS 4BHF.BLFS
  17. ˜$IVSB%"5"JOD ͜Μͳ;͏ʹͳͬͪΌ͏ 1#΋σʔλྔ͕͋ΔΜͩ ͚ͲͲ͏΍ͬͯΞυϗοΫ ෼ੳ͢Ε͹͍͍Μͩʁ 4QBSLʁ$BTTBOESBʁͲͬͪΛ બ΂͹ίεύ͕ྑ͍ͷʁ ্ྲྀγεςϜ͕Ҏ্͋Δʜɺ ͦΕͧΕγεςϜؒΠϯλʔ ϑΣʔεΛઃܭߏஙςετͯ͠

    ͨΒ͖Γ͕ͳ͍ͧʜ ͦ΋ͦ΋͜Μͳٕज़Λ࣋ͬͨ༏ लͳਓ͕࠾༻Ͱ͖ΔΜͩΖ͏ ͔ʁεΩϧ͕͋ͬͯ΋རݾతͳ ਓͩͱͦΕ͚ͩͰϦεΫͩʜ LT %PDLFS 5J%# (JUIVC 96OJU 5%% #%% -JOUFS (JUMBC 3FQPTJUPSZ &EJUPS %FCVHHFS OQN 44$ 4#0. %BUBEPH "VEJU-PH #VO (JUIVC"DUJPOT 1Z1* 3FBDU "SHP$% $PEF$PNNJU $MPVE#VJME (SBGBOB 4FSWJDF.FTI 4QBSL $BTTBOESB 1SFTUP 4 %BUBCSJDLT "VSPSB 5J%# "JSCZUF ECU #JH2VFSZ "UIFOB -PPLFS 5BCMFBV /PUFCPPL )6-'5 'JWFUSBO &NCVML +1 %BHTUFS 4BHF.BLFS ͜Μͳʹ޿͘Ͱ͖ΔΤϯδχΞͬͯɺ ೔ຊࠃ಺ʹ·͍ͬͨ͘ͳ͍Ͱ͠ΐ େ໰୊
  18. ˜$IVSB%"5"JOD Ϋϥ΢υωΠςΟϒͳσʔλ΢ΣΞϋ΢εͷొ৔ͱ4BB4ͷຄڵʹΑͬͯɺϞμϯσʔ λελοΫ͕ੜ·ΕͨɺͦΕʹΑͬͯϋΠεΩϧਓࡐͷރׇΛܰݮ͢Δ͜ͱʹʜ ϞμϯσʔλελοΫ 4BB4σʔλ ۀ຿σʔλ σʔλ΢ΣΞϋ΢ε ɾσʔλϚʔτ ϏδωεɾΠϯςϦδΣϯε ձܭ

    σʔλ ձܭ σʔλ ձܭ σʔλ ձܭ σʔλ &5-&-5&5-5 'JWFUSBO "JSCZUF ."5*--*0/ 4UJDI ECU %BUBGPSN 3FETIJGU 4OPXGMBLF #JH2VFSZ 4ZOBQTF DIBSUJP -PPLFS .FUBCBTF 3FEBTI %0.0 5BCMFBV 3FWFSTF&5- $FOTVT IJHIUPVDI 1PMZUPNJD σʔλϨΠΫ "NB[PO4 ($4 "[VSF#MPC σʔλΧλϩάɾ.%. %BUBIVC *OGPNBUJDB NBSRVF[ ϚωʔδυͰෳࡶ͞ ͕গͳ͍ɺϋΠεΩ ϧΛཁٻ͠ͳ͍ɺ༏ ͍͠τϨϯυ ࠶ܝ
  19. ˜$IVSB%"5"JOD ೔ຊͰ΋σʔλج൫ͮ͘Γʹ஫໨͕ू·ΓɺσʔλΤϯδχΞ͕ੈʹೝ஌͞Εͨ݁Ռɺ ౰ͨΓલਫ४ͷ޲্΍--.ͳͲ৽ٕज़ͷద༻͕࢝·͍ͬͯΔ ͜Ε͔Βग़ͯ͘Δආ͚ΒΕͳ͍τϨϯυͨͪ --.Λ͸͡ Ίͱͨ͠ੜ੒ "* σʔλνʔϜ ֦େ 5FYUUP42-

    --.GPS9 ෼ੳऀ͕42-Λ$PQJMPUͱ͍ͬ͠ΐʹ࡞Γ࢝ΊΔ࣌୅͕࢝·Γ·ͨ͠ ·ͩ༩͑ΒΕΔ৘ใྔ͕গͳ͘ɺෳࡶͳΫΤϦͷੜ੒͸೉͍͠Ͱ͕͢ɺͦΕ Ͱ΋42-Λॻ͖׳Εͳ͍ਓͷิॿ΍ɺେྔͷ42-ͷςϯϓϨʔτతͳੜ੒ͳ ͲɺҰ෦ͷνʔϜͰ͸ར༻͕࢝·͍ͬͯ·͢ • #*ɿμογϡϘʔυΛੜ੒͢Δੜ੒"*΍ɺσʔλϚΠχϯάΛ෼ੳऀͱ Ұॹʹ࣮ࢪ͢Δ$PQJMPUʹΑΔΠϯαΠτಋग़ͳͲɺҰ෦੡඼Ͱ͸ػೳ͕ ϦϦʔε͞Ε1P$͕࢝·͍ͬͯ·͢ • 43&ɿݚڀ৭͕ڧ͍΋ͷͷɺো֐ͷݪҼ༧ଌ΍ࣗಈͰͷো֐෮چͷ1P$ ͕ग़࢝Ί͍ͯ·͢ σʔλΤϯδχΞ͕೔ຊͰ͸૿͖͍͑ͯͯͯɺͦͷ݁Ռɺ஌ࣝͷ͹Β͖͕ͭ ՝୊ʹͳΓͭͭ͋ΓɺͦΕΛຒΊΔͨΊͷυΩϡϝϯτ඼࣭޲্͕ඞਢʹͳ Γ·ͨ͠ɻ·ͣ͸ECUʹϝλσʔλΛຒΊࠐΈɺνʔϜͷ֦େʹ߹Θͤͯɺ σʔλΧλϩά੡඼Ͱࣗಈऩू͠ར༻Մೳʹ͢ΔਐΊํ͕ຊ໋Ͱ͢ɻ σʔλΧλϩά %BUBBTB 1SPEVDU σʔλج൫ࣗମ͕෼ੳऀʹΑͬͯར༻͞ΕΔϓϩμΫτͱͯ͠ͷੑ࣭Λଳͼ ͖͍ͯͯ·͢ 1E.͕Χόʔ͢Δ69؍఺΍/14ͳͲ੡඼ࢦඪΛ΋ͪ͜ΈɺΑΓར༻͠΍͢ ͍ج൫΁ͷมֵ͕Ұ෦ͷνʔϜͰ͸ඞཁͱ͞Ε͍ͯ·͢ ࣍εϥΠυ Ҏ߱Ͱղઆ
  20. ˜$IVSB%"5"JOD Ҏ߱ಛʹ੝Γ্͕͍ͬͯΔ෼໺Ͱ"(*ʹҰݟݟ͑Δ(15ͳͲͷϞσϧΛ࢖ͬͯɺ ࣗવݴޠʹΑΔ໰͍͔͚͔Βσʔλ෼ੳ͠Α͏ͱ͍͏ҙཉతͳऔΓ૊Έͷݱ࣮ 5FYUUP42- PinterestͰͷࣄྫ Gemini in BigQuery ςʔϒϧͷϝλσʔλɺ--.ɺ7FDUPS4FBSDIΛ૊Έ߹Θͤ Δ͜ͱͰ෼ੳऀ͔Βͷ42-࡞੒࡞ۀΛେ෯ʹޮ཰Խͨ͠

    3"(ΞϓϦέʔγϣϯͷࣄྫɺ1P$ͱͯ͠ࢼߦࡨޡͨ͠Γɺ ࠓޙొ৔͢Δ--.ʹΑͬͯ͸·ͩ·ͩਫ਼౓޲্͕ૂ͑ΔՄ ೳੑͷմ IUUQTNFEJVNDPNQJOUFSFTUFOHJOFFSJOHIPXXFCVJMUUFYUUP TRMBUQJOUFSFTUCBEEBCGG ઌिൃද͞ΕͨσʔλΩϟϯύεͱ͍͏ΞϓϦέʔγϣϯ ʹ(FNJOJ͕౥ࡌ͞Ε͓ͯΓɺࣗવݴޠͷର࿩ʹΑΔσʔλ ୳ࡧ΍ɺ42-ɾ1ZUIPOͷੜ੒ʹΑΔσʔλύΠϓϥΠϯߏ ங·Ͱ޿ൣͳػೳΛఏڙɺ͕͢͞(PPHMFɺ(FNJOJͷੜΈͷ ਌Ͱ͢ɻ΋ͪΖΜ೔ຊޠͰର࿩Մೳɻ IUUQTDMPVEHPPHMFDPNCMPHKBQSPEVDUTBJNBDIJOF MFBSOJOHHFNJOJGPSHPPHMFDMPVEJTIFSF
  21. ˜$IVSB%"5"JOD --.΍ੜ੒"*ͷ׆༻͸ͲΜͲΜਐΜͰ͓Γɺσʔλج൫Ͱ͸ར༻ऀࢹ఺Ͱ#*Ͱͷ--. ׆༻ɺΤϯδχΞࢹ఺Ͱ43&Ͱͷ--.׆༻͕ཁ஫໨ --.GPS9 for BI for SRE #*੡඼ۀք͸֤ϕϯμʔ͕͠ͷ͗Λ࡟͓ͬͯΓɺ5BCMFBV ͷ"TL%BUBͷΑ͏ʹҎલΑΓ"*૊ΈࠐΈ͕ࢼ͞Ε͖͕ͯͨɺ

    --.ͷొ৔ʹΑΓҰؾʹଟ͘ͷ੡඼ʹ౥ࡌ͞Εͨ ࡢ೥͍ͪૣ͘ൃද͞Εͨ1PXFS#*ͷ$PQJMPU͸μογϡ Ϙʔυੜ੒σϞ͕઱྽Ͱଟ͘ͷ#*ϢʔβʹিܸΛ༩͑ͨ ·ͩ·ͩݚڀ৭ͷڧ͍෼໺Ͱ͸͋Δ͕ɺ43&ྖҬͰͷ--. ׆༻ٕज़͕ਐΜͰ͖͍ͯΔɻΠϯγσϯτϩάʹηϚϯ ςΟοΫͳ৘ใ͕෇༩͞Ε͍ͯΕ͹ɺো֐ݪҼ෼ੳ΍ো֐ ෮چखॱͷੜ੒Λ--.͕ߦ͏Մೳੑ͕े෼ʹग़͖͍ͯͯΔɻ ো֐ͷҰ࣍ରԠࣗಈԽ͸อकӡ༻ίετʹେ͖͘ӨڹΛ༩ ͑ΔͨΊظ଴΋େ͖͍ IUUQTXXXNJDSPTPGUDPNFOVTSFTFBSDICMPHMBSHFMBOHVBHF NPEFMTGPSBVUPNBUJDDMPVEJODJEFOUNBOBHFNFOU 5BCMFBV1VMTF 2VJDL4JHIU2 $PQJMPUGPS1PXFS#* (FNJOJJO-PPLFS ˞਎ͷճΓͰΑ͘ฉ͘--.GPS#* 8PSLGMPXPGSFUSJFWBMBVHNFOUFESPPUDBVTFBOBMZTJT
  22. ˜$IVSB%"5"JOD ʙ೥લ·Ͱແ໊ͩͬͨσʔλΤϯδχΞͱ͍͏৬छ͕Ұؾʹೝ஌͞Εͨ݁Ռɺಥવ ͷνʔϜԽ֦ͦͯ͠େ͕ൃੜɺଟ͘ͷ৔ॴͰυΩϡϝϯτෆ଍͕ى͖͍ͯΔ σʔλνʔϜ֦େʹ൐͏υΩϡϝϯτͷॏཁੑ Ұਓͷ࣌୅͸ɺࣗ෼ͱؔ܎ऀ͚͕ͩΘ ͔Ε͹Α͔ͬͨ ʮυΩϡϝϯτ͸/PUJPOͱ42-ͷίϝ ϯτʹॻ͍ͯ͋Δͥʂʯ ҰਓDE࣌୅ DEνʔϜ஀ੜ

    σʔλνʔϜʹ֦େ σʔλج൫ͷॏཁੑΛձ͕ࣾೝࣝɺ σʔλΤϯδχΞͷ࠾༻ڧԽͰɺೋਓ ໨ࡾਓ໨ͷ஥͕ؒʜ΍ͬͨͥʂ ʮ͋ɺΘ͔Βͳ͍͜ͱ͕͋Ε͹ฉ͍ͯ Լ͍͞ʂʯ σʔλج൫ͷҡ͚࣋ͩ͡Όͳ͘ɺσʔ λ׆༻ͷ֦େΛ໨తʹαΠΤϯςΟε τ΍ΞφϦςΟΫεΤϯδχΞ͕߹ྲྀɺ σʔλνʔϜ͕஀ੜͩʂ ʮ͋ɺ/PUJPOͦͷϖʔδ͸ઌ݄͔Βߋ ৽Ͱ͖ͯͳͯ͘ɺΑ͔ͬͨΒίʔυݟ ͯߋ৽͓͍ͯͯ͠΋Βͬͯ΋͍͍Ͱ͢ ͔ʁʯ ಈ͚͹Α͔ͬͨ ಈ͚ͩ͘͡Όμϝ
  23. ˜$IVSB%"5"JOD ECUͰ։ൃΛ࢝ΊͯϝλσʔλΛॻ͍͍͚ͯ͹ɺ࠷ऴతʹσʔλΧλϩάऔΓࠐΈʹ ΑͬͯɺσʔλνʔϜ֦େʹ΋ରԠ͕Մೳ σʔλνʔϜͷ֦େʹ߹ΘͤͨυΩϡϝϯτπʔϧ ҰਓDE࣌୅ DEνʔϜ஀ੜ σʔλνʔϜʹ֦େ ಈ͚͹Α͔ͬͨ ಈ͚ͩ͘͡Όμϝ ͋ͳ͕ͨ

    ΍Δ΂͖ ͜ͱ ECUͰ஍ಓʹϝλσʔλΛॻ͍͍ͯ͘ɺϩδοΫ ΍ઃܭͷഎܠɺσʔλछྨ΍ΫηͳͲɺͲΜͳ ৘ใ΋େࣄɻυΩϡϝϯτΛੜ੒ͯ͠ΈΜͳ͕ ݟ͑Δ৔ॴʹ͓͍͓ͯ͜͏Ͷɻ ECUͷϝλσʔλΛऔΓࠐΊΔσʔλΧλϩάΛಋೖ ͯ͠ɺݕࡧՄೳʹͯ͠ར༻͠΍ͨ͘͢͠ΓɺνʔϜ ͷ୭΋͕ؾܰʹίϝϯτ΍5*14Λ௥هͰ͖ΔΑ͏ʹ αʔϏεఏڙ͠Α͏ɻσʔλΧλϩάͷଟ͘͸ࣗಈ ऩूػೳΛඋ͍͑ͯΔ͔Βߋ৽࿙ΕͳͲ΋ΧόʔͰ ͖Δɻ
  24. ˜$IVSB%"5"JOD σʔλΤίγεςϜͷ੒ख़౓ データで始める ステージ1 データで拡⼤する ステージ2 データ基盤のゴール ステージ3 ⽬指す データ基盤

    の状態 ステージの 説明 データチーム の状態 採⽤されやす い代表的な アーキテク チャ ݎ࿚ͳσʔλΛڙڅ͢Δσʔλج൫ Λ࡞ͬͯӡ༻ͯ͠Δঢ়ଶ εέʔϥϒϧͳσʔλج൫͕࡞ΒΕ ͍ͯΔঢ়ଶ ࣗಈԽ͞ΕͨύΠϓϥΠϯɺηϧϑ αʔϏεͳMLͱ෼ੳ͕ՄೳɺڐՄ ͞Εͨਓ͕ΞΫηεͰ͖Δσʔλ͕ ࣮ݱ͞Εͨσʔλج൫ ར༻ऀʹ৴༻Ͱ͖Δݎ࿚ͳσʔλΛ ఏڙ͢ΔͨΊʹɺσʔλΛूΊɺඪ ४Խ͢ΔͳͲ͠඼࣭ΛߴΊΔ͜ͲͰɺ εϞʔϧνʔϜͰ௅ઓΛଓ͚Δες ʔδ ML΁ͷ௅ઓΑΓ΋·ͣ͸ܦӦࢦඪͷ ՄࢹԽͳͲ΁औΓ૊Έɺఆ࣌ɾ଎ใ ϨϙʔτͳͲɺϏδωε্ͷҙࢥܾ ఆʹར༻Ͱ͖Δ͜ͱΛ໨ࢦ͢ ݎ࿚ͳσʔλ͕ڙڅ͞ΕΔΑ͏ʹͳ ͬͨ݁ՌɺσʔλΛ༻͍ͨҙࢥܾఆ ͕૊৫ͷҰ෦Ͱ࢝·ΓɺΧόʔ͢Δ ྖҬ͕ܦӦࢦඪͷݩͱͳΔେ͖ͳσ ʔλ͔ΒɺΞϓϦέʔγϣϯϩάͷ Α͏ͳࡉ͔͍σʔλʹ·Ͱঃʑʹ૿ ͍͑ͯ͘ɺͦͷ݁ՌMLΛ༻͍ͨػೳ ։ൃ΍ɺར༻ऀʹΑΔηϧϑ෼ੳ͕ ࢝·ΓɺσʔλνʔϜ͸ͦΕΛࢧ͑ Δσʔλج൫Λӡ༻͢Δεςʔδ σʔλυϦϒϯͳҙࢥܾఆ͕౰ͨΓ લͷ૊৫ʹͳΓɺܦӦ૚ʹ΋σʔλ αΠΤϯςΟετग़਎ऀͳͲσʔλ Ϧςϥγͷߴ͍ϝϯόʔ͕૿͑Δɺ ৽نɾطଘࣄۀؒͷσʔλγΣΞϦ ϯά͚ͩͰͳ͘ɺM&A΍ΞϥΠΞϯ εʹΑΔσʔλΤΫενΣϯδΛ͍ ͔ʹߴ͍ΞδϦςΟΛอͬͯਐΊΔ ͔͕σʔλνʔϜʹ՝ͤΒΕͨ՝୊ɺ ϏδωευϝΠϯʹಛԽͨ͠෦෼͸ ֤υϝΠϯʹҠৡ΋ٻΊΒΕΔ 10ਓҎԼɺσʔλΤϯδχΞ͸ϑϧ ελοΫͷԿͰ΋԰ 10ʙ20ਓɺσʔλΤϯδχΞ͸ಛఆ ٕज़ͷઐ໳Ոʹɺ֦େظʹ͓͍ͯ͸ νʔϜ͕ϘτϧωοΫʹͳΔ͜ͱ΋ 20ਓʙɺσʔλνʔϜ͸෼ׂ͞Εɺ νʔϜτϙϩδͷ࠾༻ ΤϯλʔϓϥΠζσʔλ΢ΣΞϋ΢ εɺσʔλϨΠΫɺϞμϯσʔλε λοΫͳͲγϯϓϧͳΞʔΩςΫν ϟ͔Β࢝·Δ σʔλνʔϜ͸ੜ࢈ੑɺΞδϦςΟ ͕ॏཁʹͳΓϞμϯσʔλελοΫ ܥʹͳ͍ͬͯ͘ɺεέʔϧͷͨΊʹ DataVaultΛ࠾༻͢Δ৔߹΋ Scaled ArchitectureɺDataMesh ɺDataFabricͳͲɺେن໛ʹσʔλ ؅ཧՄೳͳΞʔΩςΫνϟ΁Ҡߦ͠ ͍ͯ͘