Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DataEngineeringとCloudNativeの今と未来

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
Avatar for numa numa
May 22, 2025

 DataEngineeringとCloudNativeの今と未来

Cloud Native Days Summer 2025 のスポンサーセッション資料
https://event.cloudnativedays.jp/cnds2025/talks/2634

Cloud Native の恩恵を最も享受してるエンジニアリングカテゴリが Data Engineering だと個人的には考えています。
Enterprise ほどDXやData Drivenを求めるようになる中で、私達はどのような Data Engineering を提供するべきで、どのような課題が在り、どのように今後変わっていくのかお話します。

Avatar for numa

numa

May 22, 2025

More Decks by numa

Other Decks in Technology

Transcript

  1. ˜$IVSB%"5"JOD ΤϯλʔϓϥΠζͳงғؾͷγεςϜͨͪ αϓϥΠϠ ސ٬ ফඅऀ Ϛʔέ ޿ใ ࡏݿ ؅ཧ தؒࡏݿ

    ؅ཧ ࡐྉࡏݿ ؅ཧ ࡏݿ஫จ ೲ඼ 4$. ੡඼੡଄ ஫จ Ӧۀ ഑ૹ એ఻ $3. ʢձܭʣ &31 ࠾༻ ਓࡐ ࢢ৔ ࠾༻׆ಈ ೖࣾ 104 ࡏݿൃ஫ ۀ຿ γεςϜ ձࣾ ػೳ ΞΫγϣϯ ຌྫ ਓࣄ ܦཧ ૯຿ ܦӦ اը Ӧۀ ళฮ
  2. ˜$IVSB%"5"JOD ͔ͦ͜Βग़ͯ͘ΔσʔλΛऩू͢Δσʔλج൫ αϓϥΠϠ ސ٬ ফඅऀ Ϛʔέ ޿ใ ࡏݿ ؅ཧ தؒࡏݿ

    ؅ཧ ࡐྉࡏݿ ؅ཧ ࡏݿ஫จ ೲ඼ 4$. ੡඼੡଄ ஫จ Ӧۀ ഑ૹ એ఻ $3. ʢձܭʣ &31 ࠾༻ ਓࡐ ࢢ৔ ࠾༻׆ಈ ೖࣾ 104 ࡏݿൃ஫ ۀ຿ γεςϜ ձࣾ ػೳ ΞΫγϣϯ ຌྫ ਓࣄ ܦཧ ૯຿ ܦӦ اը Ӧۀ ళฮ σʔλج൫ʢ&%8 Ћʣ
  3. ˜$IVSB%"5"JOD ͜Ε·ͰσʔλͱγεςϜʹ͍ͭͯਓྨ͸৭ʑ΍͖ͬͯͨ 3%#஀ੜ σʔλج൫ͬΆ͍ͷ஀ੜ $*'ɺ%JNFOUJPOBM.PEFMJOH Ϗοάσʔλͱ3%#ͷݶքʁ Ϋϥ΢υத৺ ࠓ͜ͷ͋ͨΓ )BEPP Q

    4QBSL 1SFTUP .POHP %# 7FSUJDB -VDFOF /VUDI ('4࿦ จ .BQ3F EVDF࿦ จ $*' 3FETIJG U #JC2V FSZ 4OPXGGM BLF 4ZOBQT F %BUBCSJ DLT )FBU8 BWF .Z42- 0SBDMF %JNFOUJP OBM .PEFMJOH %BUB 7BVMU *OHSFTT 42- 1PTUHSF 42- 42- 4FSWFS 1PTUHSFTT 5J%# $PDLSP BDI%# %44 )%# 3FEJT 42-JUF %BUB8B SFIPVTF
  4. ˜$IVSB%"5"JOD ͜Ε·ͰσʔλͱγεςϜʹ͍ͭͯਓྨ͸৭ʑ΍͖ͬͯͨ 3%#஀ੜ σʔλج൫ͬΆ͍ͷ஀ੜ $*'ɺ%JNFOUJPOBM.PEFMJOH Ϗοάσʔλͱ3%#ͷݶքʁ Ϋϥ΢υத৺ ࠓ͜ͷ͋ͨΓ )BEPP Q

    4QBSL 1SFTUP .POHP %# 7FSUJDB -VDFOF /VUDI ('4࿦ จ .BQ3F EVDF࿦ จ $*' 3FETIJG U #JC2V FSZ 4OPXGGM BLF 4ZOBQT F %BUBCSJ DLT )FBU8 BWF .Z42- 0SBDMF %JNFOUJP OBM .PEFMJOH %BUB 7BVMU *OHSFTT 42- 1PTUHSF 42- 42- 4FSWFS 1PTUHSFTT 5J%# $PDLSP BDI%# %44 )%# 3FEJT 42-JUF %BUB8B SFIPVTF ΦϯϓϨͳ࣌୅ Ϋϥ΢υωΠςΟϒͳ࣌୅
  5. ˜$IVSB%"5"JOD Ϋϥ΢υωΠςΟϒͳσʔλ΢ΣΞϋ΢ε͕࡞ΔΤίγεςϜ͕ΊͬͪΌ޿͕ͬͯ ͍ͬͨʢͨ͘͞ΜͷελʔτΞοϓ͕૑ۀͨ͠Γɺ."ͨ͠Γɺ্৔ͨ͠Γʜʣ σʔλΤϯδχΞܥͷΤίγεςϜ͕֦େ ʙ 3FETIJGU ʙ #JH2VFSZ  ඪ४42-αϙʔτ

    #JH2VFSZ "[VSF4ZOBQTF  4OPXGMBLF   DIBSUJP  -PPLFS   'JWFUSBO  .FUBCBTF  4UJDI  3FEBTI  ECU  %BUBGPSN  $FOTVT -JHIUEBTI  %BHTUFS  "JSCZUF  0QFO.FUBEBUB  ˞ࡌͤͯΔͷ͸΄ΜͷҰ෦Ͱ͢ IJHIUPVDI 
  6. ˜$IVSB%"5"JOD Ϋϥ΢υωΠςΟϒͳٕज़΍੡඼Λ૊Έ߹Θͤͯσʔλج൫Λ࡞ΔΞʔΩςΫνϟΛ ϞμϯσʔλελοΫͱݴͬͨΓ͠·͢ ϞμϯσʔλελοΫͱ͍͏ΞʔΩςΫνϟ 4BB4σʔλ ۀ຿σʔλ σʔλ΢ΣΞϋ΢ε ϏδωεɾΠϯςϦδΣϯε ձܭ σʔλ

    ձܭ σʔλ ձܭ σʔλ ձܭ σʔλ ձܭ σʔλ ձܭ σʔλ ΠϯδΣενϣϯ 'JWFUSBO "JSCZUF ."5*--*0/ 4UJDI τϥϯεϑΥʔϝʔγϣϯ ECU %BUBGPSN 3FETIJGU 4OPXGMBLF #JH2VFSZ 4ZOBQTF DIBSUJP -PPLFS .FUBCBTF 3FEBTI %0.0 5BCMFBV 3FWFSTF&5- $FOTVT 1PMZUPNJD IJHIUPVDI ϓϥοτϑΥʔϜʢ"84ɺ"[VSFɺ(PPHMF$MPVEʜʣ
  7. ˜$IVSB%"5"JOD • ͓٬͞Μʮσʔλ෼ੳ͍ͨ͠ͷ͚ͩͲʜʯ • %& σʔλΤϯδχΞ ʮ42-೉͍͠Α͏ͳΒ#*੡඼ೖΕ·͠ΐ͏͔ʯ • ͓٬͞Μʮ͋ͷσʔλ΋෼ੳର৅ʹ͍ͨ͠Μ͚ͩͲʜʯ •

    %&ʮ্ྲྀγεςϜͱௐ੔ͯ͠ɺσʔλύΠϓϥΠϯʹ௥Ճ͠·͢Ͷʯ • ͓٬͞Μʮࢦඪ͕ཚཱͯͯ͠ʜʯ • %&ʮηϚϯςΟοΫϨΠϠʔ੔උͯ͠Ψόφϯεޮ͔ͤ·͠ΐ͏͔ʯ • ͓٬͞Μʮ΋ͬͱ࢖͍΍͍͢σʔλΛར༻ऀʹఏڙ͍ͨ͠ʜʯ • %&ʮσʔλϞσϦϯάΛਐΊͯɺϚʔτ૚Λ֦ॆ͍͖ͯ͠·͠ΐ͏͔ʯ σʔλΤϯδχΞͷ࢓ࣄ
  8. ˜$IVSB%"5"JOD ૊৫ʹ͓͚ΔσʔλΤίγεςϜͷ੒ख़౓ データで始める ステージ1 データで拡⼤する ステージ2 データ基盤のゴール ステージ3 ⽬指す データ基盤

    の状態 ステージの 説明 データチーム の状態 採⽤されやす い代表的な アーキテク チャ ݎ࿚ͳσʔλΛڙڅ͢Δσʔλج൫ Λ࡞ͬͯӡ༻ͯ͠Δঢ়ଶ εέʔϥϒϧͳσʔλج൫͕࡞ΒΕ ͍ͯΔঢ়ଶ ࣗಈԽ͞ΕͨύΠϓϥΠϯɺηϧϑ αʔϏεͳMLͱ෼ੳ͕ՄೳɺڐՄ ͞Εͨਓ͕ΞΫηεͰ͖Δσʔλ͕ ࣮ݱ͞Εͨσʔλج൫ ར༻ऀʹ৴༻Ͱ͖Δݎ࿚ͳσʔλΛ ఏڙ͢ΔͨΊʹɺσʔλΛूΊɺඪ ४Խ͢ΔͳͲ͠඼࣭ΛߴΊΔ͜ͲͰɺ εϞʔϧνʔϜͰ௅ઓΛଓ͚Δες ʔδ ML΁ͷ௅ઓΑΓ΋·ͣ͸ܦӦࢦඪͷ ՄࢹԽͳͲ΁औΓ૊Έɺఆ࣌ɾ଎ใ ϨϙʔτͳͲɺϏδωε্ͷҙࢥܾ ఆʹར༻Ͱ͖Δ͜ͱΛ໨ࢦ͢ ݎ࿚ͳσʔλ͕ڙڅ͞ΕΔΑ͏ʹͳ ͬͨ݁ՌɺσʔλΛ༻͍ͨҙࢥܾఆ ͕૊৫ͷҰ෦Ͱ࢝·ΓɺΧόʔ͢Δ ྖҬ͕ܦӦࢦඪͷݩͱͳΔେ͖ͳσ ʔλ͔ΒɺΞϓϦέʔγϣϯϩάͷ Α͏ͳࡉ͔͍σʔλʹ·Ͱঃʑʹ૿ ͍͑ͯ͘ɺͦͷ݁ՌMLΛ༻͍ͨػೳ ։ൃ΍ɺར༻ऀʹΑΔηϧϑ෼ੳ͕ ࢝·ΓɺσʔλνʔϜ͸ͦΕΛࢧ͑ Δσʔλج൫Λӡ༻͢Δεςʔδ σʔλυϦϒϯͳҙࢥܾఆ͕౰ͨΓ લͷ૊৫ʹͳΓɺܦӦ૚ʹ΋σʔλ αΠΤϯςΟετग़਎ऀͳͲσʔλ Ϧςϥγͷߴ͍ϝϯόʔ͕૿͑Δɺ ৽نɾطଘࣄۀؒͷσʔλγΣΞϦ ϯά͚ͩͰͳ͘ɺM&A΍ΞϥΠΞϯ εʹΑΔσʔλΤΫενΣϯδΛ͍ ͔ʹߴ͍ΞδϦςΟΛอͬͯਐΊΔ ͔͕σʔλνʔϜʹ՝ͤΒΕͨ՝୊ɺ ϏδωευϝΠϯʹಛԽͨ͠෦෼͸ ֤υϝΠϯʹҠৡ΋ٻΊΒΕΔ 10ਓҎԼɺσʔλΤϯδχΞ͸ϑϧ ελοΫͷԿͰ΋԰ 10ʙ20ਓɺσʔλΤϯδχΞ͸ಛఆ ٕज़ͷઐ໳Ոʹɺ֦େظʹ͓͍ͯ͸ νʔϜ͕ϘτϧωοΫʹͳΔ͜ͱ΋ 20ਓʙɺσʔλνʔϜ͸෼ׂ͞Εɺ νʔϜτϙϩδͷ࠾༻ ΤϯλʔϓϥΠζσʔλ΢ΣΞϋ΢ εɺσʔλϨΠΫɺϞμϯσʔλε λοΫͳͲγϯϓϧͳΞʔΩςΫν ϟ͔Β࢝·Δ σʔλνʔϜ͸ੜ࢈ੑɺΞδϦςΟ ͕ॏཁʹͳΓϞμϯσʔλελοΫ ܥʹͳ͍ͬͯ͘ɺεέʔϧͷͨΊʹ DataVaultΛ࠾༻͢Δ৔߹΋ Scaled ArchitectureɺDataMesh ɺDataFabricͳͲɺେن໛ʹσʔλ ؅ཧՄೳͳΞʔΩςΫνϟ΁Ҡߦ͠ ͍ͯ͘
  9. ˜$IVSB%"5"JOD • ͜Ε·Ͱʢ๺෩ͷ࣌୅ʜɺਓؒʹݫ͍͠ʣ • 42-ॻ͚ΔΑ͏ʹͳΒͳ͖Όʜ • σʔλϞσϦϯά্खʹͳΒͳ͖Όʜ • σʔλΧλϩά੔උͯ͠σʔλΛ࢖͍΍͘͢͠ͳ͖Όʜ •

    ͜Ε͔Βʢଠཅͷ࣌୅ʜɺਓؒʹ༏͍͠ʣ • "*ΤʔδΣϯτʹ42-Λͬ͟ͱੜ੒ͯ͠΋Β͓͏ • "*ΤʔδΣϯτʹࡢ೔ͷച্τϐοΫ·ͱΊͯ΋Β͓͏ • "*ΤʔδΣϯτʹσʔλΛ୳ͯ͠΋Β͓͏ ๺෩ͱଠཅ
  10. ˜$IVSB%"5"JOD • σʔλΛऩू͠·͢ • σʔλΛར༻Ͱ͖ΔܗʹՃ޻͍͖ͯ͠·͢ • ͜͜Ͱ"*͕ར༻͠΍͍͢σʔλͱ͍͏ςʔϚ͕৽͘͠ੜ·Εͨ • Πϯϑϥʹ͓͕͔͔ۚΓ͍͗ͯ͢ͳ͍Α͏ʹϞχλϦϯάͨ͠Γνϡʔχϯά͠·͢ •

    ར༻ऀͷཁ๬ʹΫΠοΫʹԠ͑ΕΔΑ͏ʹࣗಈԽͳͲͷ։ൃੜ࢈ੑ্͕͕ΔऔΓ૊Έ Λଓ͚·͢ • σʔλ͕ར༻͠΍͍͢Α͏ʹϝλσʔλΛ੔උ͠·͢ • ͜͜Ͱ΋"*͕ར༻͠΍͍͢σʔλͱ͍͏ςʔϚ͕৽͘͠ੜ·Εͨ σʔλΤϯδχΞͱͯ͠͸Ҿ͖ଓ͖΍͍͖ͬͯ·͢ ४උΛͯ͠ ίετΧοτ͡Ό