Upgrade to Pro — share decks privately, control downloads, hide ads and more …

累計参加者8,500名! #DataEngineeringStudy の43スライドから学ぶ、...

yuzutas0
February 24, 2022

累計参加者8,500名! #DataEngineeringStudy の43スライドから学ぶ、データエンジニアリングの羅針盤 / 20220224

primeNumber主催イベント「01(zeroONE)」兼「DataEngineeringStudy番外編」の登壇資料です。掲載内容は収録時点の情報にもとづきます。
https://01.primenumber.co.jp/
https://forkwell.connpass.com/event/237704/

yuzutas0

February 24, 2022
Tweet

More Decks by yuzutas0

Other Decks in Technology

Transcript

  1.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  2.  ɹొஃऀ4IP:PLPZBNB ίϛϡχςΟ ɾ%BUB&OHJOFFSJOH4UVEZʙϞσϨʔλʔ ɾ%FWFMPQFST4VNNJU ίϯςϯπҕһ ొஃ ɾ1Z$PO+1ʹͯϕεττʔΫΞϫʔυ༏ल৆ ɾ%FWFMPQFST4VNNJU4VNNFSʹͯΞϯέʔτຬ଍౓Ґ ɾ(PPHMF$MPVE%BZ%JHJUBM

    ࿈ࡌ ɾ*5NFEJB։ൃݱ৔ʹlσʔλจԽzΛਁಁͤ͞Δʮσʔλج൫ʯେղ๤ ɾ1SPEVDU;JOFϓϩμΫτϚωʔδϟʔ΁ͷస਎ʹඞཁͳϚΠϯυηοτ  ܝࡌ ɾ೔ܦ࢈ۀ৽ฉ໘ ೥݄೔  ɾ'PSCFT+BQBO೥݄߸
  3.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  4.  ɹސ٬ηά ϝϯτͷՄࢹԽ ೥ͷϒϩάهࣄΑΓ શମηά ϝϯτผ ηά ϝϯτO YYYYYYYY YYYYYYYY

    YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY YYYYYYYY "૚ ϩΠϠϧސ٬ ϩΠϠϧ૿Ճ ϩΠϠϧ཭୤ ط஌ ύλʔϯ ɾYYYͩͬͨ ɾYYYͩͬͨ ɾYYYͩͬͨ ɾYYYͩͬͨ ৽ن ύλʔϯ ɾ͓ͦΒ͘YYY ɾ͓ͦΒ͘YYY ɾ͓ͦΒ͘YYY ɾ͓ͦΒ͘YYY ཁ Ҽ ᶃશମͷ਺஋ˠᶄ੾ΓޱʹΑΔυϦϧμ΢ϯˠᶅ/ʢ۩ମతͳਓʣͱॱΛ௥ͬͯਂງΓɺ՝୊Λಛఆ
  5.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  6.  ɹσʔλج൫ਓࡐ΁ͷ஫໨ धཁ l z ฏۉ೥ऩͷߴ͍৬छ͸…(தུ)… ʮData Warehouse ArchitectʯͰ 15ສ4800υϧʢ1702ສ8000ԁʣ

    ITۀքͰฏۉ೥ऩͷߴ͍৬छ͸ιϑτ΢ΣΞΤϯδχΞ ϦϯάϚωʔδϟɺσʔλ΢ΣΞϋ΢εΞʔΩςΫτɺ ιϑτ΢ΣΞ։ൃϚωʔδϟͳͲɻถGlassdoor https://www.publickey1.jp/blog/18/itglassdoor.html
  7.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  8.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  9.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  10.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  11.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  12.  ɹ&-5ɾσʔλϞσϦϯάͷҐஔ෇͚ EBUBXBSFIPVTF૚ EBUBNBSU૚ EBUBMBLF૚ ݩσʔλͷ ίϐʔ ݩσʔλͷ ίϐʔ ݩσʔλͷ

    ίϐʔ ΫϨϯδϯά ඪ४Խ౷߹ ΫϨϯδϯά ඪ४Խ౷߹ ΫϨϯδϯά ඪ४Խ౷߹ σ Οϝϯγϣφϧ ϞσϦϯά GBDUEJNFOTJPO ڞ௨ࢦඪ NFBTVSF ڞ௨ࢦඪ NFBTVSF ༻్ผσʔλ ༻్ผσʔλ ༻్ผσʔλ σʔλιʔε σʔλιʔε σʔλιʔε Ϣʔεέʔε σ Οϝϯγϣφϧ ϞσϦϯά GBDUEJNFOTJPO ݩσʔλͷ ίϐʔ σʔλιʔε ݩσʔλͷ ίϐʔ ΫϨϯδϯά ඪ४Խ౷߹ σʔλιʔε ༻్ผσʔλ ༻్ผσʔλ Ϣʔεέʔε Ϣʔεέʔε Ϣʔεέʔε Ϣʔεέʔε ($4 #JH2VFSZ %#-PH USPDDP ECU -PPLFS #*$3.4QSFBETIFFU USPDDP-PPLFS ઃܭॱᶄ%BUB0XOFSͷҙࢥ͕൓ө͞ΕΔ ઃܭॱᶃ%BUB6TFSͷҙࢥ͕൓ө͞ΕΔ ઃܭॱᶅ%BUB4UFXBSEͷҙࢥ͕൓ө͞ΕΔ ର ର ର ର ର ର ର ର ର ର IUUQTTQFBLFSEFDLDPNZV[VUBTΑΓ
  13. ϑΝΫτ ཤྺ ͱ σΟϝϯγϣϯ ଐੑ Λ ૊Έ߹Θͤͯूܭ͠΍͍͢ܗʹ σʔλΛઃܭ͢Δ͜ͱ  ɹख๏ྫɿσΟϝϯγϣφϧϞσϦϯά

    ʰ࣮ફతσʔλج൫΁ͷॲํᝦʙϏδωεՁ஋૑ग़ͷͨΊͷσʔλɾγεςϜɾώτͷϊ΢ϋ΢ʱΑΓ
  14.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  15.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  16.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  17.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  18. ͥͻ5XJUUFS%BUB&OHJOFFSJOH4UVEZʹ౤ථίϝϯτΛد͍ͤͯͩ͘͞ʂ ଞʹ΋ʮ͜Ε͕ฉ͖͍ͨʯʮ͜ΕΛ࿩͍ͨ͠ʯΞΠσΞΛืूதͰ͢ʂ  ɹࠓޙͷ%&4Ͱѻ͍͍ͨςʔϚ Ҋ &5-πʔϧ FHpWFUSBO "JSCZUF δϣϒ؅ཧπʔϧ FH"JSqPX

    %JHEBH σʔλϞσϦϯά FH%BUB7BMVU σʔλ෼ੳख๏ FHސ٬෼ੳ ঎඼෼ੳ .PEFSO%BUB4UVDL֓࿦ SFWFSTF&5- ϦτϥΠɾႈ౳ੑͷઃܭ ໊دͤ ޮՌଌఆ FH""ςετ σʔλϚωδϝϯτ ಗ໊Ճ޻ɾϓϥΠόγʔอޢ Φʔϓϯσʔλ FHॅॴϚελ ෼ࢄॲཧͷجຊ 4QBSLೖ໳ &3ઃܭೖ໳ .-0QTೖ໳ ػցֶशೖ໳
  19.  ɹΞδΣϯμ ͸͡Ίʹ σʔλج൫ͷཏ਑൫ ͓ΘΓʹ ɾࣗݾ঺հ ɾ෯޿͍σʔλ׆༻ࢪࡦ ɾσʔλΤϯδχΞϦϯάͷॏཁੑ ɾ%BUB&OHJOFFSJOH4UVEZͱ͸ ɾσʔλΞʔΩςΫνϟͷશମ૾

    ɾσʔλΛूΊΔ ɾσʔλΛஷΊΔ ɾσʔλΛՃ޻͢Δ ɾσʔλΛՄࢹԽ͢Δ ɾσʔλͷར༻Λଅ͢ ɾσʔλ૊৫ΛӡӦ͢Δ ɾ·ͱΊ ɾUSPDDPʹΑΔߏங
  20. %BUB&OHJOFFSJOH4UVEZͰͷUSPDDPܝࡌεϥΠυ  %&4౉෦͞ΜൃදࢿྉQ IUUQTXXXTMJEFTIBSFOFUUFUTVUBSPXBUBOBCFKBQBOUBYJ  %&4ϠϓϦѨ෦͞ΜൃදࢿྉQ  IUUQTXXXTMJEFTIBSFOFU.BTBUPTIJ"CFMPPLFSEBUBFOHJOFFSJOHTUVEZ  %&4หޢ࢜υοτίϜখాౡ͞ΜൃදࢿྉQ

    IUUQTTQFBLFSEFDLDPNPEBTIEFUBGFOYJUPTJUBUJ TMJEF %&40QFOલଆ͞ΜൃදࢿྉQ IUUQTTQFBLFSEFDLDPNTIPNBFLBXBIVSVTVUBUVLVSFONVEFUBBOBSJTVUPHBEFUBKJQBOXP[VPUVUBPIVB TMJEF  %&4λΠϛʔ౔઒͞ΜൃදࢿྉQ IUUQTTQFBLFSEFDLDPNUUDDEEUPLJEFUBKJQBOQJO[IJYJBOHTIBOHGBMTFUBNFGBMTFOJBO TMJEF  ɹUSPDDPʹΑΔߏஙྫ