アナリティクスエンジニアとは(What is Analytics Engineer)

Transcript

1.  ΞϥΠΞϯε౷ׅ෦
   ۄҪ
   ྭ "OBMZUJDT
   &OHJOFFSͱ͸
2. ஫ҙࣄ߲  ຊηογϣϯ͸σʔλ෼ੳۀ຿ʹؔΘ͍ͬͯΔਓ޲͚ͷ ಺༰ͱͳ͍ͬͯ·͢ɻ
   σʔλ෼ੳʹڵຯ͕ແ͍৔߹͸ɺ໘ന͘ͳ͍Մೳੑ͕ߴ ͍Ͱ͢ɻ
3. ࣗݾ঺հ  ۄҪ
   ྭʢλϚΠ
   ϨΠʣ
   IUUQT EFWDMBTTNFUIPEKQ BVUIPSUBNB
   
4. ΞδΣϯμ   σʔλ෼ੳνʔϜͷੲͱࠓ
    "OBMZUJDT
   &OHJOFFSͱ͸
    "OBMZUJDT
   &OHJOFFSͷݱঢ়ʢͱࠓޙʣ
5.  1. σʔλ෼ੳνʔϜͷੲͱࠓ
6.  ੲͷσʔλ෼ੳνʔϜ ʢ೥Ҏલʣ
7. ࠷ॳʹొ৔͢Δͷ͸σʔλΤϯδχΞ  ͜Ε͔Βσʔλ෼ੳʹྗΛೖΕ͍ͯ͘ΘΑ
   ͋ͳͨ͸σʔλΤϯδχΞͱͯ͠ج൫Λߏஙͯͪ͠ΐ͏͍ͩ Ғ͍ਓ
8. ࠷ॳʹొ৔͢Δͷ͸σʔλΤϯδχΞ  ͍͍;& σʔλΤϯδχΞ͞Μ
9. ೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ  ΦϯϓϨͷDWH OLAPαʔόʔ ࣾ಺ͷσʔλ
10. ೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ  ΦϯϓϨͷDB ࣾ಺ͷσʔλ
11. ೥Ҏલͷσʔλ෼ੳج൫ʢྫʣ  • ج൫ͷߏங • ج൫ͷӡ༻อक • σʔλͷ౷߹
12. σʔλΛ࣮ࡍʹ෼ੳ͢ΔσʔλΞφϦετ  σʔλ͕ج൫ʹཷ·͖ͬͯͨΘ
    ͜ͷσʔλ͔Β༗༻ͳ৘ใ΍ΠϯαΠτΛಋ͖ग़ͯͪ͠ΐ͏͍ͩ Ғ͍ਓ
13. σʔλΛ࣮ࡍʹ෼ੳ͢ΔσʔλΞφϦετ  ͸ɺ͸͍ɻΘ͔Γ·ͨ͠ɻ σʔλΞφϦετ͘Μ
14. ೥Ҏલͷσʔλ෼ੳ؀ڥʢྫʣ  ෼ੳ ʢϨϙʔτ࡞੒ͱ͔ʣ ΦϯϓϨͷDB OLAPαʔόʔ OLAPΫϥΠΞϯτ ෼ੳ ʢϨϙʔτ࡞੒ͱ͔ʣ SQL
15. ෼ੳΫΤϦΛ؅ཧ  ͏ɺ͏ΘʜɻͲΕ͕རӹΛ෼ੳ͢ΔΫΤϦ͚ͩͬʜ σʔλΞφϦετ͘Μ • monthly_revenue.sql • monthly_revenue_tmp.sql • monthly_revenue_ fi nal.sql • monthly_revenue_last.sql • monthly_revenue_ fi nal(1).sql
16. &YDFMʹཔΔ͜ͱ΋  ݁ہ&YDFMͳΜͩΑͳ͋ʜ σʔλΞφϦετ͘Μ https://www.microsoft.com/ja-jp/microsoft-365/excel
17. σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍  ͋ͳͨɺࠓظͷརӹ෼ੳϨϙʔτ͸·ͩͳͷʁ͍ͭͰ͖Δͷ͔͠Βʁ Ғ͍ਓ ͢Έ·ͤΜ…
18. σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍  ΍͋ɺ
    ͢·ͳ͍͕ɺ͜ͷސ٬෼ੳͷηάϝϯτΛม͓͍͑ͯͯ͘Εͳ͍͔ʁ ϚʔέςΟϯά෦ɹϩόʔτ ઌʹݴͬͯΑ…
19. σʔλΛ࢖͏ਓ͔Βͷґཔ͕ଟ͍  ͋ͷ੡඼ʹ͍ͭͯ͸ɺརӹͷࢉग़ํ๏͕มΘͬͨΘʜ
    αΫͬͱߋ৽͓͍ͯͯ͠ʜ෩͕ؾ͍͍࣋ͪΘͶʜ Ӧۀઓུ෦ɹδϣσΟ ෩…ʁ
20. σʔλΞφϦετ͸݁ߏେม  ͸͋ʜർΕͨʜ σʔλΞφϦετ͘Μ
21.  ࠓͷσʔλ෼ੳνʔϜ ʢ೥Ҏ߱ʣ
22. ೥ɺര஀ 
23. ೥ɺര஀  Amazon Redshift
24. Ϋϥ΢υΛલఏͱͨ͠σʔλ੡඼͕ଓʑొ৔ 
25. Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔ 
26. Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔ 
27. Ϋϥ΢υͳσʔλ੡඼͕ଓʑొ৔  • ͜ΕΒαʔϏεΛ༻͍ͨج൫ͷߏங • ͜ΕΒαʔϏεΛ༻͍ͨج൫ͷӡ༻อक • σʔλͷ౷߹
28. ӦۀɺϚʔέɺܦӦɺFUD  ୭Ͱ΋σʔλ෼ੳ͕Ͱ͖Δ࣌୅ʹ
29. ୭Ͱ΋σʔλ෼ੳ͕Ͱ͖ΔΑ͏ʹͳͬͨ݁Ռʜ  https://www.slideshare.net/Denodo/denodo-datafest-2016- enterprise-view-of-data-with-semantic-data-layer • SQLͷཚཱ • ࢖్ෆ໌σʔλͷେྔൃੜ • ΤΫεϙʔτͨ͠Excelͷେྔൃੜ • ಉ͡ࢦඪͳͷʹ਺ࣈ͕ҧ͏
30. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͢Έ·ͤΜɺࠓظͷརӹͬͯͲͷςʔϒϧʹೖ͍ͬͯ·͔͢ʁ
    རӹςʔϒϧ͚ͩͰݸ΋͋ͬͯɺͲΕ͕ਖ਼͍͠΋ͷ͔Θ͔Βͳͯ͘ʜ σʔλΞφϦετ͘Μ
31. σʔλΞφϦετͷۤ࿑ʢྫʣ  ϑοʜʜʜΘ͔Βͳ͍Θʜʜ
    ΈΜͳࣗ༝ʹσʔλΛ৮͍ͬͯΔ͔Βʜʜࣗ༝͍͍ͬͯΘͶʜ Ӧۀઓུ෦ɹδϣσΟ
32. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͪͳΈʹɺརӹςʔϒϧ͸શ෦Ͱݸ͋ΔΘʜ Ӧۀઓུ෦ɹδϣσΟ !?
33. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͢Έ·ͤΜɺܦӦ෼ੳϨϙʔτΛ࡞Γ͍ͨͷͰ͕͢ɺརӹʹؔ͢Δσʔ λ͕ͳ͍ͷͰɺ͜͏͍͏࢓༷ͷςʔϒϧΛͭͬͯ͘͘Ε·ͤΜ͔ʁ σʔλΞφϦετ͘Μ
34. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͋ͷͳ͋ʜʜԶ͸ࠓ͔Β৽͍͠σʔλ౷߹ͷ࢓༷Λߟ͑ͳ͖Ό͍͚΁Μ ͷ΍ʜΊͬͪΌ๩͍͠ͶΜԶʜ σʔλΤϯδχΞɹέΠσϯ
35. σʔλΞφϦετͷۤ࿑ʢྫʣ  ͓લͷཔΈͳΜ͔͖͍ͯΒ΁Μͷ͡Όʔʔʔʔʔʔʔʔʔʔʂʂʂʂʂ σʔλΤϯδχΞɹέΠσϯ !?
36. ୭Ͱ΋σʔλ෼ੳ͕Ͱ͖ΔΑ͏ʹͳͬͨ݁Ռʜ  https://www.slideshare.net/Denodo/denodo-datafest-2016- enterprise-view-of-data-with-semantic-data-layer • SQLͷཚཱ • ࢖్ෆ໌σʔλͷେྔൃੜ • ΤΫεϙʔτͨ͠Excelͷେྔൃੜ • ಉ͡ࢦඪͳͷʹ਺ࣈ͕ҧ͏ →࠷దͳσʔλ෼ੳ͕࢝ΊΒΕͳ͍
37. ղܾࡦ͸ͨͩͭ  σʔλ΢ΣΞϋ΢εʹ ෼ੳ༻ʹ࠷దԽ͞Εͨσʔλ͕͋Ε͹Α͍
38. ݱ৔΋σʔλΤϯδχΞ΋๩͍͠  ʜʜ σʔλΞφϦετ͘Μ
39. ͦ͏͍͏͜ͱΛઐ໳ʹߦ͏ΤϯδχΞ͕͍Ε͹Α͍  ʂʁ σʔλΞφϦετ͘Μ
40. ͦ͏͍͏͜ͱΛઐ໳ʹߦ͏ΤϯδχΞ͕͍Ε͹Α͍  *O
    
    "OBMZUJDT
    &OHJOFFS
    XBT
    CPSO ECU
    MBCT !?
41.  What is Analytics Engineer?
42. ΞφϦςΟΫεΤϯδχΞͷ࢖໋  ݩσʔλΛม׵ͯ͠ ෼ੳʹదͨ͠σʔλΛ࡞੒͢Δ
43. l.PEFSOzͳσʔλ෼ੳνʔϜ  σʔλΤϯδχΞ ΞφϦςΟΫεΤϯδχΞ σʔλΞφϦετ w σʔλͷ౷߹
    w σʔλύΠϓϥΠϯͷ؅ཧ
    w σʔλ෼ੳج൫ͷߏஙͱӡ ༻อक
    w σʔλ΢ΣΞϋ΢εͷύ ϑΥʔϚϯε࠷దԽ https://www.getdbt.com/what-is-analytics-engineering/ w ෼ੳʹඞཁͳσʔλͷఏڙ
    w ιϑτ΢ΣΞ։ൃͷϕετϓϥΫ ςΟεΛσʔλม׵ίʔυʹద༻
    w σʔλͷυΩϡϝϯτ࡞੒ͱσʔλ ఆٛͷҡ࣋
    w #*πʔϧΛ࢖༻͢ΔϏδωεϢʔ βʔ΁τϨʔχϯά w ݱ৔ͱڠྗͯ͠σʔλͷඞ ཁੑΛཧղ
    w #*μογϡϘʔυͷߏங
    w ຊ౰ͷҙຯͰͷʮσʔλ෼ ੳʯʢͳͥઌ݄͸ղ໿͕ٸ ૿ͨ͠ͷ͔ʁʣ
44. l.PEFSOzͳσʔλ෼ੳνʔϜ  σʔλΤϯδχΞ ΞφϦςΟΫεΤϯδχΞ σʔλΞφϦετ w σʔλͷ౷߹
    w σʔλύΠϓϥΠϯͷ؅ཧ
    w σʔλ෼ੳج൫ͷߏஙͱӡ ༻อक
    w σʔλ΢ΣΞϋ΢εͷύ ϑΥʔϚϯε࠷దԽ https://www.getdbt.com/what-is-analytics-engineering/ w ෼ੳʹඞཁͳσʔλͷఏڙ
    w ιϑτ΢ΣΞ։ൃͷϕετϓϥΫ ςΟεΛσʔλม׵ίʔυʹద༻
    w σʔλͷυΩϡϝϯτ࡞੒ͱσʔλ ఆٛͷҡ࣋
    w #*πʔϧΛ࢖༻͢ΔϏδωεϢʔ βʔ΁τϨʔχϯά w ݱ৔ͱڠྗͯ͠σʔλͷඞ ཁੑΛཧղ
    w #*μογϡϘʔυͷߏங
    w ຊ౰ͷҙຯͰͷʮσʔλ෼ ੳʯʢͳͥઌ݄͸ղ໿͕ٸ ૿ͨ͠ͷ͔ʁʣ
45. ΞφϦςΟΫεΤϯδχΞ
    
    ࢘ॻʁ 
46. ΞφϦςΟΫεΤϯδχΞ
    
    ࢘ॻʁ  ࢘ॻ ΞφϦςΟΫεΤϯδχΞ •ݚڀऀͷͨΊʹ৭ʑͳࢿྉΛ੔ཧ •ݚڀͦͷ΋ͷ͸ߦΘͳ͍ •ΞφϦετͷͨΊʹ৭ʑͳσʔλΛ੔ཧ •෼ੳͦͷ΋ͷ͸ߦΘͳ͍
47.  8IBU
    JT
    "OBMZUJDT
    &OHJOFFSJOH
48. ΞφϦςΟΫεΤϯδχΞϦϯάͱ͸  ιϑτ΢ΣΞ։ൃͷϕετϓϥΫςΟεΛ ༻͍ͯσʔλม׵Λ։ൃ͢Δ
49. ιϑτ΢ΣΞ։ൃͷϕετϓϥΫςΟεʁ   όʔδϣϯ؅ཧ͢Δ
     ։ൃ؀ڥΛ༻ҙ͢Δ
     ඼࣭Λอূ͢Δʢςετ͢Δʣ
     ϞδϡʔϧԽ͢Δ
     อकੑΛߟྀͯ͠ઃܭ͢Δ
50. σʔλม׵͸όʔδϣϯ؅ཧ͢Δ  w ෼ੳ42-ͷཚཱ͸ࠞಱͷ࢝·Γ
    w (JUΛ༻͍ͯόʔδϣϯ؅ཧΛߦ͏
51. σʔλม׵ͷ։ൃ؀ڥΛ༻ҙ͢Δ  w ։ൃ EFW ͱຊ൪ QSPE Λ෼͚Δ
    w σʔλม׵ͷ։ൃ΍ςετ͸։ൃ؀ڥͰߦ͏
52. ม׵ͨ͠σʔλʹରͯ͠͸ςετΛ࣮ࢪ͢Δ  w #*πʔϧ౳ͰμογϡϘʔυΛ࡞͔ͬͯΒσʔλͷؒ ҧ͍ʹؾͮ͘Α͏Ͱ͸஗͗͢Δ
    w ςετίʔυΛॻ͍ͯɺࣗಈͰςετ͕૸ΔΑ͏ʹ͢ Δ
53. σʔλม׵ͷϩδοΫ͸ϞδϡʔϧԽ͢Δ  w Ұ౓ॻ͔ΕͨϩδοΫ͸౓ͱॻ͔ͳ͍ʢ࠶ར༻͢ Δʣ
    w νʔϜશһͰͭͷίʔυʢϦϙδτϦʣΛڞ༗͢Δ
54. อकੑΛߟྀͯ͠ઃܭ͢Δ  w ιʔεσʔλΛมߋ͢ΔϦεΫΛɺͦͷσʔλΛऔΓ ࠐΉ୯ҰͷϞσϧ಺ʹִ཭͢Δ
    w কདྷతʹݩσʔλͷεΩʔϚ͕มߋ͞Εͯ΋ɺରԠ͕ ༰қʹͳΔ
    w ʮ৽͍͠σʔλม׵Λ௥Ճ։ൃͨ͠Βطଘσʔλ͕յ ΕͨʯͳΜͯ͜ͱʹͳΒͳ͍Α͏ʹʜ
55. ΞφϦςΟΫεΤϯδχΞϦϯάͷ࣮ફ  Ͳ͏΍ͬͯ΍Δͷʁ Ͳ͏͍͏ਓ͕Ͱ͖Δͷʁ
56. πʔϧ͕͋Γ·͢ 
57. πʔϧ͕͋Γ·͢  SQL͑͞஌͍ͬͯΕ͹࢖͑·͢
58.  Analytics Engineerͷݱঢ়ʢͱࠓޙʣ
59. ւ֎ͷ৔߹  https://www.getdbt.com/analytics-engineering/jobs/#analytics-engineering-jobs
60. ͋ͷ༗໊ͳاۀ΋ืूத  https://jobs.lever.co/spotify/596a5375-058b-4895-9257-d9595d20d7a0?lever-via=CSbAQbdBAp
61. ࠃ಺  ࣮࣭σʔλΤϯδχΞͳืू͕ଟ਺
62. ࠾༻͸·ͩ೉͍͔͠΋  σʔλΤϯδχΞ΍ΞφϦετ͔Β ঃʑʹస਎͢Δϧʔτ͕Ԧಓϧʔτ͔ʁ
63. Τϐϩʔά  ΞφϦςΟΫεΤϯδχΞ͔ʜ σʔλΞφϦετ͘Μ
64. Τϐϩʔά  ԶΈ͍ͨʹσʔλͰۤ͠ΉਓؒΛɺ͜ΕҎ্૿΍͢Θ͚ʹ͸͍͔ͳ͍ʜ σʔλΞφϦετ͘Μ
65. Τϐϩʔά  গͮͭ͠ʜগ͕ͮͭͩ͠ʜνϟϨϯδͯ͠ΈΑ͏ʜ
    ΞφϦςΟΫεΤϯδχΞϦϯάʜ σʔλΞφϦετ͘Μ
66. Τϐϩʔάʁ 
67.   ϑϑͬʜ δϣσΟ
68. νϟϨϯδਫ਼ਆΛ๨Εͣʹ
    CZ
    δϣσΟ  ͋ͳͨͳΒɺඞͣ੒͠਱͛ΒΕΔΘʜఘΊͳ͍Ͱʜ Ӧۀઓུ෦௕
    ݉
    γχΞΞφϦςΟΫεΤϯδχΞɹδϣσΟ
70. ηογϣϯޙ͸ɺνϟοτཝͷURLɺ·ͨ͸ԼهQRίʔυΑΓ Ξϯέʔτ΁ͷ͝ڠྗΛ͓ئ͍͍ͨ͠·͢ɻ SNS౤ߘʹ͸ͪ͜ΒΛ͓࢖͍͍ͩ͘͞ɿ#devio2021 https://forms.gle/JkAGfRfB1z19YEmo9 13:05-13:3 5 ʮΞφϦςΟΫεΤϯδχΞͱ͸ʯ Q&A Q&A