DataformでPythonする / dataform-de-python

Dataform Meetup #1 登壇資料

https://dataform-jp.connpass.com/event/359348/

Transcript

1. %BUBGPSNͰ1ZUIPO͢Δ %BUBGPSN .FFUVQ
   
   
   σʔλΤϯδχΞ ඼ݪ
   ༔ై
2. 1ZUIPOͰ1ZUIPO͢Δ 
3. %BUBGPSNͰ1ZUIPO͢Δʁ🤔 ʮ%BUBGPSN͸42-Ͱσʔλͷ5SBOTGPSNBUJPO͢ΔπʔϧͰ͢ΑͶʁʯ ˠ ͱͯ΋ͦ͏ ʮ͸͍͸͍ຐվ଄Եɻ༻్ʹ͋Θͤͯπʔϧ͸࢖͍෼͚·͠ΐ͏Ͷ͆ʯ ˠ Ͳ͔ͪΒͱ͍͑͹ͦ͏ ʮ͔ͯ࢖͍ಓͳ͘Ͷʁʯ ˠ ͦΜͳ͜ͱ΋ͳ͍ 
4. ઌʹ͓அΓ • ॳาతͳͱ͜Ζ͸ͬ͢ඈ͹͍͖ͯ͠ͳΓԠ༻ͷ࿩ʹೖΓ·͢🙏 • ϦϦʔε͞Ε͔ͯΒ·ͩ೔͕ઙ͍χονͳػೳͷ࿩Λ͠·͢🙏 
5. 5",&"8": ຊ೔͝঺հ͢Δ%BUBGPSNͰ1ZUIPO͢Δखஈ͸ͭ  %BUBGPSNͰ1ZUIPO
   6%'ʢϢʔβʔఆٛؔ਺ʣΛ؅ཧ͢Δ ˠ ͓͢͢Ί౓
   ˒˒˒˒ˑ  %BUBGPSNܦ༝Ͱ/PUFCPPLΛఆظ࣮ߦ͢Δ ˠ ͓͢͢Ί౓
   ˒ˑˑˑˑ 
6. ࣗݾ঺հ • ඼ݪ
   ༔ైʢ!TOISZUEFTVʣ • σʔλΤϯδχΞ!ϚΠϕετ ˡ
   σʔλαΠΤϯςΟετ!ΞΠσϛʔ ˡ
   ωοτϫʔΫΤϯδχΞ!๭/̋5 ˡ
   ۝भେֶ • ೔ຊʹਓ͙Β͍͔͍͠ͳ໊͍ࣈ • %BUBGPSNͷढറʹनΘΕ͍ͯΔਓ
   ˠ 
9. %BUBGPSNͰ1ZUIPO
   6%'Λ؅ཧ͢Δ
10. લఏ
    lPQFSBUJPOTz
    UZQFΛ࢖͑͹%BUBGPSNͰ6%'ͷ؅ཧ͕Ͱ͖Δ ௨ৗͷ%.-ͱಉ༷ʹ%BUBGPSNλά౳Λઃఆͨ͠͏͑ͰɺϫʔΫϑϩʔ্Ͱ%%-ͷ࣮ߦ͕Մೳ 
11. લఏ
    6%'Λ1ZUIPOͰॻ͚ΔΑ͏ʹͳͬͨ ैདྷͷ42-
    +BWB4DSJQUʹ௥Ճͯ͠1ZUIPOͰ΋ॻ͚ΔΑ͏ʹͳͬͨ 1SF(" ͪ͜Βͷ;FOOهࣄʹ ۩ମతͳ࢖͍ํ΍஫ҙ఺Λ ·ͱΊ͍ͯ·͢ 
12. 1ZUIPO
    6%'ͷར఺
    1ZUIPOͷ๛෋ͳϥΠϒϥϦ܈ʹ͋΍͔ΕΔ 1Z1*ʹެ։͞Ε͍ͯΔϥΠϒϥϦΛΠϯετʔϧͯ͠ར༻Մೳ ˠ 42-Ͱ͸࣮૷͕೉͍͠Ͱ͖ͳ͍͜ͱ΋Ͱ͖ΔΑ͏ʹɻՄೳੑ 𝙄𝙉𝙁𝙄𝙉𝙄𝙏𝙔 ˡ 1ZUIPO
    6%'Ͱ$MPVE
    5SBOTMBUJPO αʔϏεΛݺͼग़ͯ͠຋༁ͤ͞Δྫ 
13. ϚΠϕετͰͷ׆༻ྫ 4DJ1ZͷྗΛआΓͯɺαΫοͱ౷ܭݕఆ͕Ͱ͖Δ6%'Λ࡞੒ɻ%BUBGPSNͰίʔυ؅ཧ͠ɺϫʔΫϑϩʔ্Ͱߋ৽ EFGJOJUJPOTPQFSBUJPOVEGTTRMY 
14. %BUBGPSN º 1ZUIPO
    6%'ࡶײ • ͚ͬ͜͏͍͍ • +BWB4DSJQU
    6%'ΑΓ΋ѻ͍΍͍͢ • ࠔΓ͝ͱ • 1ZUIPOͷίʔυࣗମͷಈ࡞֬ೝ͸༧ΊผͷॴͰࡁ·͓ͤͯ͘ඞཁ͕͋Δ • ίʔυΛจࣈྻͱͯ͠؅ཧ͢ΔͷͰɺ4ZOUBY
    )JHIMJHIU͕ޮ͔ͳ͍ • ͘͝كʹ6%'ͷCVJMEʹࣦഊͯ͠ɺ6%'Λࢀর͍ͯ͠ΔΫΤϦ͕ࣦഊ͢Δ͜ͱ͕͋Δ • ੗Έ෼͚ͱͯ͠ɺػցֶश΍(FNJOJͳͲ͸#2.-ʹҕͶΔͷ͕Αͦ͞͏ 
15. %BUBGPSNܦ༝Ͱ/PUFCPPLΛఆظ࣮ߦ͢Δ
16. લఏ
    %BUBGPSNʹॲཧͤ͞Δલஈ֊Ͱ&YUSBDU-PBE͕ඞཁ • %BUBGPSNͰσʔλΛՃ޻͢ΔͨΊʹ͸ɺ#JH2VFSZ΍#JH2VFSZ͕ ֎෦ςʔϒϧͱͯ͠ѻ͑Δ৔ॴʢFH
    ($4ʣʹσʔλ͕ஔ͔Ε͍ͯΔ ඞཁ͕͋Δ • &YUSBDU-PBEͷखஈ͸େ͖͘෼͚Δͱͭ • σʔλιʔεʹରԠ͢ΔϨσΟϝΠυͷίωΫλ͕͋Δ&-5πʔϧ ʢFH
    530$$0
    'JWFUSBO
    "JSCZUFʣΛ࢖͏ ˠ ଟ͘ͷέʔε͸ͪ͜ΒͰରԠՄʹͳ͖ͬͯͨ • ࣗલͰόονΛ૊Ή ˠ ϚΠφʔͳαʔϏεɺ"1*͕ఏڙ͞Ε͍ͯͳ͍αʔϏε౳͸ґવ͜Ε͕ඞཁ 
17. %BUBGPSNºࣗલόονͷ՝୊ σʔλऔಘ෦෼ͷ࣮૷ࣗମ͸ੜ੒"*Ͱ؆୯ʹॻ͚ΔΑ͏ʹͳ͍ͬͯΔ͕ɺ࣮૷֎ͷ՝୊͕ґવͱͯ͠࢒Δ • όονͱ%BUBGPSN͕ؒಠཱ͠΍͘͢ͳΔ • -PBEʹࣦഊͨ͠ͷʹ5SBOTGPSNBUJPOΛ࣮ߦ ˠ ҙਤ͠ͳ͍ςʔϒϧͷத਎ʹʜ • 8PSLGMPXTΛ࢖͑͹ղܾ͸͢Δ͕ɺͦͷ৔߹%BUBGPSN "1*Λ௚઀ୟ͘Α͏ͳ ΞʔΩςΫνϟͱͳΓɺ%BUBGPSN $MPVEͷϫʔΫϑϩʔػೳʹ͋΍͔Εͳ͘ͳΔ • Πϯϑϥͷ؅ཧ޻਺ • (PPHMF
    $MPVEϢʔβʔͩͱ$MPVE
    3VO
    'VODUJPOT
    º $MPVE
    4DIFEVMFSͰ όονΛ૊Ήέʔε͸ଟ͍͸ͣ ˠ ແݶʹ૿͑ଓ͚Δ$MPVE
    4DIFEVMFS • ϚωʔδυίϯιʔϧΆͪΆͪͰ࡞੒͢Δͱӡ༻͕ͭΒ͍ • ҰํͰɺ5FSSBGPSNΛ࢖ͬͯ·͡Ίͳ*B$Λ૊Ήͷ΋ͦΕ͸ͦΕͰେม • ඞͣ͠΋σʔλΤϯδχΞ͕ίʔυΛॻ͘ͱ͸ݶΒͳ͍ • ౰֘σʔλΛ௚઀৮Δ෦ॺͷਓʹϕʔεͷ࣮૷Λ೚͍ͤͨ৔߹΋͋Δ 
18. ͋ͳ͸͖ͨͬͱ͜͏ࢥͬͨ͸ͣͰ͢ ʮ%BUBGPSNͰ&YUSBDU-PBE΋Ͱ͖ͨΒศརͳͷʹͳ͊ʯˣΠϝʔδ 
21. ࣮͸ɺ%BUBGPSN͸͢Ͱʹ1ZUIPOͷఆظ࣮ߦʹରԠࡁ • ॳࣖͳΜ͕ͩʂ ˠ ͦΕ΋ͦͷ͸ͣ • WͷϦϦʔε࣌ʹ௒ࡶͳϦϦʔεϊʔτͱ௒ࡶͳαϯϓϧίʔυͰ ͵Δͬͱ஌Β͞ΕͯҎ߱ɺެࣜυΩϡϝϯτʹ΋ಛʹهࡌͳ͠ ˡ ϦϦʔεϊʔτͷ֘౰Օॴશจ IUUQTHJUIVCDPNEBUBGPSNDPEBUBGPSNSFMFBTFTUBH ˡ ެࣜͷαϯϓϧίʔυҰࣜɻিܸͷ୹จ3&"%.& IUUQTHJUIVCDPNEBUBGPSNDPEBUBGPSNUSFFNBJOFYBNQMFTFYUSFNF@XFBUIFS@QSPHSBNNJOH 
22. ࣮͸ɺ%BUBGPSN͸͢Ͱʹ1ZUIPOͷఆظ࣮ߦʹରԠࡁ • /PUFCPPL
    JQZOC
    ܗࣜͷ1ZUIPOίʔυ͕ର৅ • $PMBC &OUFSQSJTFʹ͸΋ͱ΋ͱ/PUFCPPLͷఆظ࣮ߦػೳ͋Γ • %BUBGPSN্Ͱ1ZUIPOͷ؀ڥ͕࡞ΒΕΔΘ͚Ͱ͸ͳ͘ɺ $PMBC &OUFSQSJTFͷ1ZUIPOϥϯλΠϜΛ࢖࣮ͬͯߦ͢Δ ˠ ཁ͸ɺ$PMBC &OUFSQSJTFͷ8SBQQFSతͳҐஔ෇͚ ͷ؅ཧ /PUFCPPL 
23. ۩ମతʹ͸͜͏͠·͢  • $PMBC &OUFSQSJTFͰ%BUBGPSNͷ࣮ߦϩέʔγϣϯͱಉ͡ϩέʔγϣϯͰ ϥϯλΠϜςϯϓϨʔτΛ࡞੒͓ͯ͘͠ • XPSLGMPX@TFUUJOHTZBNM ʹ͜Μͳײ͡Ͱॻ͘ ࣮ߦޙͷ/PUFCPPLΛ ॻ͖ग़͢($4όέοτ $PMBCͷϥϯλΠϜ ςϯϓϨʔτ 
24. ۩ମతʹ͸͜͏͠·͢  • EFGJOJUJPOT
    ഑ԼʹҎԼΛηοτͰ഑ஔ͢Δ • ࣮ߦ͍ͨ͠/PUFCPPL • BDUJPOTZBNM • ΞΫγϣϯ໊Λࢦఆͯ͠ 42-ͱಉ͡ϊϦͰ࣮ߦ ˠ ಈ͖·͢🎉 EFQFOEFODZΛ ࢦఆ͢Δ͜ͱ΋Մೳ 
25. ΋͔ͯ͠͠ UBHT
    ͰϫʔΫϑϩʔͷ࣮ߦ؅ཧͰ͖Δɾɾɾͬͯίτ • ࢒೦ͳ͕Βࠓ͸/P • ͨͩɺ͍ۙ಺ʹमਖ਼͞ΕͯϦϦʔε͞ΕΔΒ͍͠ ʹฦ͖ͬͯͨฦࣄ 
26. ͨͩ͠ɺ69͕ɾɾɾ $MPVE൛ΤσΟλͰ͸+40/ϑΝΠϧѻ͍ ΤσΟλͰˢ͕ग़͖ͯͨͱ͖͸΋͸΍সͬͨɻ ฤू͢Δͱ͖͸ϩʔΧϧ %BUBGPSN $-* ɺ ࣮ߦ࣌ͷΈ%BUBGPSN $MPVEΈ͍ͨͳ੗Έ෼͚͕ඞཁ ΤϥʔϋϯυϦϯά͕ͮ͠Β͍ Τϥʔৄࡉ͸$PMBC &OUFSQSJTFଆͷ࣮ߦϩά·Ͱ જΒͳ͍ͱݟ͑ͳ͍ 
27. %BUBGPSN º
    /PUFCPPLࡶײ • ͓ੈࣙʹ΋ʮΊͪΌͪ͘Ό࢖͑Δʯͱ͸ݴ͑ͳ͍ • ͔ͭɺݱঢ়ͷվमεϐʔυΛݟΔݶΓɺ࢒೦ͳ͕Β͙͢ʹվળ͞ΕΔ ݟࠐΈ͸ബ͍ؾ͕͍ͯ͠Δɾɾɾ • ͦΕͰ΋ɺ͜ΜͳέʔεͰ͸ྗΛൃشͦ͠͏ • σʔλΤϯδχΞҎ֎͕࣮ݧతʹॻ͍ͨίʔυΛྲྀ༻ͯ͠ɺͱʹ͔͘଎౓༏ઌͰ σʔλ࿈ܞ͍ͨ͠ͱ͖ ˠ $PMBC &OUFSQSJTFͰ௚઀/PUFCPPLΛεέδϡʔϧ࣮ߦ͢ΔΑΓ͸ɺ %BUBGPSNܦ༝ʹͨ͠΄͏͕࢖͍উख͕͍͍ʢϚγʣ • (16ΠϯελϯεͰόονΛಈ͔͢ඞཁ͕͋Δͱ͖ 
28. $PODMVTJPO
29. ·ͱΊ %BUBGPSNͰ1ZUIPO͢Δͤ͞ΔखஈΛͭ͝঺հ͠·ͨ͠  %BUBGPSNͰ1ZUIPO
    6%'ʢϢʔβʔఆٛؔ਺ʣΛ؅ཧ͢Δ ˠ ͓͢͢Ί౓
    ˒˒˒˒ˑ ΘΓͱԠ༻ޮ͘ͱࢥ͍·͢ʂ1SF("ͷ఺ʹ஫ҙ  %BUBGPSNܦ༝Ͱ/PUFCPPLΛఆظ࣮ߦ͢Δ ˠ ͓͢͢Ί౓
    ˒ˑˑˑˑ 0QT؍఺Ͱѻ͍ͮΒ͍ͷͰ͋·Γ͓͢͢ΊͰ͖ͳ͍ɻUBHTʹ͸ظ଴ 
30. ࠷ޙʹએ఻ • σʔλαΠΤϯςΟετɾσʔλΤϯδχΞ྆৬छͱ΋ʹੵۃืूதͰ͢ • %4νʔϜʹͯ/PUFϚΨδϯΛ͍͍݄ͩͨʙϖʔεͰߋ৽͍ͯ͠ΔͷͰɺ ͥͻϑΥϩʔˍ-JLFΛ͓ئ͍͠·͢ʂ 
31. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠