Share
Embed
dbtでデータ品質活動
2023年3月14日の「What is dbt?データ基盤にdbtが必要な3つの理由( https://classmethod.connpass.com/event/276579/ )」にて発表したデータ品質に関する資料
numa
March 15, 2023
Transcript
39 slides
-
ࣗݾհ $IVSB%"5"JOD ͪΎΒσʔλגࣜձࣾ $50 %"56.456%*0גࣜձࣾ ࣥߦһ ɾ໊લɿඛপ ༤ଠʢ!GPVSTVFʣ ɾಛٕɿσʔλΤϯδχΞϦϯά ɾࣄɿσʔλʹ·ͭΘΔΤτητϥ
Ϋϥυ%8 ͷ 4OPXGMBLFࣾ ͔Β %"5")&300' :&"3ʹબΕͨΓɺ ʙͷؒɺ%BUB4VQFSIFSPʹɺ ݄ʹ%BUB-FBEFSUP8BUDIJO ʹબ ग़ʢੈքͰਓʣ ۙگɿཱͪֆύωϧ࡞Γ·ͨ͠ -
$IVSB%"5"JOD *40*&$Ͱɺσʔλͷ࣭Λ࣍ͷͷΧςΰϦʹ͚͍ͯ·͢ σʔλ࣭ͷΧςΰϦ ਖ਼֬ੑ "DDVSBDZ શੜ $PNQMFUFOFTT Ұ؏ੑ $POTJTUFODZ ৴ጪੑ
$SFEJCJMJUZ ࠷৽ੑ $VSSFOUOFTT ΞΫηγϏϦςΟ "DDFTTJCJMJUZ ඪ४ద߹ੑ $PNQMJBODF ػີੑ $POGJEFOUJBMJUZ ޮੑ &GGJDJFODZ ਫ਼ 1SFDJTJPO Մೳੑ 5SBDFBCJMJUZ ཧղੑ 6OEFSTUBOEBCJMJUZ Մ༻ੑ "WBJMBCJMJUZ Ҡ২ੑ 1PSUBCJMJUZ ճ෮ੑ 3FDPWFSBCJMJUZ ਖ਼֬Ͱ͋Δ͜ͱɻFH ॻ͕ࣜਖ਼͍͔͠ɺσʔλʹޡΓͳ͍͔ ൈ͚࿙Ε͕ແ͍͜ͱɻFH ඞਢ߲͕ܽଛͯ͠ͳ͍͔ σʔλʹໃ६͕ͳ͍͜ͱɻFH ॅॴίʔυͱॅॴ͕Ұகͯ͠Δ͔ σʔλΛ৴༻Ͱ͖Δ͜ͱɻFH վ͟Μ͞Εͯͳ͍͔ɺग़ॴ໌Β͔͔ ेʹ৽͍͜͠ͱɻFH σʔλऩू͔Β͕࣌ؒܦͪ͗ͯ͢ͳ͍͔ σʔλΛ༻Մೳͳ͜ͱɻFH ಛघͳܗࣜʹͳͬͯͳ͍͔ σʔλ͕ϧʔϧʹԊ͍ͬͯΔ͜ͱɻFH ྐྵུশΛͬͯͳ͍͔ ڐՄ͞Ε͍ͯͳ͍ऀ͕ར༻Ͱ͖ͳ͍͜ͱɻ ޮΑ͘ར༻Ͱ͖Δ͜ͱɻFH શ͕֯ࠞࡏ͍ͯ͠ͳ͍͔ ेͳਫ਼͕͋Δ͜ͱɻFH ܻ͕Γ͍ͯΔ͔ ݪయ·ͰΕΔ͜ͱɻFH ग़ॴ͕໌͔֬ɺมߋه͕͋Δ͔ ཧղ͍͢͠σʔλͰ͋Δ͜ͱɻFH ϝλσʔλઆ໌͕͋Δ͔ ඞཁͳͱ͖ʹར༻Մೳͳ͜ͱɻFH γεςϜ͕ఀࢭ͍ͯ͠ͳ͍͔ γεςϜมߋ࣌ʹҠ২͍͢͜͠ͱɻ ো࣌ͷճ෮͕ૣ͍͜ͱɻFH όοΫΞοϓ͕͋Δ͔ -
$IVSB%"5"JOD ECUͰରԠͰ͖ͦ͏ͳσʔλ࣭ΧςΰϦ ਖ਼֬ੑ "DDVSBDZ શੜ $PNQMFUFOFTT Ұ؏ੑ $POTJTUFODZ ৴ጪੑ $SFEJCJMJUZ
࠷৽ੑ $VSSFOUOFTT ΞΫηγϏϦςΟ "DDFTTJCJMJUZ ඪ४ద߹ੑ $PNQMJBODF ػີੑ $POGJEFOUJBMJUZ ޮੑ &GGJDJFODZ ਫ਼ 1SFDJTJPO Մೳੑ 5SBDFBCJMJUZ ཧղੑ 6OEFSTUBOEBCJMJUZ Մ༻ੑ "WBJMBCJMJUZ Ҡ২ੑ 1PSUBCJMJUZ ճ෮ੑ 3FDPWFSBCJMJUZ ਖ਼֬Ͱ͋Δ͜ͱɻFH ॻ͕ࣜਖ਼͍͔͠ɺσʔλʹޡΓͳ͍͔ ൈ͚࿙Ε͕ແ͍͜ͱɻFH ඞਢ߲͕ܽଛͯ͠ͳ͍͔ σʔλʹໃ६͕ͳ͍͜ͱɻFH ॅॴίʔυͱॅॴ͕Ұகͯ͠Δ͔ σʔλΛ৴༻Ͱ͖Δ͜ͱɻFH վ͟Μ͞Εͯͳ͍͔ɺग़ॴ໌Β͔͔ ेʹ৽͍͜͠ͱɻFH σʔλऩू͔Β͕࣌ؒܦͪ͗ͯ͢ͳ͍͔ σʔλΛ༻Մೳͳ͜ͱɻFH ಛघͳܗࣜʹͳͬͯͳ͍͔ σʔλ͕ϧʔϧʹԊ͍ͬͯΔ͜ͱɻFH ྐྵུশΛͬͯͳ͍͔ ڐՄ͞Ε͍ͯͳ͍ऀ͕ར༻Ͱ͖ͳ͍͜ͱɻ ޮΑ͘ར༻Ͱ͖Δ͜ͱɻFH શ͕֯ࠞࡏ͍ͯ͠ͳ͍͔ ेͳਫ਼͕͋Δ͜ͱɻFH ܻ͕Γ͍ͯΔ͔ ݪయ·ͰΕΔ͜ͱɻFH ग़ॴ͕໌͔֬ɺมߋه͕͋Δ͔ ཧղ͍͢͠σʔλͰ͋Δ͜ͱɻFH ϝλσʔλઆ໌͕͋Δ͔ ඞཁͳͱ͖ʹར༻Մೳͳ͜ͱɻFH γεςϜ͕ఀࢭ͍ͯ͠ͳ͍͔ γεςϜมߋ࣌ʹҠ২͍͢͜͠ͱɻ ো࣌ͷճ෮͕ૣ͍͜ͱɻFH όοΫΞοϓ͕͋Δ͔ ݁ߏɺΧόʔͰ ͖ͦ͏͡ΌΜ -
σʔλ ΞϓϦέʔγϣϯ $IVSB%"5"JOD େنσʔλཧͷ 4DBMBCMF"SDIJUFDUVSF ʹ͓͚ΔಡΈग़͠ઐ༻σʔλετΞ 3%4 ΞʔΩςΫνϟͩͱσʔλ࣭ͷίϯϙʔωϯτԼهͷ͋ͨΓ 3%4ΞʔΩςΫνϟͰݴ͏ͱ͜ͷ͋ͨΓ σʔλϓϩόΠμʔ
ड৴ ΞΫηε σʔλ ίϯγϡʔϚ ΰʔϧσϯ ιʔε &5- σʔλ શੑ νΣοΫ 3%4 ετϦʔϛϯά ΠϯδΣετ ΧελϜ நग़ ੜσʔλ ϥϯσΟϯά κʔϯ &5- #* Ξυόϯετ ΞφϦςΟΫε ϙ Ϧ γ ʔ ࢪ ߦ ͜ͷ͋ͨΓ 3%4ΞʔΩςΫνϟΛΊͬͪΌཁͨ͠ਤ ͳΔ΄Ͳར༻ऀ ͕͏લʹΔ ͷͶ ར༻ऀ -
σʔλ ΞϓϦέʔγϣϯ $IVSB%"5"JOD ͪΐ͏Ͳσʔλ࣭ͷ୲อ͢ΔͷͬͯɺECUͷॲཧରͱಉ͡ ECUͷΧόʔൣғ σʔλϓϩόΠμʔ ड৴ ΞΫηε σʔλ ίϯγϡʔϚ
ΰʔϧσϯ ιʔε &5- σʔλ શੑ νΣοΫ 3%4 ετϦʔϛϯά ΠϯδΣετ ΧελϜ நग़ ੜσʔλ ϥϯσΟϯά κʔϯ &5- #* Ξυόϯετ ΞφϦςΟΫε ϙ Ϧ γ ʔ ࢪ ߦ 3%4ΞʔΩςΫνϟΛΊͬͪΌཁͨ͠ਤ ͜ͷ͋ͨΓ͕%8 ͜ͷ͋ͨΓ͕ECU ͜ͷ͋ͨΓ -
$IVSB%"5"JOD (FOFSJD UFTUT ൚༻ςετ ͰԼهͭͷσʔλ࣭ΛཧͰ͖·͢ ·ͣ (FOFSJD UFTUT ͰͬͯΈΑ͏ ਖ਼֬ੑ
"DDVSBDZ શੜ $PNQMFUFOFTT Ұ؏ੑ $POTJTUFODZ ਖ਼֬Ͱ͋Δ͜ͱɻFH ॻ͕ࣜਖ਼͍͔͠ɺσʔλʹޡΓͳ͍͔ ൈ͚࿙Ε͕ແ͍͜ͱɻFH ඞਢ߲͕ܽଛͯ͠ͳ͍͔ σʔλʹໃ६͕ͳ͍͜ͱɻFH ॅॴίʔυͱॅॴ͕Ұகͯ͠Δ͔ (FOFSJDUFTUT VOJRVF OPU@OVMM BDDFQUFE@WBMV FT SFMBUJPOTIJQT ରΧϥϜͷϢχʔΫΛςετ ରΧϥϜʹOVMMؚ͕·Ε͍ͯͳ͍͔ςε τ ରΧϥϜʹࢦఆ͞ΕͨͷΈؚ͕·Ε ͍ͯΔ͜ͱΛςετ ରΧϥϜͷ͕ɺରςʔϒϧͷର ΧϥϜͱ+PJOͰ͖Δ͔ςετ σΟϝϯγϣϯɺϚελʔ ςʔϒϧΛςετ ඞਢ߲ͷςετ σΟϝϯγϣϯɺΧςΰϦɺϚελʔɺ εςʔλεͷςετ ϑΝΫτςʔϒϧʹؚ·ΕΔσΟϝϯγϣ ϯΩʔͷςετ ςετ໊শ આ໌ ༻ྫ ओΩʔͷ ςετ ᶃ ᶄ ᶅ ᶆ -
$IVSB%"5"JOD ੜσʔλɺϑΝΫτɺσΟϝϯγϣϯʹͯΊΔͱ ੜσʔλ ੜσʔλ ੜσʔλ ੜσʔλ ϑΝΫτ σΟϝϯγϣϯ ϑΝΫτ σΟϝϯγϣϯ
σΟϝϯγϣϯ σΟϝϯγϣϯ ϥϯσΟϯάκʔϯ σΟϝϯγϣϯΩʔΛ ʮSFMBUJPOTIJQTʯͰςετ φνϡϥϧΩʔΛʮVOJRVFʯ ʮOPU@OVMMʯͰςετ σΟϝϯγϣϯͷΛ ʮVOJRVFʯʮOPU@OVMMʯ ʮBDDFQUFE@WBMVFTʯͰςετ &5-5શମ ओΩʔΛʮVOJRVFʯʮOPU@OVMMʯͰςετ ϚελʔΛʮBDDFQUFE@WBMVFTʯ ʮSFMBUJPOTIJQTʯͰςετ -
$IVSB%"5"JOD 4JOHVMBSUFTUT ୯Ұςετ Ͱ͋Εɺ4&-&$5จΛॻ͘͜ͱͰҙͷσʔλ࣭ςε τΛ࣮ߦͰ͖·͢ 4JOHVMBS UFTUT ਖ਼֬ੑ "DDVSBDZ શੜ
$PNQMFUFOFTT Ұ؏ੑ $POTJTUFODZ ਖ਼֬Ͱ͋Δ͜ͱɻFH ॻ͕ࣜਖ਼͍͔͠ɺσʔλʹޡΓͳ͍͔ ൈ͚࿙Ε͕ແ͍͜ͱɻFH ඞਢ߲͕ܽଛͯ͠ͳ͍͔ σʔλʹໃ६͕ͳ͍͜ͱɻFH ॅॴίʔυͱॅॴ͕Ұகͯ͠Δ͔ 4JOHVMBSUFTUT ॻࣜϑΥʔϚοτʹै͍ͬͯΔ͔ ͻΒ͕ͳͷྻʹΧλΧφ͕ೖͬͯͳ͍͔ͳͲ 46.ͨ͠ͱ͖ʹϚΠφεʹͳ͍ͬͯͳ͍͔ ॅॴίʔυͱॅॴͷจࣈྻͱҰக͢Δ͔ ग़ՙτϥϯβΫγϣϯͷ߹ܭͱग़ՙ͕߹͏͔ σʔλ࣭ཁ݅ͷྫ 8IFSF۟ʹ-JLFਖ਼نදݱΛ࣮࣮ͯ͠ݱ (SPVQ #Zɺ)BWJOHͰ࣮ݱ ॅॴϚελʔͱ+PJO͠ɺલํҰக݅ͰνΣοΫ τϥϯβΫγϣϯදΛूܭ͠ɺग़ՙϨϙʔτදͱಥ͖ ߹ΘͤΔ ࣮ݱํ๏ͷྫ -
$IVSB%"5"JOD ͦͷଞͷσʔλ࣭ ඪ४ద߹ੑ $PNQMJBODF ޮੑ &GGJDJFODZ σʔλ͕ϧʔϧʹԊ͍ͬͯΔ͜ͱɻFH ྐྵུশΛͬͯͳ͍͔
ޮΑ͘ར༻Ͱ͖Δ͜ͱɻFH શ͕֯ࠞࡏ͍ͯ͠ͳ͍͔ γεςϜ͝ͱͷུশ ํݴ Λ.%.༝དྷͷඪ४తͳ දهม͢Δ ࣭ཁ݅ͷྫ ໊دͤͯ͠ஔ ࣮ݱํ๏ͷྫ ϤϛΨφΛશ֯ΧλΧφʹ౷Ұ ࣭ཁ݅ͷྫ 42-ͷ53"/4-"5&ؔͳͲͰஔ ࣮ݱํ๏ͷྫ -
$IVSB%"5"JOD ͦͷଞͷσʔλ࣭ Ϩίʔυͷ6QEBUFɺ%FMFUFͳͲΛՄೳʹ͢Δ͜ ͱ ࣭ཁ݅ͷྫ .BUFSJBMJ[BUJPOͷ*ODSFNFOUBMΛ͔ͭͯ4$%Λ࣮͠ɺཤ ྺςʔϒϧԽ͢Δ ࣮ݱํ๏ͷྫ ͯ͢ͷΧϥϜʹઆ໌Λهࡌ͢Δ͜ͱ ࣭ཁ݅ͷྫ
ECUͷϓϩύςΟίϯϑΟάΛͬͯϝλσʔλΛه ड़͢Δ ࣮ݱํ๏ͷྫ Մೳੑ 5SBDFBCJMJUZ ݪయ·ͰΕΔ͜ͱɻFH ग़ॴ͕໌͔֬ɺมߋه͕͋Δ͔ σʔλͷग़ॴݩγεςϜΛ໌ࣔ͢Δ͜ͱ ϥϯσΟϯάκʔϯͰग़ॴݩγεςϜͷΧϥϜΛՃ͢ Δ ཧղੑ 6OEFSTUBOEBCJMJUZ ཧղ͍͢͠σʔλͰ͋Δ͜ͱɻFH ϝλσʔλઆ໌͕͋Δ͔ -
$IVSB%"5"JOD ECU@VUJMT ECU -BCT ͕ཧ͢ΔɺECUͷϢʔςΟϦςΟ͕٧·ͬͨύοέʔδͰɺ σϑΥϧτͷ(FOFSJDUFTUΛେ෯֦ு ECU@VUJMT FRVBM@SPXDPVOU
ʜ ͭͷϞσϧ͕ಉ͡ߦ͔ GFXFS@SPXT@UIBO ʜ ൺֱରͷϞσϧΑΓߦ ͕গͳ͍͔ FRVBMJUZ ʜ ࢦఆͨ͠Ϟσϧͱྻ͕ಉ͔͡ FYQSFTTJPO@JT@USVF ʜ ࢦఆ͕ͨࣜ͠USVF͔ SFDFODZ ʜ ࢦఆͨ͠ྻ͕ࢦఆͨ࣌ؒ͠Ҏ͔ BU@MFBTU@POF ʜ গͳ͘ͱ͕ͭ͋Δ͔ OPU@DPOTUBOU ʜ ͯ͢ͷߦͰಉ͡͡Όͳ͍͔ OPU@FNQUZ@TUSJOH ʜ ۭจࣈ͡Όͳ͍͔ DBSEJOBMJUZ@FRVBMJUZ ʜ ࢦఆͨ͠Ϟσϧͷྻͱಉ ͡ΧʔσΟφϦςΟ͔ OPU@OVMM@QSPQPSUJPO ʜ OVMMҎ֎ͷ͕ࢦఆ͠ ׂͨ߹ͷൣғʹ͋Δ͔ ܽଛ OPU@BDDFQUFE@WBMVFT ʜ ࢦఆ͞ΕͨΛؚ·ͳ ͍͔ SFMBUJPOTIJQT@XIFSF ʜ XIFSF͖݅Ͱࢀর ߹ੑνΣοΫ NVUVBMMZ@FYDMVTJWF@SBOHFT ʜ ผͷߦͱ૬ޓഉ ଞʹͳ͍ͬͯΔ͔ TFRVFOUJBM@WBMVFT ʜ ࿈ଓʹͳ͍ͬͯΔ͔ͷ νΣοΫ VOJRVF@DPNCJOBUJPO@PG@DPMVNOT ʜ ྻͷΈ߹ Θ͕ͤϢχʔΫ͔ BDDFQUFE@SBOHF ʜ ͕ڐ༰͞ΕΔൣғ͔ ˞ ͓·͚ɿHSPVQJOHJOUFTUT ʜ ͍͔ͭ͘ͷςετʹ (SPVQ #ZΛߋ͔࣮ͯ͠ߦͰ͖Δ -
$IVSB%"5"JOD FMFNFOUBSZσʔλΤϯδχΞɺΞφϦςΟΫεΤϯδχΞ͚ͷՄ؍ଌੑιϦϡʔ γϣϯͰɺσʔλͷࢹɺΞϥʔτɺੳ͕Մೳ FMFNFOUBSZ Մ؍ଌੑϨϙʔτͷੜ FMFNFOUBSZͷओͳػೳ σʔλͷՄ؍ଌੑϨϙʔτ ࠨه ECU
UFTU Λͬͨσʔλҟৗݕग़ ϞσϧͷύϑΥʔϚϯεՄࢹԽɺ࣮ߦ࣌ ؒ࣌ܥྻͰͷੑೳྼԽ ECU "SUJGBDUͷग़ྗ࣮ߦ݁ՌΛ%8อ ଘ 4MBDL ͷΞϥʔτ σʔλϦωʔδͷՄࢹԽ ্هεΫϦʔϯγϣοτμογϡϘʔυɺ ͜ΕҎ֎ʹςετ݁ՌɺϞσϧͷ࣮ߦ݁Ռɺ σʔλϦωʔδͳͲͷը໘Λੜ͢Δ -
$IVSB%"5"JOD FMFNFOUBSZʹߴͳҟৗݕػೳ͕͋ΔͨΊɺͦΕͧΕͷσʔλ࣭ཁ݅ʹͯ ·ΔͷΛ࠾༻͠·͠ΐ͏ FMFNFOUBSZͰͷσʔλ࣭Ϛωδϝϯτ OVMM@DPVOU OVMM@QFSDFOU NJO@MFOHUI NBY@MFOHUI BWFSBHF@MFOHUI NJTTJOH@DPVOU
NJO NBY [FSP@DPVOU [FSP@QFSDFOU TUBOEBSE@EFWJBUJPO WBSJBODF TVN NJTTJOH@QFSDFOU WPMVNF@BOPNBMJFT GSFTIOFTT@BOPNBMJFT FWFOU@GSFTIOFTT@BOPNBMJFT EJNFOTJPO@BOPNBMJFT BMM@DPMVNOT@BOPNBMJFT DPMVNO@BOPNBMJFT աڈؒͱൺֱͯ͠ɺߦ͕ҟৗͩͬͨ߹ݕ ϞσϧͷΛࢹ͠ɺҟৗ͕͋Εݕ Πϕϯτ͕ൃੜ͔ͯ͠Βɺϩʔυ͞ΕΔ·Ͱͷ࣌ؒʹҟৗ͕͋ Εݕ σΟϝϯγϣϯͷසΛݟͯɺͷҟৗΛݕ ˞ΧʔσΟφϦςΟ͕͍ྻ͚ ରϞσϧͷશྻʹର͢Δҟৗݕ ୯Ұྻʹର͢Δҟৗݕ TDIFNB@DIBOHFT εΩʔϚͷมߋΛݕ TDIFNB@DIBOHFT@GSPN@CBT FMJOF DPOGJHʹࢦఆ͞ΕͨྻͱܕͷใΛݩʹมߋΛݕ KTPO@TDIFNB จࣈྻ͕ಛఆͷ+40/ͱҰக͢Δ͜ͱΛݕূ DPMVNOܥͷҟৗݕػೳ ҟৗݕػೳҰཡ -
$IVSB%"5"JOD • (SFBU&YQFDUBUJPOT ʜ ΊͬͪΌ͍͢͝ػೳ͕ͨ͘͞Μ͋Δ • ECU@EBUBRVBMJUZ ʜ ໊শͦͷ·Μ· •
ECU@NFUB@UFTUJOH ʜ ςετϝλใͷΧόϨοδΛνΣοΫ Ͱ͖Δ • ECU@DPWFSBHF ʜ Ϟσϧʹର͢ΔςετΧόϨοδΛՄࢹԽग़དྷ Δ • ECU@EBUBNPDLUPPM ʜ ϞοΫελϒΛͬͨςετΛॻ͚Δ • ECU@VOJUUFTU ʜ ͍ΘΏΔϢχοτςετͷ"TTFSU͕͑ΔΑ͏ʹ ͳΔ ଞʹͨ͘͞ΜͷΠέͯΔύοέʔδ͕ -
$IVSB%"5"JOD ECUΛ͍͍͑ͩͨͷσʔλ࣭ͱઓ͑Δ͕ɺϩδοΫͷ࣮σʔλ࣭ཁ ݅ͷఆٛͳͲɺΔ͜ͱ͕ଟذʹΘͨΔͨΊɺԼهͷΑ͏ͳਐΊํ͕͓͢͢Ί ͓͢͢ΊͷਐΊํ ϩδοΫ࣮ (FOFSJDUFTUT ECU@EBUBNPDLUPPM ։ൃ ςετ σʔλ࣭ཁܾ݅Ί
ຊ൪ &MFNFOUBSZ (SFBU&YQFDUBUJPO 4JOHVMBSUFTUT ڥ σʔλ ओͳߦಈ σʔλ४උͱςετ σʔλ࣭ࢹ εςʔδϯάڥ ຊ൪ʹ͍ۙσʔλ ։ൃڥ ։ൃ༻σʔλ ຊ൪ڥ ຊ൪σʔλ ར༻ख๏ͷྫ