TDD applied Data Cleansing

XP祭り2018 LT祭り にて発表

TDDもせずに "AI" とは何事だ?
機械学習ではなく、機械学習で用いるデータのクレンジングにTDDを適用した話をしました。

Transcript

1. 1 5%%΋ ͠ͳ͍Ͱ z"*z ͱ͸Կࣄͩ 91ࡇΓ
   
   Inspired by @iwaoRd
2. 2 ϓϩϑΟʔϧ ా໺ޱେथ %BJLJ
   5BOPHVDIJ 
   !EQSPKFDU ϛʔΧϯύχʔגࣜձࣾ (PMBOH
   0VUTUBOEJOH
   %BUBFOHJOFFS
   (0% ྵࡉιϑτϋ΢ε 7#/&5 4*FS 8FCαʔϏεاۀ ྲྀ࿘ͷຽ $
   
   +BWB ػցֶश
   *P5
   τϥΠΞϧࢀը 1ZUIPO (PMBOH
   લॲཧϥΠϒϥϦ։ൃͳͲ "LJCBHP $PEF
   GPS
   +BQBO Ϧʔμʔक़ %FW-07& 1VC 50$G& #PPUDBNQ 8"$"5& ϛʔΧϯύχʔגࣜձࣾ ೖ͙ͬͯ͢ɺϦʔϚϯγϣοΫͰ ֎ʹग़Εͳ͔ͬͨ l຤୺ड͚z 91ࡇΓॳࢀՃ 
3. 3 ϓϩϑΟʔϧ ా໺ޱେथ %BJLJ
   5BOPHVDIJ 
   !EQSPKFDU ϛʔΧϯύχʔגࣜձࣾ (PMBOH
   0VUTUBOEJOH
   %BUBFOHJOFFS
   (0% ྵࡉιϑτϋ΢ε 7#/&5 4*FS 8FCαʔϏεاۀ ྲྀ࿘ͷຽ $
   
   +BWB ػցֶश
   *P5
   τϥΠΞϧࢀը 1ZUIPO (PMBOH
   લॲཧϥΠϒϥϦ։ൃͳͲ "LJCBHP $PEF
   GPS
   +BQBO Ϧʔμʔक़ %FW-07& 1VC 50$G& #PPUDBNQ 8"$"5& ϛʔΧϯύχʔגࣜձࣾ ೖ͙ͬͯ͢ɺϦʔϚϯγϣοΫͰ ֎ʹग़Εͳ͔ͬͨ l຤୺ड͚z 91ࡇΓॳࢀՃ  ͢΂ͯͷόουσʔλΛ ੜ·ΕΔલʹফ͠ڈΓ͍ͨ ͤΊͯ"*#*ʹ৯ΘͤΔલʹ ফ͠ڈΓ͍ͨ ࠷ۙͷϙϦγʔ
4. mecompany Inc. 4 8 C: % # G+K $/& /0B — „ž’‘ -! 8 XVWV WX)Y( ,J'EZSYYSXQ – …šœ Œ†ƒXeQ 3 I ¡A>#¢ P* 9 ¡bci¢ WRVVV
    W_ 51NŸ?ŸD Ž“ Œ€ œš Š›žM6ŸF ldg ean mjg "L@ B" VYS\Z[]S^[]_ VYS\\\]SZ_XX t||y`UUvrpxvyow~Tvr t||y`UU{p}ruTvr t||y`UU{p}ruqo|oTvr t||y`UU{p}ruZvzTvr  L@ ?Ÿ51™ „ U7DU? =Ÿ2H / /ˆž‰‚ž‡ / fl /Ÿ™‚ / ŸŸ; ŸŸŸ /• ˜” ‹ ŸŸŸ 4OŸ?.< ŸŸŸ kbmdg Ž“ Œ ŸŸŸ kbmdgQsxzQhj 2018 9)8( ϓϩϑΟʔϧ
5. mecompany Inc. 5 ҩྍػؔɾༀہɾհޢࣄۀॴͷࢪઃɾ๏ਓσʔλϕʔε ϥΠηϯεͷൢചɾϝϯςφϯεΛߦ͍ͬͯ·͢ɻ 2018
   98 ϓϩϑΟʔϧ
6. mecompany Inc. 6 5%%΋ ͠ͳ͍Ͱ z"*z ͱ͸Կࣄͩ 91ࡇΓ
    ػցֶशͷ࿩͸ ΄΅͠·ͤΜ
7. mecompany Inc. 7 5%%΋ ͠ͳ͍Ͱ z"*z ͱ͸Կࣄͩ 91ࡇΓ
    ςετۦಈ։ൃ ͖ͪΜͱಡΜͰ ͳ͔ͬͨͰ͢ ͍͢·ͤΜ
8. <3S mecompany Inc. 8 7 > QP#? y!9/w (Az <[R'_Uw4KwF6_HX Z^\Wkxg* Y^]r`xmoic_ \'_%X y!9/w (Az 'U Cefjt@ ;B.E@ ;3uxbx ;3S MJ O2( SCUEL Projectpxlnx VL $=Ndxqf
   I8G &G ;wMwOdxqdx wwA 1Dsvoah M0 WEB WEB WEB SCUEL Projectpxlnx kxg58 )+ :T] HP 2018"9-8, ϓϩϑΟʔϧ
9. 2+H mecompany Inc. 9 - 4 FE5 t/'r !7u t/'r !7u J 9`bem6 18&;6 1+ns\s 1+H B? D*! SCUEL Projectjsghs KA 3C_skb
   > .= = 1rBrD_sk_s rr7 ):lpi[d B( WEB  WEB  WEB  SCUEL Projectjsghs fsc,. "# 0IW HP 20189%8$ G Z<NYOXV@TUPO fsc]oqaq^VQMRWASNL ϓϩϑΟʔϧ
10. mecompany Inc. 10 ެతͳެ։৘ใ͔Β z࢖͑Δz
    σʔλʹ࢓্ཱͯ͛ͨ ҩྍػؔɾༀہɾհޢࣄۀॴͷࢪઃɾ๏ਓσʔλϕʔε ϥΠηϯεͷൢചɾϝϯςφϯεΛߦ͍ͬͯ·͢ɻ 2018
    98 ϓϩϑΟʔϧ
11. 5-K ࠓ೔ͷ࿩͸ʜ mecompany Inc. 11 0 7 IH8 r2)p #:s r2)p #:s "M <abem9 4;(>9 4-nq_q 4-K EB G,# SCUEL Projectjqghq ND 6F`qkb
    A1@ !@ 4pEpG`qk`q pp: +=loi^d E* WEB  WEB  WEB  SCUEL Projectjqghq fqc.1 $% 3LZ HP 20189'8& J"]?Q\R[Y CWXSR fqc /YTPUZDVQO #*޲͚ͷ σʔλ ΫϨϯδϯάͷ ࿩Ͱ͢
12. 5-K ࠓ೔ͷ࿩͸ʜ mecompany Inc. 12 0 7 IH8 r2)p #:s r2)p #:s "M <abem9 4;(>9 4-nq_q 4-K EB G,# SCUEL Projectjqghq ND 6F`qkb
    A1@ !@ 4pEpG`qk`q pp: +=loi^d E* WEB  WEB  WEB  SCUEL Projectjqghq fqc.1 $% 3LZ HP 20189'8& J"]?Q\R[Y CWXSR fqc /YTPUZDVQO ࣗવݴޠॲཧ دΓͷ࿩Ͱ͢
13. 13 • σʔλͦͷ΋ͷͷ඼࣭Λ Ҿ্͖͛ΔͨΊʹ σʔλΫϨϯδϯάΛ͢Δ • σʔλΫϨϯδϯάΛ ͢ΔͨΊʹϓϩάϥϜΛॻ͘ • σʔλΫϨϯδϯάϓϩάϥϜͷ ඼࣭Λ୲อ͢ΔͨΊʹ ςετίʔυ΋ॻ͘ z࢖͑Δz
    σʔλΛ࢓ཱͯΔͨΊʹ
14. 14  
      EC UFDI
    TIPXDBTF
     %ηογϣϯ https://www.db-tech-showcase.com/dbts/tokyo  
    r  $PEF GPS +BQBO 4VNNJU ৽ׁ lόουΦʔϓϯσʔλڙཆࣉz ηογϣϯ https://summit2018.code4japan.org/session/210/ Ͱ׬શ൛Λ΍Γ·͢
15. 2018
    98 15 σʔλ։ൃͷݱ৔
16.  mecompany Inc. 16     
      
      2018 98 ެతػ͔ؔΒ։ࣔ͞Ε͍ͯΔσʔλ &YDFM
    $47ͷଞ 1%'
    8FCαΠτ
    ࢴʢ෺ཧʣ͕͋Δ ࢴͱઓ͏ͨΊʹ0$3Λ࢖ͬͨ͋ͱ͸ ޡೝࣝσʔλͱઓΘͳ͚Ε͹͍͚ͳ͍ɻ σʔλ։ൃͷݱ৔
17.  mecompany Inc. 17     
      
      2018 98 ެతػ͔ؔΒ։ࣔ͞Ε͍ͯΔσʔλ தʹ͸ zόουσʔλz ΋ଘࡏ͢Δ • ޡࣈ୤ࣈ • දهΏΕ • ҟମࣈ • ༣ศ൪߸ؒҧ͍ • ి࿩൪߸
    ͳ͔ͥ&ϝʔϧΞυϨε • ʙࢢʙ۠ ͷ͕۠ൈ͚͍ͯΔ σʔλ։ൃͷݱ৔
18. 18 ྫ͑͹ʜ
19. 2018
    98 19 ॅॴ 
    ۽ຊࢢձ෋ொYYY
20. 2018
    98 20 ۽ຊࢢձ෋ொ ೥ʹ ੓ྩࢦఆ౎ࢢ΁Ҡߦ
21. 2018
    98 21 ۽ຊࢢձ෋ொ ۽ຊࢢೆ۠ձ෋ொ ˓ 
    ✕ 
    
22. 2018
    98 22 5FM
    
    YYZZZ[[[[
    ʲNBJM
    
    YQKVH!FYBNQMFDPNʳ
23. 2018
    98 23 5FM
    
    YYZZZ[[[[
    ʲNBJM
    
    YQKVH!FYBNQMFDPNʳ ͳΜͰ ϝʔϧΞυϨε ೖ͍ͬͯΔΜͰ͢ʁ
24. 2018
    98 24 ͖Ε͍ͳσʔλʹ ͯ͋͛͠ͳ͍ͱ ෼ੳਫ਼౓͕ ޲্͠ͳ͍
25. 2018
    98 25 ͦ͜Ͱ 5%%Ͱ͢Α
26. https://www.slideshare.net/t_wada/tdd-agile-samurai-base-camp
27. σʔλΫϨϯδϯάϓϩάϥϜ ͷ։ൃαΠΫϧ 
    ϚτϞͳσʔλΛߟ͑Δ 
    ϚτϞͳσʔλΛzҙਤͨ͠ܗࣜzʹม׵ͨ͠ ݁ՌΛςετέʔεͱͯ͠௥Ճ͢Δ 
    ͦͷςετΛ࣮ߦࣦͯ͠ഊͤ͞Δ 3FE  lҙਤͨ͠ܗࣜzʹม׵͢ΔίʔυΛॻ͘ 
    Ͱॻ͍ͨςετΛ੒ޭͤ͞Δ (SFFO 
    ςετ͕௨Δ··ͰϦϑΝΫλϦϯάΛߦ͏ 3FGBDUPS  ߥΕͨσʔλΛ௥Ճͯ͠ʙΛ܁Γฦ͢
28. 28 import ( "testing" "github.com/stretchr/testify/assert” ) func TestCleansingExample (t *testing.T) { var testCases := []struct { desc string in string want string }{ {“ϚτϞͳσʔλ”, “03-1234-5678”, “03-1234-5678”}, {“ϝΞυೖͬͯΔߥΕͨσʔλ”, “TEL:03-1234-9876 email:xpjug@example.com”, “03-1234-9876”}, } for _, test := range testCases { assert.Equal(t, Cleansing(test.in), test.want, test.desc) } } ͜͜ʹ lߥΕͨσʔλz
    ͱ l๬·͍͠σʔλz
    ͷ ςετέʔεΛՃ͑ͯɺ 5%%ͷαΠΫϧΛճ͢
29. 29 https://www.slideshare.net/hironoriwashizaki/ess2018-112258214 2017 σʔλ ΫϨϯδϯά΋ ͜ͷαΠΫϧΛ ճ͢
30. ͜ͷಓͷΓͰσʔλΫϨϯδϯά ϓϩάϥϜΛҭͯͯʜ
31. ෼ੳͰ͖Δɺ͖Ε͍ͳσʔλ΁ 
     ͜ͷಓͷΓͰߴ͍ਫ਼౓ͷ σʔληοτΛ࡞Δ
32. ! mecompany Inc. 32   / -0 / -0  " 201898 લॲཧର৅σʔλ 
    ԯ௒߲໨ ʢ਺ेສϨίʔυ º਺ສ߲໨ʣ %'+.* 
    +.*,.) ࠃ಺๏ਓ 
    ສϨίʔυ ެతػ͔ؔΒ։ࣔ͞Ε͍ͯΔσʔλΛ౷߹͠ l࢖͑Δzσʔλʹ͢ΔͨΊɺલॲཧ͕ඞཁ #( $& +.*,.) ଞ͔ࣾΒߪೖͨ͠σʔλϕʔε 
    ਺ԯϨίʔυ σʔλ։ൃͷݱ৔
33. 33 େྔͷσʔλΫϨϯδϯάͰ ॲཧ݁ՌΛ֬ೝ͢ΔͨΊʹ • খ͍͞σʔληοτͰ ϑΟʔυόοΫαΠΫϧΛখ͘͞ճ͢ • ΑΓେ͖͍σʔληοτΛ૬खʹ ໷ؒόονͰ$*Λճ͢ • l໊دͤz
    ΍ՄࢹԽγεςϜ·ͰσʔλΛ σϦόϦͯ͠ϑΟʔυόοΫαΠΫϧΛ ճ͢
34. 2018
    98 34 σʔλΫϨϯδϯάΛ ͖ͬͪΓ΍ΔͱԿ͕ඒຯ͍͔͠ • දهΏΕΛഉআͯ͠NFDBCͰ ෼͔ͪॻ͖͠΍͍͢σʔλʹͳΔ • ༨෼ͳจࣈྻΛഉআͯ͠ɺଞͷ σʔληοτͱܨ͛ΒΕΔ • ΧςΰϦ෼͚ϥϕϦϯά͕͖Ε͍ʹ Ͱ͖ͯɺσʔλ෼ੳਫ਼౓্͕͕Δ
35. 2018
    98 35 ػցֶशͰ΋ ਫ਼౓େࣄ Ͱ͢ΑͶ
36. 36 https://www.slideshare.net/hironoriwashizaki/ess2018-112258214 σʔλͷ࡞ΓࠐΈɺػցֶशͷΠϯϑϥ͸ ैདྷͷΤϯδχΞϦϯά͕౔୆
37. 37 https://www.slideshare.net/hironoriwashizaki/ess2018-112258214 ػցֶशϞσϧ΋ɺσʔλ΋ ϑΟʔυόοΫΛճͯ͠ҭͯΔ
38. 38 https://www.slideshare.net/hironoriwashizaki/ess2018-112258214 ͜ͷ͋ͨΓͷ࿩͸ lεϚʔτΤεΠʔzΛ ཤम͢Δͱ͍͍ͱࢥ͍·͢ ʢࢲ͕ཤम͍ͨ͠ʣ
39. mecompany Inc. 39 ެతͳެ։৘ใ͔Β z࢖͑Δz
    σʔλʹ࢓্ཱͯ͛ͨ ҩྍػؔɾༀہɾհޢࣄۀॴͷࢪઃɾ๏ਓσʔλϕʔε ϥΠηϯεͷൢചɾϝϯςφϯεΛߦ͍ͬͯ·͢ɻ 2018
    98 σʔλ։ൃͷݱ৔
40. 40 • σʔλͦͷ΋ͷͷ඼࣭Λ Ҿ্͖͛ΔͨΊʹ σʔλΫϨϯδϯάΛ͢Δ • σʔλΫϨϯδϯάΛ ͢ΔͨΊʹϓϩάϥϜΛॻ͘ • σʔλΫϨϯδϯάϓϩάϥϜͷ ඼࣭Λ୲อ͢ΔͨΊʹ ςετίʔυ΋ॻ͘ z࢖͑Δz
    σʔλΛ࢓ཱͯΔͨΊʹ
41. 41 ۩ମతͳऔΓ૊Έ͸ 
    
      EC UFDI
    TIPXDBTF
     %ηογϣϯ l೔ຊൃʂ.Z42-
    6%'ͱ(PݴޠͰ ࡞ΔϏοάσʔλલॲཧج൫z Ͱ͓࿩͠·͢ https://www.db-tech-showcase.com/dbts/tokyo
42. 42 ۩ମతͳऔΓ૊Έ͸ 
    
    r  $PEF GPS +BQBO 4VNNJU ৽ׁ lόουΦʔϓϯσʔλڙཆࣉz Ͱ͓࿩͠·͢ https://summit2018.code4japan.org/session/210/ ։ࣔՄೳͳόουσʔλͷ౤ߘ ͓଴͓ͪͯ͠Γ·͢
43. 2018
    98 43 ݁ہͷͱ͜Ζ
44. 2018
    98 44 ػցֶश͸ ΞδϟΠϧ։ൃ ͕zલఏz
45. 45 5%%΋ ͠ͳ͍Ͱ z"*z ͱ͸Կࣄͩ 91ࡇΓ
    
46. 2018
    98 46 lΞδϟΠϧ։ൃ ·ͩ΍ͬͯͳ͍z
47. 2018
    98 47 ͋ͨͬͯ͠ ͍·͞ο
48. 48 91ͱ͸ ιʔγϟϧνΣϯδ Ͱ͋Δ UP
    CF
    DPOUJOVF
    ˠ 
    EC UFDI
    TIPXDBTF