アットホームな分析基盤の作り方 / Homemade Machine Learning Toolkits

ΞοτϗʔϜͳ  ෼ੳج൫ͷ࡞Γํ BZFNPT

ࣗݾ঺հ છ୩༔Ұ࿠<:VJDIJSP4PNFZB> ౦ژ޻ۀେֶେֶӃܭࢉ޻ֶम࢜ ΫοΫύουגࣜձࣾݚڀ։ൃ෦  ϦαʔνΤϯδχΞ೥݄d ػցֶशج൫
Ϩγϐσʔλͷ෼ੳ౳ UXJUUFSDPN!BZFNPT@Z HJUIVCDPNBZFNPT IUUQTXXXBZFNPTNF

ΫοΫύουݚڀ։ൃ෦ ೥݄ʹൃ଍ ౰࣌͸໊ͷϝϯόʔ ೥݄ݱࡏ͸ࠃ಺ʹ໊ ւ֎ʹ໊

ΫοΫύουͱػցֶश .ZϑΥϧμ ͓ؾʹೖΓػೳ ಺ͷϨγϐΛࣗಈΧςΰϦ෼ྨ ʮྉཧ͖Ζ͘ʯεϚʔτϑΥϯ಺ͷྉཧࣸਅΛΧϨϯμʔܗࣜ ͰৼΓฦΓ ࡐྉ໊ͷਖ਼نԽ
౳ʑ ৄ͘͠͸IUUQTUFDIMJGFDPPLQBEDPN

BHFOEB ΫοΫύουͷ෼ੳج൫ͷ঺հ ෼ੳج൫ͷ͜Ε͔Β

ج൫঺հͦͷ;PPFZ

෼ੳͱ࣮ݧΛ֤͕ࣗࣗ༝ʹߦ͏ͨΊͷ࠷௿ݶͷج൫

ج൫঺հͦͷ̍;PPFZ ܭࢉػ؀ڥߏங༻$IBU#PU ܭࢉػ؀ڥͷ࡞੒ʗ্ཱͪ͛ʗఀࢭʗ࡟আ ΞΠυϧঢ়ଶͷܭࢉػΛࣗಈఀࢭ

$6%" DV%// $6%" DV%// %FFQ-FBSOJOH".*+BO  FUD 0VUHPJOH8FCIPPLT
TMBDL@VJE6 DPNNBOEDSFBUFXPSLCFODI MBNCEB*OWPLF 71$ 4VCOFU /BNFλά౳  ؀ڥಛ༗ͷઃఆ΋͜͜Ͱ΍Δ ΠϯελϯεʹATMBDL@VJEAΛ  λά෇͚ͯ͠ॴ༗ऀΛ؅ཧ͢Δ DSFBUFXPSLCFODI ;PPFZ

ATTIBZFNPTXPSLCFODIEOTDPNA ;PPFZ *ODPNJOH8FCIPPLT TTI

;PPFZ 4UPQ ΞΠυϧͳΠϯελϯεΛࣗಈఀࢭ

ج൫঺հͦͷ̍;PPFZ ಺੡ͷԾ૝*NBHF %FFQ-FBSOJOH".* Λར༻Մೳ Πϯελϯε࡞੒ͷೖΓޱΛҰຊԽ ωοτϫʔΫɺηΩϡϦςΟपΓͷࡉ͔͍ઃఆΛٵऩ 
ར༻ଆ͸*NBHFΛ൪߸ͰબͿ͚ͩ ࣾ಺ΠϯϑϥͷมԽʹରͯ͠͸πʔϧͷΞοϓσʔτͰରԠ ւ֎ͷϝϯόʔ΋ར༻ IUUQTBXTBNB[PODPNKQNBDIJOFMFBSOJOHBNJT

ج൫঺հͦͷ̍;PPFZ ֤͕ࣗSPPUΛऔΕΔΠϯελϯεΛ෷͍ग़͢ গʑલ࣌୅తʁ ॊೈੑ͸ߴ͘ɺ࣮ݧஈ֊ͷ؀ڥͱͯ͠͸࢖͍৺஍͕Α͍ ࣗಈఀࢭ΋͋ΔͷͰ֤ࣗ҆৺ͯ͠ඞཁͳ্ཱ͚ͩͪ͛ΒΕΔ
ʮ࣮ݧʯΛؚΊαϙʔτ͢Δڞ௨ج൫Λ࣋ͨͳ͍ͷͰ  ʮ࣮ݧʯʮຊ൪ʯͷ1PSUBCJMJUZ͸ผ్ิڧ͢Δඞཁ͕͋Δ

ج൫঺հͦͷσʔλج൫

͍ΘΏΔ%8) 42-ϕʔεͷ&5-ج൫

σʔλج൫ ͜Ε͸ओʹผνʔϜ σʔλج൫άϧʔϓ ʹΑΔ؅ཧ "NB[PO3FETIJGUʹΑΔ%8)ߏங .Z42-3FETIJGU΁ͷΠϯϙʔτδϣϒΛίʔυ؅ཧ
ৄ͘͠͸IUUQTUFDIMJGFDPPLQBEDPNFOUSZ

σʔλج൫ͷར༻ঢ়گ %8)͕ਆ &5- ࣮ݧͷ౓ʹ֤͕ࣗ౎౓ߦ͍ɺεΫϦϓτԽ͢Δࣄ͕ଟ͍ ڞ௨&5-ج൫ͷར༻ɺதؒσʔλͷڞ༗ͳͲʹର͢Δχʔζ ͸ͦ͜·Ͱେ͖͘ͳ͍
ݱঢ়

ج൫঺հͦͷίʔυ؅ཧ

ج൫঺հͦͷίʔυ؅ཧ ج൫ʁ DPPLJFDVUUFSEBUBTDJFODF ࣾ಺GPSL Λར༻ ϓϩδΣΫτߏ੒ͷςϯϓϨʔτ
ATSDEBUBA ATSDNPEFMAσʔλੜ੒ɺֶशεΫϦϓτ AEBUBA ANPEFMTAσʔλɺϞσϧ HJUʹ͸DIFDLJOͤͣɺ4ͱTZOD͢Δ ANBLFTZOD@EBUB@UP@TA

ج൫঺հͦͷίʔυ؅ཧ IUUQTHJUIVCDPNEPDLFSTDJFODFDPPLJFDVUUFSEPDLFS TDJFODF DPPLJFDVUUFSEBUBTDJFODFΛࢀߟʹͨ͠ςϯϓϨʔτ EPDLFSΛར༻͠ɺϓϩδΣΫτͷ࣮ݱੑΛ͞ΒʹߴΊΔ OPUFCPPLͷ্ཱͪ͛
1PSUGPSXBSE౳ߦ͏UBSHFU΋

ج൫·ͱΊ ݱঢ়͸౷ҰԽ͞ΕͨػցֶशϓϥοτϑΥʔϜΛར༻͍ͯ͠ͳ͍ ࣗ੡πʔϧͷ૊Έ߹Θͤ %8)Ͱ͓͓ΉͶճ͍ͬͯΔ ج൫ͦͷ΋ͷͷ؅ཧίετͳͲߟྀͭͭ͠ਐΊͨ݁Ռ  ݱঢ়͸ ൺֱతΧδϡΞϧͳӡ༻ͱͳ͍ͬͯΔ

෼ੳج൫ͷࠓޙ ʙΞοτϗʔϜͳ෼ੳج൫͔Βେ౷Ұج൫΁ͷಓͷΓʙ ͔͜͜Βߟ࡯

෼ੳج൫ͷࠜຊత՝୊ (FOFSJDBOE&YUFOTJCMF

෼ੳج൫ͷࠜຊత՝୊ 5'9"5FOTPS'MPX#BTFE1SPEVDUJPO4DBMF.BDIJOF-FBSOJOH1MBUGPSN ΑΓ l5IFNBDIJOFMFBSOJOHQMBUGPSNNVTUCFHFOFSJD FOPVHIUPIBOEMFUIFNPTUDPNNPOTFUPGMFBSOJOH UBTLTBTXFMMBTCFFYUFOTJCMFUPTVQQPSUPOFP⒎ BUZQJDBMVTFDBTFTz ҙ༁ ػցֶशج൫͸แׅత͔֦ͭுՄೳͰ͋Δ΂͖

(FOFSJDBOE&YUFOTJWF ʰ࣮ݧ͔Βຊ൪ӡ༻·Ͱɺ౷߹తͳ؀ڥͰػցֶशʱ  ͠Α͏ͱ͍ͯ͠Δ (FOFSJDͳΔ΂͘ଟ͘ͷϢʔεέʔεʹ ಁաతʹ ରԠ͍ͨ͠ ྑ͍ந৅Խͱ"1*֦ॆͷؤுΓ͖ͬͱେม
&YUFOTJWFྫ֎తͳέʔεʹରͯ͠΋ গͳ͍࿑ྗͰ ରԠ͍ͨ͠ ೚ҙͷίʔυΛࠩ͠ࠐΊΔ৔ॴΛ༻ҙ͢Δɺͱ͔ʜ

(FOFSJDBOE&YUFOTJWF αϙʔτ͢Δ໰୊ͷόϦΤʔγϣϯͱͷઓ͍͸ଓ͘ ෼ྨʗճؼ͘Β͍ͷந৅Խ͔Β࿙Εͯ͠·͏෦෼͕ແࢹͰ͖ͳ͍ ྔʹͳ͍ͬͯΔ ཁग़య ج൫ͱ͍͏ܕʹ͸ΊΔ͜ͱͰࣦΘΕΔॊೈੑͷ૯ྔΛ༧ଌ͢Δ͜
ͱ͸ग़དྷͳ͍ ཁग़య

ߟ࡯ ج൫͸େมͳ͸ͣͳͷͰ ࡞Δਓͱ࢖͏ਓ͕૿͑ͯίϛϡχςΟ͕੒௕ ͢Δඞཁ͕͋Δ ҰํɺνʔϜͷεέʔϧʹ࠷దԽ͞ΕͨπʔϧΛར༻ʗࣗ੡ͯ͠ࡁ·ͤ Δͱ͍͏બ୒ࢶ΋͋Δ ͦͷΑ͏ͳݱ৔͔Β͸౷Ұ͞Εͨ෼ੳج൫ʹΑͬͯ΋ͨΒ͞ΕΔϝϦο
τ͕Πϝʔδ͠ʹ͍͘

ߟ࡯ ͷͰɺ લड़ͨ͠Α͏ͳ՝୊Λ্๊͑ͨͰ ෼ੳج൫͕ଧͪग़͢ϝϦοτ͸Կ͔ɺΛߟ͑Δ ͷ͕େࣄͩͱࢥ͏ ػցֶशΛج൫ͳ͠Ͱεέʔϧͤ͞Δͷ͕ ෆՄೳʹۙ͘ ೉͍͔͠Βɺ 
ಋೖʹ൐͏ίετ΍՝୊Λड͚ೖΕͯͰ΋ج൫ʹैͬͯ։ൃ͢Δͱ͍͏બ୒Λ͢΂͖ɺ ͳͷ͔ εέʔϧ͕೉͍͠ͱ͍͏࣮ײΛ ۀքશମ͕ ࠓͷ࣌఺Ͱ ಘ͍ͯΔͷ͔ ڞ௨ج൫Խ͢Δ͜ͱʹΑͬͯಘΒΕΔߴڃͳػೳ "#ςετɺ؂ࢹͳͲ   ͷັྗΛԡ͠ग़͢ͷ͔ ౳ʑ

ߟ࡯ ʮσʔλͷྲྀΕ͕͋ΓɺγεςϜ͕σʔλͱڞʹ੒௕͢ΔΑ͏ͳγε ςϜʯ·Ͱࢹ໺Λ޿͛Δͱʜ ػցֶशΛ༻͍ͳ͍ ݕࡧΤϯδϯ΋ٞ࿦ͷର৅  ͱͳΔͷ͕ඞવ ݕࡧΤϯδϯࣗମ͸ಠࣗਐԽͯ͠ΔͷͰ৽ͨͳ 
ιϦϡʔγϣϯΛଧͪग़͢༨஍͸ͳ͍͔΋͠Εͳ͍͕ʜ ͱ͸͍͑χϡʔϥϧݕࡧ౳૊Έ߹ΘͤͨγεςϜʹର͢Δ  χʔζ͸ࠓޙ૿͍͑ͯ͘͸ͣ ͜͜·Ͱ&YUFOTJCMFʹͳΕΔ͔ ͳΔ΂͖͔ IUUQTXXXBNB[PODPKQ#VJMEJOH*OUFMMJHFOU4ZTUFNT-FBSOJOH&OHJOFFSJOHFCPPLEQ##82)3

·ͱΊ ΫοΫύουݚڀ։ൃ෦͕ར༻͍ͯ͠Δ෼ੳج൫Λ঺հ ෦಺ʹج൫୲౰͕͍ͯɺϢʔεέʔεʹরΒ͠߹Θͤͳ͕Βۀ຿վળ ݱঢ়͸ࣗ੡πʔϧͷ૊Έ߹Θͤ %8)Ͱ͓͓ΉͶຬ଍ ෼ੳج൫ͷ͜Ε͔Β
ݱ৔ͱͯ͠͸ͨ͘͞ΜͷϢʔεέʔεΛൃ৴͍ͯ͘͠ ػցֶशͷ๊͑Δ՝୊Λ۩ମԽ͠ɺϝοηʔδͱͯ͠఻͍͑ͯ͘ͷ͕  ॏཁͰେมͦ͏

アットホームな分析基盤の作り方 / Homemade Machine Learning Too...

アットホームな分析基盤の作り方 / Homemade Machine Learning Toolkits

Yuichiro Someya

More Decks by Yuichiro Someya

Other Decks in Programming

Featured

Transcript

ΞοτϗʔϜͳ  ෼ੳج൫ͷ࡞Γํ BZFNPT

ࣗݾ঺հ છ୩༔Ұ࿠<:VJDIJSP4PNFZB> ౦ژ޻ۀେֶେֶӃܭࢉ޻ֶम࢜ ΫοΫύουגࣜձࣾݚڀ։ൃ෦  ϦαʔνΤϯδχΞ೥݄d ػցֶशج൫

ΫοΫύουݚڀ։ൃ෦ ೥݄ʹൃ଍ ౰࣌͸໊ͷϝϯόʔ ೥݄ݱࡏ͸ࠃ಺ʹ໊ ւ֎ʹ໊

ΫοΫύουͱػցֶश .ZϑΥϧμ ͓ؾʹೖΓػೳ ಺ͷϨγϐΛࣗಈΧςΰϦ෼ྨ ʮྉཧ͖Ζ͘ʯεϚʔτϑΥϯ಺ͷྉཧࣸਅΛΧϨϯμʔܗࣜ ͰৼΓฦΓ ࡐྉ໊ͷਖ਼نԽ

BHFOEB ΫοΫύουͷ෼ੳج൫ͷ঺հ ෼ੳج൫ͷ͜Ε͔Β

ج൫঺հͦͷ;PPFZ

෼ੳͱ࣮ݧΛ֤͕ࣗࣗ༝ʹߦ͏ͨΊͷ࠷௿ݶͷج൫

ج൫঺հͦͷ̍;PPFZ ܭࢉػ؀ڥߏங༻$IBU#PU ܭࢉػ؀ڥͷ࡞੒ʗ্ཱͪ͛ʗఀࢭʗ࡟আ ΞΠυϧঢ়ଶͷܭࢉػΛࣗಈఀࢭ

$6%" DV%// $6%" DV%// %FFQ-FBSOJOH".*+BO  FUD 0VUHPJOH8FCIPPLT

ATTIBZFNPTXPSLCFODIEOTDPNA ;PPFZ *ODPNJOH8FCIPPLT TTI

;PPFZ 4UPQ ΞΠυϧͳΠϯελϯεΛࣗಈఀࢭ

ج൫঺հͦͷ̍;PPFZ ಺੡ͷԾ૝NBHF %FFQ-FBSOJOH". Λར༻Մೳ Πϯελϯε࡞੒ͷೖΓޱΛҰຊԽ ωοτϫʔΫɺηΩϡϦςΟपΓͷࡉ͔͍ઃఆΛٵऩ

ج൫঺հͦͷ̍;PPFZ ֤͕ࣗSPPUΛऔΕΔΠϯελϯεΛ෷͍ग़͢ গʑલ࣌୅తʁ ॊೈੑ͸ߴ͘ɺ࣮ݧஈ֊ͷ؀ڥͱͯ͠͸࢖͍৺஍͕Α͍ ࣗಈఀࢭ΋͋ΔͷͰ֤ࣗ҆৺ͯ͠ඞཁͳ্ཱ͚ͩͪ͛ΒΕΔ

ج൫঺հͦͷσʔλج൫

͍ΘΏΔ%8) 42-ϕʔεͷ&5-ج൫

σʔλج൫ ͜Ε͸ओʹผνʔϜ σʔλج൫άϧʔϓ ʹΑΔ؅ཧ "NB[PO3FETIJGUʹΑΔ%8)ߏங .Z42-3FETIJGU΁ͷΠϯϙʔτδϣϒΛίʔυ؅ཧ

σʔλج൫ͷར༻ঢ়گ %8)͕ਆ &5- ࣮ݧͷ౓ʹ֤͕ࣗ౎౓ߦ͍ɺεΫϦϓτԽ͢Δࣄ͕ଟ͍ ڞ௨&5-ج൫ͷར༻ɺதؒσʔλͷڞ༗ͳͲʹର͢Δχʔζ ͸ͦ͜·Ͱେ͖͘ͳ͍

ج൫঺հͦͷίʔυ؅ཧ

ج൫঺հͦͷίʔυ؅ཧ ج൫ʁ DPPLJFDVUUFSEBUBTDJFODF ࣾ಺GPSL Λར༻ ϓϩδΣΫτߏ੒ͷςϯϓϨʔτ

ج൫঺հͦͷίʔυ؅ཧ IUUQTHJUIVCDPNEPDLFSTDJFODFDPPLJFDVUUFSEPDLFS TDJFODF DPPLJFDVUUFSEBUBTDJFODFΛࢀߟʹͨ͠ςϯϓϨʔτ EPDLFSΛར༻͠ɺϓϩδΣΫτͷ࣮ݱੑΛ͞ΒʹߴΊΔ OPUFCPPLͷ্ཱͪ͛

ج൫·ͱΊ ݱঢ়͸౷ҰԽ͞ΕͨػցֶशϓϥοτϑΥʔϜΛར༻͍ͯ͠ͳ͍ ࣗ੡πʔϧͷ૊Έ߹Θͤ %8)Ͱ͓͓ΉͶճ͍ͬͯΔ ج൫ͦͷ΋ͷͷ؅ཧίετͳͲߟྀͭͭ͠ਐΊͨ݁Ռ  ݱঢ়͸ ൺֱతΧδϡΞϧͳӡ༻ͱͳ͍ͬͯΔ

෼ੳج൫ͷࠓޙ ʙΞοτϗʔϜͳ෼ੳج൫͔Βେ౷Ұج൫΁ͷಓͷΓʙ ͔͜͜Βߟ࡯

෼ੳج൫ͷࠜຊత՝୊ (FOFSJDBOE&YUFOTJCMF

෼ੳج൫ͷࠜຊత՝୊ 5'9"5FOTPS'MPX#BTFE1SPEVDUJPO4DBMF.BDIJOF-FBSOJOH1MBUGPSN ΑΓ l5IFNBDIJOFMFBSOJOHQMBUGPSNNVTUCFHFOFSJD FOPVHIUPIBOEMFUIFNPTUDPNNPOTFUPGMFBSOJOH UBTLTBTXFMMBTCFFYUFOTJCMFUPTVQQPSUPOFP⒎ BUZQJDBMVTFDBTFTz ҙ༁ ػցֶशج൫͸แׅత͔֦ͭுՄೳͰ͋Δ΂͖

(FOFSJDBOE&YUFOTJWF ʰ࣮ݧ͔Βຊ൪ӡ༻·Ͱɺ౷߹తͳ؀ڥͰػցֶशʱ  ͠Α͏ͱ͍ͯ͠Δ (FOFSJDͳΔ΂͘ଟ͘ͷϢʔεέʔεʹ ಁաతʹ ରԠ͍ͨ͠ ྑ͍ந৅Խͱ"1*֦ॆͷؤுΓ͖ͬͱେม

(FOFSJDBOE&YUFOTJWF αϙʔτ͢Δ໰୊ͷόϦΤʔγϣϯͱͷઓ͍͸ଓ͘ ෼ྨʗճؼ͘Β͍ͷந৅Խ͔Β࿙Εͯ͠·͏෦෼͕ແࢹͰ͖ͳ͍ ྔʹͳ͍ͬͯΔ ཁग़య ج൫ͱ͍͏ܕʹ͸ΊΔ͜ͱͰࣦΘΕΔॊೈੑͷ૯ྔΛ༧ଌ͢Δ͜

ߟ࡯ ج൫͸େมͳ͸ͣͳͷͰ ࡞Δਓͱ࢖͏ਓ͕૿͑ͯίϛϡχςΟ͕੒௕ ͢Δඞཁ͕͋Δ ҰํɺνʔϜͷεέʔϧʹ࠷దԽ͞ΕͨπʔϧΛར༻ʗࣗ੡ͯ͠ࡁ·ͤ Δͱ͍͏બ୒ࢶ΋͋Δ ͦͷΑ͏ͳݱ৔͔Β͸౷Ұ͞Εͨ෼ੳج൫ʹΑͬͯ΋ͨΒ͞ΕΔϝϦο

ߟ࡯ ͷͰɺ લड़ͨ͠Α͏ͳ՝୊Λ্๊͑ͨͰ ෼ੳج൫͕ଧͪग़͢ϝϦοτ͸Կ͔ɺΛߟ͑Δ ͷ͕େࣄͩͱࢥ͏ ػցֶशΛج൫ͳ͠Ͱεέʔϧͤ͞Δͷ͕ ෆՄೳʹۙ͘ ೉͍͔͠Βɺ

ߟ࡯ ʮσʔλͷྲྀΕ͕͋ΓɺγεςϜ͕σʔλͱڞʹ੒௕͢ΔΑ͏ͳγε ςϜʯ·Ͱࢹ໺Λ޿͛Δͱʜ ػցֶशΛ༻͍ͳ͍ ݕࡧΤϯδϯ΋ٞ࿦ͷର৅  ͱͳΔͷ͕ඞવ ݕࡧΤϯδϯࣗମ͸ಠࣗਐԽͯ͠ΔͷͰ৽ͨͳ

·ͱΊ ΫοΫύουݚڀ։ൃ෦͕ར༻͍ͯ͠Δ෼ੳج൫Λ঺հ ෦಺ʹج൫୲౰͕͍ͯɺϢʔεέʔεʹরΒ͠߹Θͤͳ͕Βۀ຿վળ ݱঢ়͸ࣗ੡πʔϧͷ૊Έ߹Θͤ %8)Ͱ͓͓ΉͶຬ଍ ෼ੳج൫ͷ͜Ε͔Β