cookpadで学ぶ自然言語処理＆機械学習/internship2016

DPPLQBEͰֶͿࣗવݴޠॲཧˍػցֶश ݪౡ७

ࠓ೔ͷׂ࣌ؒ
ࣗવݴޠॲཧʢߨٛˍ࣮शʣ ٳΈ࣌ؒ ػցֶशʢߨٛʣ ٳΈ࣌ؒ ϥϯν ػցֶशʢ࣮शʣ ٳΈ࣌ؒ ੒Ռൃද ٳΈ࣌ؒ ໘ஊ

ࣗݾ঺հ ɾݪౡ७ ɹɾॴଐɿݚڀ։ൃ෦ ɹɾݞॻɿΤϯδχΞɺത࢜ʢ৘ใֶʣ ɹɾઐ໳ɿࣗવݴޠॲཧ

ࣗવݴޠॲཧʢߨٛʣ ʙ෼ͰֶͿࣗવݴޠॲཧʙ

ΰʔϧ ॳֶऀͷํ͕ ʮࣗવݴޠॲཧʁେମ஌ͬͯΔΑʯ ͬͯݴ͑ΔΑ͏ʹͳΔ

ࣗવݴޠॲཧ ࣗવݴޠΛίϯϐϡʔλͰѻ͏ͨΊͷٕज़ ࣗવݴޠࣗવൃੜతʹੜ·ΕͨݴޠʢFH ೔ຊޠʣ ਓ޻ݴޠਓ޻తʹ࡞ΒΕͨݴޠʢFH $ݴޠʣ

ΞϓϦέʔγϣϯ ɾݕࡧΤϯδϯ ɹɾ(PPHMFɺ:BIPPɺ ɾࣗಈ຋༁ ɹɾ(PPHMF຋༁ɺΤΩαΠτ຋༁ɺ ɾ࣭໰Ԡ౴ ɹɾ8BUTPOɺ4JSJɺ ɾԾ໊׽ࣈม׵ ɹɾ(PPHMF*.&ɺ"50,ɺ

جૅղੳ ܗଶૉղੳ ߏจղੳ ݻ༗දݱೝࣝ ֨ղੳ লུরԠղੳ ಉٛදݱೝࣝ ޠٛᐆດੑղফ ஊ࿩ߏ଄ղੳ ୯ޠϨϕϧ
ߏจϨϕϧ จ຺Ϩϕϧ ҙຯϨϕϧ ΞϓϦέʔγϣϯ

ࠓ೔ͷτϐοΫ ɾجૅղੳ ɹɾܗଶૉղੳ ɹɾݻ༗දݱೝࣝ ɹɾߏจղੳ ɹɾলུরԠղੳ ɹɾஊ࿩ߏ଄ղੳ ɹɾ֨ղੳ ɹɾಉٛදݱೝࣝ ɹɾޠٛᐆດੑղফ
ɾΞϓϦέʔγϣϯ ɹɾݕࡧΤϯδϯ ɹɾࣗಈ຋༁ ɹɾ࣭໰Ԡ౴ ɹɾ͔ͳ׽ࣈม׵

ܗଶૉղੳ ୯ޠͷ۠੾Γͱ඼ࢺɺݪܗΛࣝผ͢Δॲཧ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ଠ࿠͸ژ౎ʹߦͬͨ ໊ࢺ ໊ࢺ
ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ղੳ༻ͷࣙॻΛࢀরͯ͠ɺҰ൪΋ͬͱ΋Β͍͠ ʢҰ൪ίετͷ૯࿨͕௿͍ʣ୯ޠྻΛબ୒͢Δ ଠ࿠ ໊ࢺ ژ౎ ໊ࢺ ژ ໊ࢺ ౎ ໊ࢺ ࣙॻ ੜىίετ ੜىίετͷ΄͔ʹ୯ޠؒͷ࿈઀ίετ΋ߟྀ

ܗଶૉղੳJODPPLQBE ಲͷʹΜʹ͘ে༉ম͖ ͷ ʹΜʹ͘ ে༉ ໊ࢺ ໊ࢺ ॿࢺ ໊ࢺ c
c c c ম͘ ಲ ম͖ ಈࢺ

ݻ༗දݱೝࣝ จதͷݻ༗දݱʢFHਓ໊ɺ஍໊ʣΛೝࣝ͢Δॲཧ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ
ॿࢺ ॿࢺ c c c c ߦ͘ ଠ࿠ ͸ ژ౎ ʹ ߦͬͨ ਓ໊ ஍໊ ܇࿅σʔλΛ༻ҙͯ͠ɺͲͷΑ͏ͳ୯ޠྻ͕ ͲͷΑ͏ͳݻ༗දݱʹͳΓ͏Δ͔Λֶश ࣍࿠͸ژ౎ʹߦͬͨɻ Ֆࢠ͸େࡕʹߦͬͨɻ ܇࿅σʔλ ਓ໊ ਓ໊ ஍໊ ஍໊ ݻ༗දݱೝࣝث

ಛച৘ใʢళฮ͔Β౤ߘʣ ݻ༗දݱೝࣝ ͨ·Ͷ͗ݸ ԁ ͨ·Ͷ͗υϨογϯά ԁ ͨ·Ͷ͗ɹݸ ঎඼໊
ͨ·Ͷ͗ɹυϨογϯά ঎඼໊ ʮͨ·Ͷ͗ʯͰొ࿥ ʮͨ·Ͷ͗υϨογϯάʯͰొ࿥ 0OMJOF Ϣʔβͷۙลͷళฮ͔Β ঎඼໊ʮͨ·Ͷ͗ʯΛݕࡧ ݻ༗දݱೝࣝJODPPLQBE

ߏจղੳ จͷߏ଄ʢ೔ຊޠͰ͸จઅͷ۠੾Γͱ܎ΓઌʣΛ໌Β͔ʹ͢Δॲཧ ҎԼͷ৘ใ͔Βࣝผ ɾจઅ͸લ͔ΒޙΖʹ܎Δ ɾจઅ͸ͨͩҰͭͷจઅʹ܎Δ ɾ܎Γड͚͸ޓ͍ʹަࠩ͠ͳ͍ ɾ࠷΋͍ۙจઅʹ܎Γ΍͍͢ ɾ ଠ࿠ ͸
ژ౎ ʹ ߦͬͨ ໊ࢺ ໊ࢺ ಈࢺ ॿࢺ ॿࢺ c c c c ߦ͘ ଠ࿠͸ ژ౎ʹ ߦͬͨ c c จઅͷ۠੾ΓΛࣝผ ߦͬͨ ଠ࿠͸ ژ౎ʹ จઅͷ܎ΓઌΛࣝผ จઅ͸ݸҎ্ͷ಺༰ޠʢFH໊ࢺʣͱݸ Ҏ্ͷ෇ଐޠʢFHॿࢺʣ͔ΒͳΔ

লུরԠղੳ রԠࢺ จষதͷಉҰදݱΛಉఆ͢Δॲཧ ઌߦࢺ রԠղੳ লུղੳʢθϩরԠղੳʣ ޲͔ͬͨ ൴͸ ਗ਼ਫࣉʹ ·ͣ
ଠ࿠͸ ژ౎ʹ ߦͬͨ θϩ୅໊ࢺ ઌߦࢺ ޲͔ͬͨ ൴͸ ਗ਼ਫࣉʹ ·ͣ ଠ࿠͸ ژ౎ʹ ߦͬͨ θϩ୅໊ࢺʢলུ͞ΕͨরԠࢺʣʹؾ෇͘ͱ͜Ζ͔Β ελʔτ ҎԼͷ৘ใ͔Βಉఆ ɾরԠࢺͱઌߦࢺͷੑผ͸ಉ͡ ɾઌߦࢺ͸ʮ͸ʯΛ൐͍΍͍͢ ɾরԠࢺͱઌߦࢺ͸ͦΕ΄Ͳ཭Εͳ͍ ɾ

୯ޠϨϕϧ ߏจϨϕϧ ίϯϐϡʔλɹʹɹܭࢉػ ίϯϐϡʔλɹʹɹίϯϐϡʔλʔ ܠؾ͕ྫྷ͑Δɹʹɹܠؾ͕Լ͕Δ ಉٛදݱೝࣝ ಉ͡ҙຯΛ࣋ͭදݱΛೝࣝ͢Δॲཧ ্͸ҟදهಉٛʢಉ͡୯ޠͷදه༳Εʣ Լ͸ҟܗಉٛʢҟͳΔ୯ޠ͕ಉ͡ҙຯʣ ୯ޠϨϕϧͰ͸ʮྫྷ͑Δʯ㱠ʮԼ͕Δʯ͕ͩ
ʮܠؾ͕ʯ͕෇͘ͱಉٛ

ಉٛදݱೝࣝJODPPLQBE

ࠓ೔ͷτϐοΫ ɾجૅղੳ ɹɾܗଶૉղੳ ɹɾݻ༗දݱೝࣝ ɹɾߏจղੳ ɹɾলུরԠղੳ ɹɾஊ࿩ߏ଄ղੳ ɹɾ֨ղੳ ɹɾಉٛදݱೝࣝ ɹɾޠٛᐆດੑղফ
ɾΞϓϦέʔγϣϯ ɹɾݕࡧΤϯδϯ ɹɾࣗಈ຋༁ ɹɾ࣭໰Ԡ౴ ɹɾ͔ͳ׽ࣈม׵

ݕࡧΤϯδϯ ΫΤϦʹؔ࿈͢ΔϦιʔεʢFHจॻʣΛऔಘ͢Δॲཧ ΠϯσΩγϯά సஔΠϯσοΫε ୯ޠ͔Βจॻ΁ͷϚοϐϯά 0⒐JOF 0OMJOF จॻଠ࿠͸ژ౎ʹߦͬͨ จॻ࣍࿠͸ژ౎ʹߦͬͨ ܗଶૉղੳ
จॻଠ࿠c͸cژ౎cʹcߦͬͨ จॻ࣍࿠c͸cژ౎cʹcߦͬͨ ଠ࿠\^ ࣍࿠\^ ژ౎\ ^ ΫΤϦʮଠ࿠ʯ ݕࡧ݁Ռɿจॻ ΫΤϦʮژ౎ʯ ݕࡧ݁Ռɿจॻ จॻ సஔΠϯσοΫεΛࢀর సஔΠϯσοΫεΛࢀর

ݕࡧΤϯδϯJODPPLQBE

ࣗಈ຋༁ ίϯϐϡʔλʹΑΔผͷݴޠͷ౳Ձͳจষ΁ͷஔ׵ ೔ɿଠ࿠͸ژ౎ʹߦͬͨ ӳɿ5BSPXFOUUP,ZPUP ܗଶૉղੳɺߏจղੳɺ ݴޠ୯Ґ͝ͱʹ຋༁ ߦͬͨ ଠ࿠͸ ژ౎ʹ 5BSP
UP,ZPUP XFOU MFBWF ࣗવจΛੜ੒ ೖྗจΛԿΒ͔ͷݴޠ୯ҐʢFH ୯ޠɺ୯ޠ ྻʣͰදݱ ຋༁ީิΛ૊Έ߹Θͤͯෳ਺ͷจΛੜ੒ ͦͷத͔Β΋ͬͱ΋ࣗવͳ΋ͷΛग़ྗ ֤ݴޠ୯Ґʹ͍ͭͯର༁ࣙॻ͔Β຋༁ީิΛ બ୒ʢର༁ࣙॻ͸༧Ίߏங͓ͯ͘͠ʣ

ࣗಈ຋༁JODPPLQBE ਓखΛհͣ͞ ຋༁͍ͨ͠ ݚ ڀ த

ߨٛͷ·ͱΊ ɾࣗવݴޠॲཧ ɹɾࣗવݴޠΛίϯϐϡʔλͰѻ͏ͨΊͷٕज़ ɾجૅղੳ ɹɾܗଶૉղੳɺߏจղੳɺলུরԠղੳɺಉٛදݱೝࣝɺ ɾΞϓϦέʔγϣϯ ɹɾݕࡧΤϯδϯɺࣗಈ຋༁ɺ

ࣗવݴޠॲཧʢ࣮शʣ ʙϨγϐͷղੳʙ

ܗଶૉղੳث +6."/ $IB4FO .F$BC ,Z5FB ػցֶशʢੜ੒ϞσϧʣʹΑΔίετௐ੔
ػցֶशʢࣝผϞσϧʣʹΑΔίετௐ੔ ֶशσʔλͷߏஙΛ༰қʹ ਓखʹΑΔίετௐ੔

.F$BC ɾݱࡏͷσϑΝΫτ ɹɾߴਫ਼౓Ͱ࢖͍΍͍ͨ͢Ί ɾ࢖͍ํ ɹɾ45%*/ʹͭͬ͜Ή͚ͩ NFDBC ଠ࿠͸ژ౎ʹߦͬͨ&OUFS ଠ࿠ɹ໊ࢺ ݻ༗໊ࢺ ਓ໊
໊ ଠ࿠ λϩ΢ λϩʔ ͸ɹɹॿࢺ ܎ॿࢺ ͸ ϋ ϫ ژ౎ɹ໊ࢺ ݻ༗໊ࢺ ஍Ҭ Ұൠ ژ౎ Ωϣ΢τ Ωϣʔτ ʹɹɹॿࢺ ֨ॿࢺ Ұൠ ʹ χ χ ߦͬɹಈࢺ ཱࣗ ޒஈɾΧߦଅԻศ ࿈༻λ઀ଓ ߦ͘ Πο Πο ͨɹɹॿಈࢺ ಛघɾλ جຊܗ ͨ λ λ &04 ୯ޠͷ۠੾Γͱ඼ࢺɺݪܗ͕෼͔Δ ؆୯ͳ΋ͷͰ͋Ε͹ɺݻ༗දݱ΋෼͔Δ

ʲ࣮शʳϨγϐΛղੳ͠Α͏ ϨγϐσʔλΛऔಘʢ63-͸4MBDLࢀরʣ ɹɾDVSMPSFDJQF@UJUMFUYUlIUUQTYYYz ܗଶૉղੳΛ࣮ߦ ɹɾNFDBCSFDJQF@UJUMFUYUʁ

ʲ࣮शʳ୯ޠͷ෼෍Λ෼ੳ͠Α͏ ग़ݱස౓ΛΧ΢ϯτ ɹɾࢥ͍ࢥ͍ͷํ๏Ͱʂ ॱҐ ୯ޠ ग़ݱස౓ ʁ
ʁ ʂ ؆୯ ̇ Ϩγϐʹ ճҎ্ ग़ݱ͢Δ୯ޠͬͯʁ

ʲ࣮शʳδοϓͷ๏ଇΛ؍ଌ͠Α͏ ୯ޠͷग़ݱ֬཰ͱͦͷॱҐΛάϥϑԽ ɹɾࢥ͍ࢥ͍ͷํ๏Ͱʂ શମͰL൪໨ͷग़ݱස౓Λ࣋ͭཁૉ͕શମʹ ઎ΊΔׂ߹ʢJFग़ݱ֬཰ʣ͸Lʹൺྫ ग़ ݱ ֬ ཰ ॱҐ
ʁ ˞྆ର਺άϥϑͰඳ͍͍ͯͩ͘͞

ʲ࣮शʳ୯ޠΛొ࿥͠Α͏ ʮΫοΫύουʯΛղੳ͢Δͱ ɹɾFDIPlΫοΫύουzcNFDBCʁ ࣗ෼༻ͷࣙॻΛ࡞੒ ɹɾ୯ޠͷ৘ใΛΧϯϚ۠੾ΓͰొ࿥ ࣙॻΛίϯύΠϧ ɹɾPQUCSFX$FMMBSNFDBCMJCFYFDNFDBCNFDBCEJDUJOEFYE ɹɹPQUCSFXMJCNFDBCEJDJQBEJDVVTFSEJDVTFSDTWGVUGUVUG ʮΫοΫύουʯΛղੳ͢Δͱ ɹɾFDIPlΫοΫύουzcNFDBCVVTFSEJDʁ
ද૚ܗ ݪܗ ಡΈ ൃԻ ίετ ඼ࢺ ΫοΫύου ໊ࢺ ݻ༗໊ࢺ ૊৫ ΫοΫύου ΫοΫύου ΫοΫύου VTFSDTW

ࣗવݴޠॲཧʢߨٛˍ࣮शʣ ٳΈ࣌ؒ ػցֶशʢߨٛʣ ٳΈ࣌ؒ ϥϯν ػցֶशʢ࣮शʣ ٳΈ࣌ؒ ੒Ռൃද ٳΈ࣌ؒ ໘ஊ ࠓ೔ͷׂ࣌ؒ

ػցֶशʢߨٛʣ ʙҰ࣌ؒͰֶͿػցֶशʙ

ΰʔϧ ॳֶऀͷํ͕ ʮػցֶशʁࢼͨ͜͠ͱ͋ΔΑʯ ͬͯݴ͑ΔΑ͏ʹͳΔ

ػցֶश ͓͓·͔ʹ͸ ༩͑ΒΕͨσʔλʹજΉύλʔϯΛػցతʹݟ͚ͭΔ͜ͱ

FH खॻ͖จࣈೝࣝ ༩͑ΒΕͨσʔλΛֶश
ؙͬΆ͍͔Β ༩͑ΒΕͳ͔ͬͨσʔλͰਪଌ Ϟσϧ ؙͬΆ͍ͷ͸ ॎͷҰຊઢ͸ Ϟσϧ ʁ ֶश ਪଌ

ػցֶशͷ௕ॴ ਓؒͱಉ͡Α͏ʹ஌తͳॲཧΛߦ͑Δ ਓؒͱҧͬͯେྔͷॲཧΛߦ͑Δ FH ෼ྨɺճؼɺΫϥελϦϯάʢޙड़ʣ

༷ʑͳ৔ॴͰ࢖ΘΕ͍ͯ·͢

ɾڭࢣ͋Γֶश ɹɾೖྗσʔλͱɺͦͷσʔλʹରͯ͠ฦ͢΂͖ग़ྗσʔλʢʹڭࢣʣ͕༩͑ΒΕΔ ɾڭࢣͳֶ͠श ɹɾೖྗσʔλʹରͯ͠ฦ͢΂͖ग़ྗσʔλ͕༩͑ΒΕͳ͍ ɾڧԽֶशʢׂѪʣ ɹɾڭࢣʢਖ਼ղʣͰ͸ͳ͘ใुʢྑ͞ʣ͕༩͑ΒΕΔ ػցֶशͷछྨ

ɾ෼ྨ ɹɾग़ྗσʔλ͕ԿΒ͔ͷΧςΰϦͰ͋Δ໰୊ ɹɾFH ը૾ʹࣸͬͨจࣈͷਪଌʢखॻ͖จࣈೝࣝʣ ɾճؼ ɹɾग़ྗσʔλ͕ԿΒ͔ͷ਺஋Ͱ͋Δ໰୊ ɹɾFH Խֶ޻৔ʹ͓͚Δੜ੒෺ͷྔͷ༧ଌ ڭࢣ͋Γֶश ೖྗσʔλͱɺͦͷσʔλʹରͯ͠ฦ͢΂͖ग़ྗσʔλʢڭࢣʣ͕༩͑ΒΕΔ

ɾ΋ͬͱ΋୅දతͳ෼ྨϞσϧ ɾೖྗσʔλΛԼਤͷΑ͏ͳۭؒͰදͯ͠ɺͦΕΒΛਖ਼͘͠෼͚ΔڥքͷதͰϚʔδϯ͕ ɹ࠷େͷ΋ͷΛબͿ 47. ࠇؙͱനؙΛ෼͚ΔҰ൪ྑ͍ڥք͸ʁ ˠϚʔδϯ࠷େͷ΋ͷʢ࣮ઢʣ ˞͜ͷྫͰ͸ೖྗσʔλ͕ೋ࣍ݩʢYͱYʣ Ͱද͞ΕΔ΋ͷͱ͍ͯ͠Δ x 1
x 2

ɾΞϠϝͷՖΛ඼छ͝ͱʹ෼ྨʢӈਤʣ ɹɾ֤఺ɿҰͭҰͭͷՖͷσʔλ ɹɾԣ࣠ɿ͕͘ͷ௕͞ ɹɾॎ࣠ɿ͕͘ͷ෯ ɾ47.͸ΧʔωϧτϦοΫ͕ར༻Մೳ ɹɾσʔλΛߴ࣍ݩۭؒͰදݱͯ͠ɺͦͷ্ۭؒͰ ɹɹڥքΛܾఆ ࣮ྫGSPNTDJLJUMFBSO

ɾ΋ͬͱ΋جຊతͳճؼϞσϧ ɾೖྗσʔλΛද͢΋ͬͱ΋ྑ͍X X X X/ ΛܾΊΔ ઢܗճؼ x 1
y y = w 0 + w 1 x 1 y ( w, x ) = w0 + w1x1 + · · · + wN xN നؙΛද͢Ұ൪ྑ͍X͸ʁ ˠޡࠩͷ૯࿨͕࠷খͷ΋ͷʢ࣮ઢʣ ˞͜ͷྫͰ͸ೖྗσʔλ͕Ұ࣍ݩʢY͚ͩʣ Ͱද͞ΕΔ΋ͷͱ͍ͯ͠Δ

ɾ#.*͔Β౶೘පͷҰ೥ޙͷਐߦঢ়گΛ༧ଌʢӈਤʣ ɹɾ֤఺ɿ౶೘පױऀ ɹɾԣ࣠ɿ#.* ɹɾॎ࣠ɿҰ೥ޙͷਐߦঢ়گ ࣮ྫGSPNTDJLJUMFBSO

ɾڭࢣ͋Γֶश ɹɾೖྗσʔλͱɺͦͷσʔλʹରͯ͠ฦ͢΂͖ग़ྗσʔλʢʹڭࢣʣ͕༩͑ΒΕΔ ɾڭࢣͳֶ͠श ɹɾೖྗσʔλʹରͯ͠ฦ͢΂͖ग़ྗσʔλ͕༩͑ΒΕͳ͍ ɾڧԽֶशʢׂѪʣ ɹɾڭࢣʢਖ਼ղʣͰ͸ͳ͘ใुʢྑ͞ʣ͕༩͑ΒΕΔ ػցֶशͷछྨ

ɾΫϥελϦϯά ɹɾࣅ͍ͯΔάϧʔϓΛݟ͚ͭΔ໰୊ ڭࢣͳֶ͠श ೖྗσʔλʹରͯ͠ฦ͢΂͖ग़ྗσʔλ͕༩͑ΒΕͳ͍

ɾ࣍ͷ࢛ͭͷεςοϓΛ௨ͯ͠ࣅ͍ͯΔάϧʔϓΛݟ͚ͭΔ ɹɾ֤σʔλΛ͍ͣΕ͔ͷάϧʔϓʹׂΓ౰ͯΔ ɹɾ֤άϧʔϓͷத৺ΛٻΊΔ ɹɾ֤σʔλΛҰ൪͍ۙάϧʔϓʹׂΓ౰ͯΔ ɹɾऩଋ͢Δ·ͰͱΛ܁Γฦ͢ Lฏۉ๏ 2 4 1 3

ɾΞϠϝͷՖΛΫϥελϦϯάʢӈਤʣ ɹɾ֤఺ɹɿҰͭҰͭͷՖͷσʔλ ɹɾԣ࣠ɿ͕͘ͷ෯ ɹɾԣ࣠ɿՖหͷ௕͞ ɹɾॎ࣠ɹɿՖหͷ෯ ࣮ྫGSPNTDJLJUMFBSO

ɾڭࢣ͋Γֶश ɹɾೖྗσʔλͱɺͦͷσʔλʹରͯ͠ฦ͢΂͖ग़ྗσʔλʢʹڭࢣʣ͕༩͑ΒΕΔ ɾڭࢣͳֶ͠श ɹɾೖྗσʔλʹରͯ͠ฦ͢΂͖ग़ྗσʔλ͕༩͑ΒΕͳ͍ ɾڧԽֶशʢׂѪʣ ɹɾڭࢣʢਖ਼ղʣͰ͸ͳ͘ใुʢྑ͞ʣ͕༩͑ΒΕΔ ػցֶशͷछྨʢ͓͞Β͍ʣ

ਂ૚ֶश ࠷ۙɺΑࣖ͘ʹ͠·͢Ͷ

ਂ૚ֶश ɾਂ͍χϡʔϥϧωοτϫʔΫΛਖ਼ֶ͘͠शͤ͞Δํ๏ͷ૯শ ɹɾχϡʔϥϧωοτϫʔΫʹ͍ͭͯ͸ޙड़ ɾ༷ʑͳ෼໺Ͱߴ͍ੑೳΛࣔͨ͜͠ͱͰɺ೥ࠒ͔Βେྲྀߦ ɹɾاۀʹΑΔݚڀॴͷઃཱ΍ελʔτΞοϓͷങऩ͕૬͙࣍

(PPHMFೣೝࣝ ਂ૚ֶश͕ը૾ೝࣝͷίϯϖςΟγϣϯͰѹউ 'BDFCPPLݚڀॴJO/: #BJEVݚڀॴ "MQIB(P͕ϓϩع࢜ʹѹউ
υϫϯΰݚڀॴ ϦΫϧʔτݚڀॴɺ࢈૯ݚݚڀॴ αΠόʔΤʔδΣϯτݚڀॴ -*/&ݚڀॴ ౦େد෇ߨ࠲ɺి௨େݚڀॴ ւ֎ (PPHMF͕%FFQ.JOEങऩ 1'/%F/"߹หձࣾ ೔ຊ 'BDFCPPLݚڀॴJO1BSJT (PPHMF͕%//SFTFBSDIങऩ (PPHMF5FOTPS'MPXެ։ 1'*$IBJOFSެ։ ओͳχϡʔε

ɾύʔηϓτϩϯͷΑ͏ͳɺϊʔυͱͦΕΒΛܨ͙ΤοδͰද͞ΕΔϞσϧͷ૯শ χϡʔϥϧωοτϫʔΫ ʁʁʁ

&H Y Y Y Y/ ΛΧςΰϦ"PS#ʹ෼ྨ ɹࠨͷϊʔυ͔ΒӈͷϊʔυʹYΛ༩͑Δ ɹΤοδΛ௨ΔࡍʹX X
X X/ Λֻ͚Δ ɹؔ਺G ЄOXOYO Λܭࢉʢˣ͸εςοϓؔ਺ͷྫʣ ɹZ͕Ͱ͋Ε͹"ɺͰ͋Ε͹#ʹ෼ྨ ɹ˞X͸ֶशσʔλΛ͏·͘෼ྨͰ͖Δ஋ʹௐ੔ ɹʢ͜Ε͕ύʔηϓτϩϯʹ͓͚Δֶशʣ ύʔηϓτϩϯ … y 0 … x N x 1 x 0 x N x 1 … x 0 y w 0 w 1 w N y 1 y M … h 0 h L y = f (⌃nwnxn) = ( 1 (⌃nwnxn 0) 1 (⌃nwnxn < 0) ύʔηϓτϩϯʢೋ૚ʣ

ɾύʔηϓτϩϯͷΑ͏ͳɺϊʔυͱͦΕΒΛܨ͙ΤοδͰද͞ΕΔϞσϧͷ૯শ ɾ૚Λ૿΍͢ͱ ɹɾෳࡶͳ໰୊͕ղ͚Δ ɹɾֶश͕೉͘͠ͳΔɹɹɹˠ͜ΕΛղܾͨ͠ͷ͕ਂ૚ֶश χϡʔϥϧωοτϫʔΫ … y 0 … x
N x 1 x 0 y 1 y M … h 0 h L w 0,0 w N,L w L,M w 0,0 w’ w’ ύʔηϓτϩϯʢࡾ૚ʣ ύʔηϓτϩϯʢೋ૚ʣ … y 0 … x N x 1 x 0 x N x 1 … x 0 y w 0 w 1 w N y 1 y M … h 0 h L

ɾը૾ೝࣝʹΑ͘࢖ΘΕΔϞσϧ ɾ৞ΈࠐΈ૚ͱϓʔϦϯά૚Λ܁Γฦͯ͠ɺ࠷ޙʹશ݁߹૚ ɹɾ৞ΈࠐΈ૚ ը૾ͷہॴతͳಛ௃Λநग़ ɹɾϓʔϦϯά૚ہॴ͝ͱʹಛ௃Λू໿ ɹɾશ݁߹૚ ୯ͳΔύʔηϓτϩϯ ɾֶशʹ໾ཱͭ৘ใ͕બ͹Ε্ͯ૚ʹ౉͞Ε͍ͯ͘ʢಛ௃දݱநग़ʣ
ɾϥϯμϜʹϊʔυΛؒҾ͘͜ͱͰϩόετʹֶशʢυϩοϓΞ΢τʣ ৞ΈࠐΈχϡʔϥϧωοτϫʔΫʢ$//ʣ -F$VOFUBM

ɾϨγϐ౤ߘΛαϙʔτ͢ΔͨΊ ɹΧϝϥϩʔϧ͔Βྉཧը૾Λநग़ ɾطଘͷ$//վ଄ͯ͠ ɹྉཧը૾PSඇྉཧը૾Λೝࣝ $//JODPPLQBE Ϟσϧ ֶशσʔλ ֶश ྉཧը૾ ඇྉཧը૾
$B⒎F/FU "MFYFUBM ✕ ✕ ✕ ✕ ✕ ✕ ݚ ڀ த

ɾࣗಈ຋༁ʹΑ͘࢖ΘΕΔϞσϧ ɾԼͷωοτϫʔΫʹݪݴޠʢFH ೔ຊޠʣΛೖྗ ɹɾY Y Y5͕ݪݴޠจͷ֤୯ޠʢΛද͢ϕΫτϧʣ ɾ্ͷωοτϫʔΫ͔Β໨తݴޠʢFH ӳޠʣΛग़ྗ ɹɾZ
Z Z5`͕ݪݴޠจͷ֤୯ޠʢΛද͢ϕΫτϧʣ ɾ͜Ε·Ͱͷख๏ͱҧͬͯɺߴ౓ͳղੳʢFH ߏจղੳɺলུরԠղੳʣ͕ෆཁ TFRVFODFUPTFRVFODF … … x T … … … … x 0 x 1 h1 0 h1 1 … … … … … … … … y 0 h2 0 … … y 1 h2 1 … … y T’-1 h2 T’-1 … … y T’ h2 T’ … … … x T-1 h1 T-1 h1 T

ɾւ֎ͷϢʔβ͕ಡΊΔΑ͏ʹɺ೔ຊͷ ɹΫοΫύουͷϨγϐΛӳޠʹ຋༁ ɾ ϨγϐͷֶशσʔλΛ࢖ͬͯ ɹ೔ӳ຋༁ϞσϧΛߏங Ϟσϧ ֶशσʔλ ֶश Ϩγϐʢ೔ʣ Ϩγϐʢӳʣ
"UUFOUJPO NPEFM ೔ɿ֖·ͨ͸ΞϧϛϗΠϧͰམͱ֖͠Λͯ͠தՐͰৠ͠ম͖ʹ ͠·͢ɻ ӳɿDPWFSXJUIBMJEPSBMVNJOVNGPJM BOETUFBNUIF DIJDLFOPONFEJVNIFBU TFRVFODFUPTFRVFODFJODPPLQBE #BIEBOBVFUBM ݚ ڀ த ʢ࣮ࡍͷ຋༁Ϟσϧͷ݁Ռʣ

ߨٛͷ·ͱΊ ɾػցֶश ɹɾ༩͑ΒΕͨσʔλʹજΉύλʔϯΛػցతʹݟ͚ͭΔ͜ͱ ɹɾਓؒͱಉ͡Α͏ʹ஌తͳॲཧΛߦ͑Δ ɹɾਓؒͱҧͬͯେྔͷॲཧΛߦ͑Δ ɾਂ૚ֶश ɹɾਂ͍χϡʔϥϧωοτϫʔΫΛਖ਼ֶ͘͠शͤ͞Δํ๏ͷ૯শ ɹɾ೥ࠒ͔Βେྲྀߦ

ࣗવݴޠॲཧʢߨٛˍ࣮शʣ ٳΈ࣌ؒ ػցֶशʢߨٛʣ ٳΈ࣌ؒ ϥϯν ػցֶशʢ࣮शʣ ٳΈ࣌ؒ ੒Ռൃද ٳΈ࣌ؒ ໘ஊ ࠓ೔ͷׂ࣌ؒ

ػցֶशʢ࣮शʣ ʙϨγϐͷ෼ྨʙ

ʲ࣮शʳϨγϐΛ෼ྨ͠Α͏ ɾϨγϐΛ໙ྨPS/PU໙ྨʹ෼ྨ͢ΔϞσϧΛ࡞͍ͬͯͩ͘͞ ɾTDJLJUMFBSOͷ47.Λ࢖ͬͯΈ·͠ΐ͏ ɹɾॳֶऀͰͳ͍ํ͸ଞͷ෼ྨϞσϧʢFH ܾఆ໦ʣ΋࢖ͬͯɺ݁ՌΛൺ΂ͯΈ·͠ΐ͏ ɾҎԼͷίϚϯυͰֶशσʔλΛμ΢ϯϩʔυ͍ͯͩ͘͠͞ʢ63-͸4MBDLࢀরʣ ɹɾDVSMPQPTJUJWF@SFDJQFKTPOC[lIUUQTYYYz ɹɾDVSMPOFHBUJWF@SFDJQFKTPOC[lIUUQTYYYz ɾ࣌൒͔ΒҰਓ෼Ͱ੒ՌΛൃද͍ͯͩ͘͠͞ ɹɾεϥΠυʙຕͰ

ɾ1ZUIPOͷػցֶशϥΠϒϥϦ ɾେମͷϞσϧ͸ଗ͍ͬͯΔ ɹɾ47.ɺઢܗճؼɺLฏۉ๏ɺ TDJLJUMFBSO

47.JOTDJLJUMFBSO >>> from sklearn import svm >>> X = [[0,
0], [1, 1]] >>> y = [0, 1] >>> clf = svm.SVC() >>> clf.fit(X, y) SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) ˡಛ௃ϕΫτϧʢFH ୯ޠͷස౓Ͱදͨ͠Ϩγϐʣ ˡڭࢣσʔλɹʢFH /PU໙ྨɺ໙ྨʣ IUUQTDJLJUMFBSOPSHTUBCMFNPEVMFTTWNIUNMTWN

ɾUJUMFʢλΠτϧʣ ɾEFTDSJQUJPOʢ֓ཁʣ ɾJOHSFEJFOUTʢࡐྉʣ ɾTUFQTʢखॱʣ ɾBEWJDFʢίπɾϙΠϯτʣ ɾIJTUPSZʢ͜ͷϨγϐͷੜཱ͍ͪʣ ɾJEʢϨγϐ*%ʣ ɾQVCMJTIFE@BUʢެ։೔ʣ Ϩγϐσʔλ ۩ମతʹ͸
IFBEQPTJUJWF@SFDJQFKTPO ˞ߦ+40/Ͱ͢

ώϯτ ྫ͑͹ɺ ɹ֤ϨγϐͷςΩετʢFH λΠτϧʣΛܗଶૉղੳ ɹ಺༰ޠʢFH ໊ࢺʣʹ൪߸Λ෇༩ ɹ֤ϨγϐΛಛ௃ϕΫτϧͰදݱʢFH Ϩγϐ"<
>ʣ ɹಛ௃ϕΫτϧͱڭࢣσʔλΛ༩͑ͯɺ47.Λֶश ΋ͪΖΜɺ͜ΕҎ֎ͷํ๏Ͱ΋0,Ͱ͢ʂ ˢ൪ͷ୯ޠ͕ճɺ൪ͷ୯ޠ͕ճɺ

ɾࠓճ͸ɺσʔλͷ൒෼ͰϞσϧΛֶशɺ࢒Γ൒෼ͰϞσϧΛධՁ͠·͠ΐ͏ ෼ྨ݁ՌͷධՁ from sklearn.svm import SVC from sklearn import cross_validation
X = ... y = ... X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y, test_size=0.5, random_state=0) svm = SVC() svm.fit(X_train, y_train) score = svm.score(X_test, y_test) print(score)

ελʔτʂ ʢ෼͔Βͳ͍͜ͱ͕͋Ε͹౎౓ฉ͍͍ͯͩ͘͞ʣ

੒Ռൃද ͓ർΕ༷Ͱͨ͠ʂ͓Ұਓͣͭɺ੒ՌΛൃද͍ͯͩ͘͠͞ɻ

·ͱΊ

ΰʔϧ ॳֶऀͷํ͕ ʮࣗવݴޠॲཧʁେମ஌ͬͯΔΑʯ ʮػցֶशʁࢼͨ͜͠ͱ͋ΔΑʯ ͬͯݴ͑ΔΑ͏ʹͳΔ ͳ͍ͬͯΕ͹خ͍͠ͷͰ͕͢

͓ർΕ༷Ͱͨ͠ʂ

DPPLQBEͰֶͿࣗવݴޠॲཧˍػցֶश ݪౡ७ 修了

cookpadで学ぶ自然言語処理＆機械学習/internship2016

cookpadで学ぶ自然言語処理＆機械学習/internship2016

More Decks by j.harashima

Featured

Transcript