『IT Text自然言語処理』第1章

"ݚڀࣨ.ദݪޭଠ࿠ ୈষࣗવݴޠॲཧͷ֓ཁ ೥౓ʰ*55FYUࣗવݴޠॲཧͷجૅʱษڧձ

ࣗવݴޠॲཧͱ͸ • ίϯϐϡʔλ͕ਓؒͷΑ͏ʹݴ༿ΛૢΕΔΑ͏ʹͳΔ͜ͱΛ໨ࢦ͢ݚڀ෼໺ • ίϯϐϡʔλɾαΠΤϯεͷ෼໺Ͱ͸ɺ • ʢਓ޻ʣݴޠɿϓϩάϥϛϯάݴޠʢ1ZUIPOͳͲʣͷ͜ͱ • ࣗવݴޠɿਓؒͷݴ༿ʢ೔ຊޠɺӳޠʣͷ͜ͱ
• ˞୯ʹʮݴޠॲཧʯͩͱɺϓϩάϥϛϯάݴޠΛॲཧ͢Δݚڀ෼໺ʢίϯύΠϥ ʹ͍ͭͯͳͲʣʹͳΔͷͰ஫ҙ • ݴޠॲཧֶձʢࣗવݴޠॲཧͷֶձʣ͸ྫ֎😅

ࣗવݴޠॲཧͷԠ༻ • ػց຋༁ • ͔ͳ׽ࣈม׵ • ৘ใݕࡧ • ࣭໰Ԡ౴ɿ৘ใݕࡧͱࣅͯΔ͕ɺϢʔβͷෳࡶɾᐆດͳ໰͍͔͚ʹରԠ͢Δ
• Α͘Θ͔Βͳ͍͜ͱΛฉ͖ฦ͢ͳͲ • ର࿩γεςϜɿίϯϐϡʔλͱͷձ࿩ʢࡶஊPSλεΫࢦ޲ʣ • ࣭໰Ԡ౴΋ର࿩γεςϜͷҰछͱ΋ߟ͑ΒΕΔ • ࣗಈཁ໿ • ࣗવݴޠੜ੒ɿݴ༿Λੜ੒͢Δٕज़શൠʢ࣭໰Ԡ౴΍ର࿩γεςϜͳͲ΋͜ͷҰछʣ • จ๏ޡΓగਖ਼

ςΩετϚΠχϯάɾςΩετ෼ੳ • ςΩετΛ෼ੳͯ͠༗༻ͳ஌ݟΛಘΔɺࣗવݴޠॲཧͷҰ෼໺ • ࣗવݴޠॲཧͷͳ͔Ͱ΋σʔλͷ෼ੳʹॏ͖Λ͓͍ͨ෼໺ • Ԡ༻ྫ • Ωʔϫʔυநग़ɿେࣄͳΩʔϫʔυΛൈ͖ग़͢
• ৘ใநग़ • จॻ෼ྨɿจॻΛΧςΰϦ͝ͱʹ෼ྨ • จॻΫϥελϦϯάɿจষΛΫϥελʹࣗಈͰ෼͚Δ • จষ෼ྨͱҟͳΔͷ͸ओʹڭࢣͳ͠Ͱߦ͏ͱ͜Ζ

ίʔύεͱ͸ • ԿΒ͔ͷ໨త΍࿩୊ʹؔͯ͠ͷςΩετΛେྔʹऩूɾՃ޻ͨ͠΋ͷ • ԿͷͨΊʹ࢖͏͔ʁ • ࣗવݴޠॲཧ"*ʹݴ༿Λֶशͤ͞ΔͨΊ • ςΩετϚΠχϯάΛߦͬͯɺूΊͨςΩετͷ܏޲Λ෼ੳ͢Δ
• ݴޠֶʢจܥʣͷݚڀͷͨΊ • ࣌୅ͷҠΓมΘΓͰͲ͏ݴ༿͕มΘΔ͔ͳͲ

ίʔύεͷछྨ • ੜίʔύε • ςΩετΛͦͷ··ूΊ͖ͯͯΔ͚ͩ • (15͸௒େྔͷੜίʔύε͔Βࣗݾڭࢣ͋Γֶश • ஫ऍ෇͖ʢλά෇͖ɺϥϕϧ෇͖ʣίʔύε
• ςΩετΛूΊͯɺͦΕΒͷ඼ࢺͳͲͷ஫ऍΛ͚ͭͨίʔύε • จ๏Λཧղ͢Δ"*ͷͨΊʹॏཁ • ଟݴޠɾର༁ʢύϥϨϧɺίϯύϥϒϧʣίʔύε • ಉ͡಺༰͕ͩෳ਺ͷݴޠͰॻ͔ΕͨจΛऩूʢ೔ӳͳͲʣ • ػց຋༁ͷͨΊʹ༻͍ΒΕΔ

Ξϊςʔγϣϯ • ԿΒ͔ͷσʔλʢςΩετʹݶΒͳ͍ʣʹ͍ͭͯ஫ऍΛ͚ͭΔ͜ͱ • ࡞ۀ͢ΔਓΛΞϊςʔλͱݺͿ • ஫ऍ෇͖ίʔύεΛ࡞੒͢Δࡍʹ͸ɺΞϊςʔλʹΞϊςʔγϣϯΛͯ͠΋Β͏ • ࡞ۀͷࡍʹ͸ɺ඼࣭Λ্͛ΔͨΊʹΞϊςʔλ΁ͷΨΠυϥΠϯΛ࡞੒͢Δඞཁ
͕͋Δ ࢀߟɿIUUQTUFDICMPHBCFKBBTJBFOUSZNMBOOPUBUJPO

ίʔύεʹର͢Δ౷ܭత෼ੳ • ίʔύεதͷςΩετͰॏཁͳ୯ޠΛ୳͍ͨ͠ʢॏཁ౓Λܭࢉ͍ͨ͠ʣ • ୯७ʹ୯ޠͷग़ݱස౓Λߟ͑ͯΈΔ • ୯ޠͷग़ݱස౓Λ୯७ʹूܭ͢Δͱʮ͸ʯʮ͔͠͠ʯͳͲͷػೳޠʢॏཁͰ͸ͳ͍ʣ্͕Ґ ʹདྷͯ͠·͏🤔 •
ػೳޠɿ୯ޠͷҙຯΑΓ΋จ๏తͳ໾ׂΛڧࣔ͘͢୯ޠʢલஔࢺɺ઀ଓࢺͳͲʣ • ಺༰ޠ͚ͩʹݶఆͯ͠ग़ݱස౓Λूܭͯ͠΋ɺʮࢲʯʮਓʯʮ͜ͱʯͷΑ͏ͳͲΜͳจষʹ ΋ग़͖ͯͦ͏ʢॏཁͰ͸ͳ͍ʣͳ୯ޠ্͕Ґʹདྷͯ͠·͏🤔 • ಺༰ޠɿҙຯ಺༰Λڧ͘ද͢୯ޠʢ໊ࢺɺಈࢺͳͲʣ • Ͳ͏΍ͬͯ୯ޠͷॏཁ౓Λܭࢉ͢Ε͹ྑ͍ͷ͔ʁ㱺5'*%'

5'*%' • ʮग़ݱස౓͕ߴ͍ଞͷςΩετͰ͸͋·Γग़ݱ͠ͳ͍୯ޠʯ͕ॏཁ౓͕ߴ͍ • 5'ʢ5FSN'SFRVFODZʣɿ͋Δ୯ޠͷग़ݱස౓ • %'ʢ%PDVNFOU'SFRVFODZʣɿ͋Δ୯ޠ͕ग़ݱ͢ΔςΩετͷ਺ • *%'ʢ*OWFSTF%'ʣɿ%'ͷٯ਺ͷMPHΛऔͬͨ΋ͷ
• 5'ͱ*%'Λ͔͚Θͤͨ஋Ͱ୯ޠͷॏཁ౓Λܭࢉ͢Δ

δοϓͷ๏ଇ • ςΩετͰ͸͘͝গ਺ͷ୯ޠ͕සൟʹ༻͍ΒΕɺͦΕҎ֎ͷ୯ޠ͸͋·Γ༻͍Β Εͳ͍ • ͋ΒΏΔݴޠʹ͍ͭͯzܦݧతʹz੒Γཱͭ • ཧ࿦తͳূ໌͸͞Ε͍ͯͳ͍

ࣗવݴޠॲཧͷ೉͠͞ • ࣗવݴޠͰͷςΩετΛཧղ͢Δͱ͖ɺͦͷݴޠͷจࣈɾ୯ޠɾจ๏ʹ͍ͭͯͷ ஌͕ࣝඞཁ • ଟ͘ͷ04͸จࣈίʔυ6OJDPEFʹରԠ͍ͯ͠ΔͷͰจࣈʹ͍ͭͯ͸౷Ұతʹѻ ͑Δ • ୯ޠ΍จ๏ʹ͍ͭͯ͸Ͳ͏ѻ͑͹ྑ͍ͷ͔ʁ
• ओʹͭͷํ๏͕͋Δ㱺ܗଶૉղੳɾߏจղੳɾҙຯղੳ

ܗଶૉղੳ • ͋ΔςΩετΛʢจ๏తʹଥ౰ʹʣ୯ޠʢܗଶૉʣʹ෼͚Δ͜ͱʢ෼͔ͪॻ͖ʣ • ӳޠ͸εϖʔεͰ෼ׂ͢Ε͹͍͍͕ɺ೔ຊޠͰ͸ඞཁ • ෼͚ͨޙͷ୯ޠͷ඼ࢺΛਪఆ͢Δ͜ͱ΋ؚ·ΕΔ৔߹͕͋Δ • ҙຯͷऔΓํʹΑͬͯɺ෼͚ͨ݁Ռ͕ෳ਺ଘࡏ͢Δ৔߹͕͋Δʢᐆດੑʣ
• ྫʣ֎ࠃਓͷࢀ੓ݖPS֎ࠃʹ͋Δਓࢀͷ੓ݖ

ߏจղੳʢ܎Γड͚ղੳʣ • จઅͱจઅͷम০ؔ܎ʢ܎Γड͚ʣΛղੳ͢Δ͜ͱ • ҙຯͷऔΓํʹΑͬͯɺෳ਺ͷ܎Γड͚ߏ଄͕Ͱ͖Δ৔߹΋͋Δʢᐆດੑʣ • ྫʣ৽ฉΛ࢖ͬͯ૭Λ૟আͨ͠PS৽ฉ͕͍ͬͺ͍෇͍ͯԚΕͨ૭

ҙຯղੳʢड़ޠ߲ߏ଄ղੳʣ • ςΩετ͔Βʮ୭͕ɾ͍ͭɾͲ͜ͰɾԿΛͨ͠ʯΛऔΓग़͢ॲཧ • ςΩετதͰ໊ࢺ͕লུ͞ΕΔθϩ୅໊ࢺ͕͋Δͱҙຯͷཧղ͕೉͘͠ͳΔ • ྫʣʮ͓͍͡͞Μ͸ർΕ·ͨ͠ɻ΍͕ͯ຾ͬͯ͠·͍·ͨ͠ɻʯ • θϩ୅໊ࢺΛಛఆ͢Δ͜ͱΛθϩরԠղੳͱݺͿ
• ݻ༗දݱ͕͋Δ৔߹΋ҙຯͷཧղ͕೉͘͠ͳΔ • ྫʣੁट૬͸ೋਓଘࡏ͢ΔͷͰ • ݻ༗දݱ͕ࢦ࣮͢ଶΛಛఆ͢Δ͜ͱΛ ΤϯςΟςΟϦϯΩϯάͱݺͿ

·ͱΊ ࣗવݴޠॲཧͱͦͷԠ༻ ίʔύεͱͦͷछྨ ςΩετதͷ୯ޠͷॏཁ౓Λܭࢉ͢Δ5'*%' ܗଶૉղੳɾߏจղੳɾҙຯղੳͷ֓ཁ

『IT Text自然言語処理』第1章

『IT Text自然言語処理』第1章

kassy11

More Decks by kassy11

Featured

Transcript

"ݚڀࣨ.ദݪޭଠ࿠ ୈষࣗવݴޠॲཧͷ֓ཁ ೥౓ʰ*55FYUࣗવݴޠॲཧͷجૅʱษڧձ

ࣗવݴޠॲཧͱ͸ • ίϯϐϡʔλ͕ਓؒͷΑ͏ʹݴ༿ΛૢΕΔΑ͏ʹͳΔ͜ͱΛ໨ࢦ͢ݚڀ෼໺ • ίϯϐϡʔλɾαΠΤϯεͷ෼໺Ͱ͸ɺ • ʢਓ޻ʣݴޠɿϓϩάϥϛϯάݴޠʢ1ZUIPOͳͲʣͷ͜ͱ • ࣗવݴޠɿਓؒͷݴ༿ʢ೔ຊޠɺӳޠʣͷ͜ͱ

ࣗવݴޠॲཧͷԠ༻ • ػց຋༁ • ͔ͳ׽ࣈม׵ • ৘ใݕࡧ • ࣭໰Ԡ౴ɿ৘ใݕࡧͱࣅͯΔ͕ɺϢʔβͷෳࡶɾᐆດͳ໰͍͔͚ʹରԠ͢Δ

ςΩετϚΠχϯάɾςΩετ෼ੳ • ςΩετΛ෼ੳͯ͠༗༻ͳ஌ݟΛಘΔɺࣗવݴޠॲཧͷҰ෼໺ • ࣗવݴޠॲཧͷͳ͔Ͱ΋σʔλͷ෼ੳʹॏ͖Λ͓͍ͨ෼໺ • Ԡ༻ྫ • Ωʔϫʔυநग़ɿେࣄͳΩʔϫʔυΛൈ͖ग़͢

ίʔύεͱ͸ • ԿΒ͔ͷ໨త΍࿩୊ʹؔͯ͠ͷςΩετΛେྔʹऩूɾՃ޻ͨ͠΋ͷ • ԿͷͨΊʹ࢖͏͔ʁ • ࣗવݴޠॲཧ"*ʹݴ༿Λֶशͤ͞ΔͨΊ • ςΩετϚΠχϯάΛߦͬͯɺूΊͨςΩετͷ܏޲Λ෼ੳ͢Δ

ίʔύεͷछྨ • ੜίʔύε • ςΩετΛͦͷ··ूΊ͖ͯͯΔ͚ͩ • (15͸௒େྔͷੜίʔύε͔Βࣗݾڭࢣ͋Γֶश • ஫ऍ෇͖ʢλά෇͖ɺϥϕϧ෇͖ʣίʔύε

Ξϊςʔγϣϯ • ԿΒ͔ͷσʔλʢςΩετʹݶΒͳ͍ʣʹ͍ͭͯ஫ऍΛ͚ͭΔ͜ͱ • ࡞ۀ͢ΔਓΛΞϊςʔλͱݺͿ • ஫ऍ෇͖ίʔύεΛ࡞੒͢Δࡍʹ͸ɺΞϊςʔλʹΞϊςʔγϣϯΛͯ͠΋Β͏ • ࡞ۀͷࡍʹ͸ɺ඼࣭Λ্͛ΔͨΊʹΞϊςʔλ΁ͷΨΠυϥΠϯΛ࡞੒͢Δඞཁ

ίʔύεʹର͢Δ౷ܭత෼ੳ • ίʔύεதͷςΩετͰॏཁͳ୯ޠΛ୳͍ͨ͠ʢॏཁ౓Λܭࢉ͍ͨ͠ʣ • ୯७ʹ୯ޠͷग़ݱස౓Λߟ͑ͯΈΔ • ୯ޠͷग़ݱස౓Λ୯७ʹूܭ͢Δͱʮ͸ʯʮ͔͠͠ʯͳͲͷػೳޠʢॏཁͰ͸ͳ͍ʣ্͕Ґ ʹདྷͯ͠·͏🤔 •

5'%' • ʮग़ݱස౓͕ߴ͍ଞͷςΩετͰ͸͋·Γग़ݱ͠ͳ͍୯ޠʯ͕ॏཁ౓͕ߴ͍ • 5'ʢ5FSN'SFRVFODZʣɿ͋Δ୯ޠͷग़ݱස౓ • %'ʢ%PDVNFOU'SFRVFODZʣɿ͋Δ୯ޠ͕ग़ݱ͢ΔςΩετͷ਺ • %'ʢ*OWFSTF%'ʣɿ%'ͷٯ਺ͷMPHΛऔͬͨ΋ͷ

δοϓͷ๏ଇ • ςΩετͰ͸͘͝গ਺ͷ୯ޠ͕සൟʹ༻͍ΒΕɺͦΕҎ֎ͷ୯ޠ͸͋·Γ༻͍Β Εͳ͍ • ͋ΒΏΔݴޠʹ͍ͭͯzܦݧతʹz੒Γཱͭ • ཧ࿦తͳূ໌͸͞Ε͍ͯͳ͍

ࣗવݴޠॲཧͷ೉͠͞ • ࣗવݴޠͰͷςΩετΛཧղ͢Δͱ͖ɺͦͷݴޠͷจࣈɾ୯ޠɾจ๏ʹ͍ͭͯͷ ஌͕ࣝඞཁ • ଟ͘ͷ04͸จࣈίʔυ6OJDPEFʹରԠ͍ͯ͠ΔͷͰจࣈʹ͍ͭͯ͸౷Ұతʹѻ ͑Δ • ୯ޠ΍จ๏ʹ͍ͭͯ͸Ͳ͏ѻ͑͹ྑ͍ͷ͔ʁ

ߏจղੳʢ܎Γड͚ղੳʣ • จઅͱจઅͷम০ؔ܎ʢ܎Γड͚ʣΛղੳ͢Δ͜ͱ • ҙຯͷऔΓํʹΑͬͯɺෳ਺ͷ܎Γड͚ߏ଄͕Ͱ͖Δ৔߹΋͋Δʢᐆດੑʣ • ྫʣ৽ฉΛ࢖ͬͯ૭Λ૟আͨ͠PS৽ฉ͕͍ͬͺ͍෇͍ͯԚΕͨ૭

·ͱΊ ࣗવݴޠॲཧͱͦͷԠ༻ ίʔύεͱͦͷछྨ ςΩετதͷ୯ޠͷॏཁ౓Λܭࢉ͢Δ5'*%' ܗଶૉղੳɾߏจղੳɾҙຯղੳͷ֓ཁ