コーパス分析における特徴語抽出手法の比較ー機械学習モデルの特性と注意点

ίʔύε෼ੳʹ͓͚Δ ಛ௃ޠநग़ख๏ͷൺֱ ʔػցֶशϞσϧͷಛੑͱ஫ҙ఺ʔ খྛ ༤Ұ࿠ ֎ࠃޠڭҭϝσΟΞֶձ ϝιυϩδʔݚڀ෦ձ ೥౓ୈճݚڀձ 1

ͬ͘͟Γͱͨ͠ൃදͷྲྀΕ • લ൒ • ಛ௃ޠநग़΍ػցֶशʹؔ͢ΔڭՊॻతͳʢٕज़తͳʣ࿩ • ݱࡏͷίʔύε෼ੳʹ͓͚Δ໰୊఺ • ޙ൒ •
࣮σʔλΛ༻͍ͨʢΘΓͱγϯϓϧͳʣ෼ੳࣄྫ • Ԡ༻Մೳੑ

؆୯ͳ༻ޠͷఆٛ • ίʔύε • ిࢠతʹूੵ͞Εͨݴޠσʔλ • ಛ௃ޠ • ಛఆͷςΩετ܈Λಛ௃͚ͮΔ୯ޠʢඞͣ͠΋ʮ୯ޠʯʹݶఆ͞ΕͣɺO HSBN΍ɺจ๏΍౷ޠʹؔ͢Δݴޠ߲໨ͳͲΛࢦ͢৔߹΋͋Δʣ
• ಛ௃ޠநग़ • ԿΒ͔ͷ౷ܭॲཧΛͯ͠ɺͭҎ্ͷςΩετ܈ͷͦΕͧΕΛಛ௃͚ͮΔ୯ ޠʢ͋Δ͍͸ݴޠ߲໨ʣΛಛఆ͢Δ͜ͱ • ػցֶश • σʔλΛ౷ܭతʹ෼ੳ͢Δ͜ͱͰɺػց͕σʔλʹ಺ࡏ͢Δϧʔϧ΍ύλʔ ϯΛֶश͠ɺԿΒ͔ͷ༧ଌΛߦ͏͜ͱ

యܕతͳಛ௃ޠʢLFZXPSEʣͷఆٛ • "XPSEXIJDIBQQFBSTJOBUFYUPSDPSQVTTUBUJTUJDBMMZTJHOJGJDBOUMZ NPSFGSFRVFOUMZUIBOXPVMECFFYQFDUFECZDIBODFXIFO DPNQBSFEUPBDPSQVTXIJDIJTMBSHFSPSPGFRVBMTJ[F6TVBMMZ MPOHMJLFMJIPPEPSDIJTRVBSFEUFTUTBSFVTFEUPDPNQBSFUXPXPSEMJTUT JOPSEFSUPEFSJWFLFZXPSET #BLFSFUBM •
,FZXPSETBSFXPSETUIBUPDDVSSFMBUJWFMZNPSFPGUFOJOBUFYUPS DPSQVTCFJOHBOBMZTFE UIBOUIFZEPJOTPNFSFGFSFODFDPSQVT XIJDI UIFEJGGFSFODFJOGSFRVFODZJTTUBUJTUJDBMMZTJHOJGJDBOU .D&OFSZ )BSEJF • جຊతʹ͸ɺݕఆʹΑΔස౓ൺֱΛ૝ఆ͍ͯ͠Δ

ಛ௃ޠநग़ͷయܕྫ • ܭྔจମ࿦ • ॻ͖ख"WTॻ͖ख# • ಛఆͷॻ͖ख WTಉ࣌୅ͷॻ͖खूஂʢจମతҳ୤ͷ෼ੳʣ • 9ੈلͷςΩετ܈
WT:ੈلͷςΩετ܈ʢ௨࣌త෼ੳʣ • ֶशऀίʔύεݚڀ • शख़౓"ͷֶशऀ WTशख़౓#ͷֶशऀ • 9ޠΛഎܠͱ͢Δֶशऀ WT:ޠΛഎܠͱ͢Δֶशऀ • &"1&41 • ֶज़ӳޠ WTଞͷϨδελʔͷӳޠ • ֶज़෼໺"WT ֶज़෼໺# FUD

෼ׂදͷݕఆʹجͮ͘ಛ௃౓ʢLFZOFTTʣͷܭࢉ • ର਺໬౓ൺݕఆɺΧΠೋ৐ݕఆͳͲ • ࠷େͷ໰୊͸ɺίʔύε಺ͷස౓෼෍͕ߟྀ͞Εͳ͍͜ͱ • ͜ͷܭࢉΛ୯ޠͷ਺͚ͩ܁Γฦ͕͢ɺ͜ͷจ຺Ͱ͸ݕఆͷଟॏੑ͸໰୊ʹ͠ ͳ͍ ίʔύε"ʹؚ·ΕΔશςΩετ
ίʔύε#ʹؚ·ΕΔશςΩετ ୯ޠ9ͷස౓ ̋ ˚ ίʔύεͷ૯ޠ਺୯ޠ9ͷස౓ ˖ ˘

Ͳ͏ͯ͠ɺ෼ׂදͷݕఆʹͩ͜ΘΔͷ͔ʁ • <>NBOZDPSQVTMJOHVJTUTEPOPUIBWFUIFOFDFTTBSZ NFUIPEPMPHJDBMTLJMMTUIFNTFMWFT CPUIJOUFSNTPGQSPHSBNNJOH EBUBCBTFTBOETUBUJTUJDBMUPPMT BOE UIVT EPOPUSFRVJSFUIFJSTUVEFOUT UPBDRVJSFBXJEF
S SBOHFPGNFUIPEPMPHJDBMTLJMMT*LOPXDPSQVT MJOHVJTUTXIPTFDPSQVTMJOHVJTUJDTLJMMTBSFEFGJOFECZXIBU8PSE4NJUI 5PPMT PS"OU$POD PS,XJD'JOEFS PS$PODHSBN FUD PSUIFJSXFC JOUFSGBDFDBOEP JGZPVUBLFXIBUFWFSQSPHSBNUIFZVTFBXBZ GSPNUIFN UIFZBSFVOBCMFUPQVSTVFUIFJSDPSQVTTUVEJFTUPBOZ HSFBUFYUFOU (SJFT • ͭ·ΓɺϢʔβʔϑϨϯυϦʔͳπʔϧͷݶք ʹ ݚڀख๏ͷݶք ʢͦͯ͠ɺԾʹߴ౓ͳख๏͕࣮૷͞Ε͍ͯͨͱͯ͠΋ɺແ஡ۤ஡ͳ࢖ ͍ํΛ͞ΕΔ͜ͱ΋ଟ͍ʣ

ίʔύε಺ͷස౓෼෍Λߟྀ͠Α͏ͱ͢ΔࢼΈ • ฏۉ஋ͷݕఆ • 5ݕఆ FH 1BRVPU #FTUHFO •
தԝ஋ͷݕఆ • 8JMDPYPOͷॱҐ࿨ݕఆɺ.BOO8IJUOFZͷॱҐ࿨ݕఆ FH ,JMHBSSJGG • ༷ʑͳࢄ෍౓ʢEJTQFSTJPOʣͷࢦඪ FH &HCFSU#JCFS (SJFT • ͜ΕҎ֎ͷࢼΈʹ͍ͭͯ͸ɺ$VMQFQFS%FNNFO ͳͲΛࢀর • ͨͩ͠ɺ͍ͣΕͷࢼΈ΋޿͘࢖ΘΕΔʹ͸ࢸ͍ͬͯͳ͍

ϥϯμϜϑΥϨετͷϒʔϜʁ • ϥϯμϜϑΥϨετ #SFJNBO • ౷ܭతʹ͸ɺܾఆ໦ϞσϧͷΞϯαϯϒϧֶश • ʮຊདྷ͸ʯ෼ྨ΍ճؼͷͨΊͷػցֶशͷख๏ •
ʮ෭࣍తʹʯ෼ྨ΍ճؼʹ༻͍Δઆ໌ม਺ͷॏཁ౓Λਪఆ ˣ • ม਺ॏཁ౓Λಛ௃౓ͱͯ͠༻͍Δ͜ͱ͕Մೳ • ϥϯμϜϑΥϨετ࠷ڧઆ • ଞͷࢦඪͱൺ΂ͯɺߴ͍༧ଌਫ਼౓ΛތΔ FH ۚɾଜ্ $IFOFUBM • ଞͷߴੑೳͳख๏ͱൺ΂ͯɺͦ͜·Ͱܭࢉίετ͕ߴ͘ͳ͍ • ਂ૚ֶशͱൺ΂ͯɺදܗࣜͷσʔλͷ෼ੳʹڧ͍ FH (SJOT[UBKO FUBM ਿࢁ FUD

ίʔύε෼ੳʹ͓͚ΔϥϯμϜϑΥϨετͷԠ༻ྫ • จ๏ݚڀ FH %FTIPST %FTIPST (SJFT )VOEU FUBM
1BRVPU FUBM • ࣾձޠ༻࿦ FH 'VOLF#FSOBJTDI • ܭྔจମ࿦ FH 4V[VLJ)PTPZB 5BCBUB • ֶशऀίʔύεݚڀ FH ,PCBZBTIJ"CF ,PCBZBTIJFUBM 5POP • ίʔύε෼ੳʹ͓͚ΔϥϯμϜϑΥϨετͷղઆͱͯ͠͸ɺ-FWTIJOB ͳͲ

ϥϯμϜϑΥϨετͷ஫ҙ఺ • ෼ੳաఔͰཚ਺Λ࢖͏ͨΊʹɺղ͕ෆఆʹͳΔ • ཚ਺ͷछΛݻఆ͢Δ͜ͱ͸Մೳ͕ͩɺዞҙੑΛሃΉ • ೖྗσʔλ΍ϋΠύʔύϥϝʔλͷઃఆΛগ͠ม͑Δ͚ͩͰɺ݁Ռ ͕େ͖͘มΘΓಘΔ • ߴੑೳͰ͸͋Δ͕ɺաֶशʢա৒ద߹ʣ͢Δ৔߹͕͋Δ
• ࠷ऴతͳ༧ଌ݁Ռ͕ಘΒΕΔաఔ͕෼͔Γʹ͍͘ • ࡢࠓٻΊΒΕ͍ͯΔʮઆ໌Մೳͳ"*ʯͱͭͳ͕Δ࿩ • ୅ද໦ SFQSFTFOUBUJWFUSFF ɺ෦෼ैଐϓϩοτ QBSUJBMEFQFOEFODF QMPU ɺ୅ཧϞσϧ TVSSPHBUFNPEFM ͳͲ͕ީิͱͳΔ͕ɺ͍ͣΕ΋׬ᘳ Ͱ͸ͳ͍ (SJFT

ม਺ॏཁ౓Λಛ௃౓ͱͯ͠༻͍Δ৔߹ͷ஫ҙ఺ • ಛ௃ޠநग़͕ݚڀͷओ໨తͰ͋ͬͯ΋ɺ༧ଌਫ਼౓Λࣔ͢΂͖ • ͍Θ͹ɺ༧ଌਫ਼౓͸நग़͞Εͨಛ௃ޠͷ৴པੑ • Ϋϥε෼ྨͷਫ਼౓͕ఔ౓ͳͷʹɺಛ௃౓நग़ͷ݁ՌΛใࠂ͍ͯ͠Δ ίʔύεݴޠֶʹؔ͢Δݚڀ FH 999
͕͋ͬͨΓɻɻɻ • ༧ଌਫ਼౓Λࣔͣ͞ʹɺಛ௃౓நग़ͷ݁ՌͷΈΛ͍ࣔͯ͠Δσʔλ෼ੳͷڭՊ ॻ FH ::: ͕͋ͬͨΓɻɻɻ • ม਺ॏཁ౓ͷᮢ஋͸ࣗ໌Ͱ͸ͳ͍ • ม਺ॏཁ౓͕͍ͭ͘Ҏ্ͳΒɺʮॏཁʯͳͷ͔ͷ൑அ͸ዞҙత • ม਺ॏཁ౓͚ͩͰ͸ɺઆ໌ม਺ͷස౓෼෍͸෼͔Βͳ͍ • ผ్ɺ෼ੳͳΓՄࢹԽ͕ඞཁ

෼ੳख๏ͷબ୒ʹ·ͭΘΔةݥੑ • σʔλαΠΤϯεͰ͸ɺ෼ੳख๏ͷબ୒͕෼ੳ݁Ռʹେ͖͘Өڹ͢ Δ 4JMCFS[BIO FUBM • ෳ਺ͷ෼ੳऀʹಉ͡σʔλΛ෼ੳͤͨ͞Βɺશ͘ҟͳΔ݁Ռ͕ಘΒΕͨ •
ίʔύεݴޠֶͰ΋ɺͲͷࢦඪͰίϩέʔγϣϯΛ෼ੳ͢Δ͔Ͱ݁ Ռ͕େ͖͘ҟͳΔ͜ͱ͕஌ΒΕ͍ͯΔ .D&OFSZ FUBM • యܕతʹ͸ɺ5TDPSFWTNVUVBMJOGPSNBUJPO .* • ϥϯμϜϑΥϨετ͸ɺͲͷΑ͏ͳઆ໌ม਺ʹߴ͍ม਺ॏཁ౓Λ༩ ͑Δͷ͔ʁ • ʮͳΜͱͳ͘ྑͦ͞͏ʯͱ͍͏͚ͩͰɺແ൷൑ʹ୯Ұͷख๏ʹґଘ͢Δͷ͸ ۃΊͯةݥ • ݚڀͷ໨తʹ߹Θͤͯɺద੾ͳख๏Λબ୒͢Δ΂͖

΍΍͍͜͠࿩͕ଓ͍ͨͷͰɺ͠͹͠ೣը૾Ͱ༊͞Ε·͠ΐ͏

ϥϯμϜϑΥϨετͷಛੑΛ஌Γ͍ͨ • 32 • ϥϯμϜϑΥϨετ͸ɺଞͷख๏ͱൺ΂ͯɺͲͷΑ͏ͳઆ໌ม਺ʹߴ͍ม਺ ॏཁ౓Λ༩͑Δ܏޲͕͋Δͷ͔ʁ • ۩ମతʹ͸ɺσʔλαΠΤϯεͷ෼໺ͰϥϯμϜϑΥϨετͱಉ༷ʹ෯޿͘ ׆༻͞Ε͍ͯΔ-"440 MFBTUBCTPMVUFTISJOLBHFBOETFMFDUJPO
PQFSBUPS ͱൺ΂ͯɺͲͷΑ͏ͳ܏޲͕͋Δͷ͔ʁ ˣ • ຊൃදͰ͸ɺઆ໌ม਺ͷʮස౓ʯͱʮࢄ෍౓ʯͷ؍఺͔ΒɺϥϯμϜϑΥϨ ετͱ-"440͕நग़͢Δಛ௃ޠΛൺֱ • ස౓ͦͷݴޠ߲໨͕౰֘ίʔύεதͰԿճ࢖ΘΕ͍ͯΔ͔ʁ • ࢄ෍౓ͦͷݴޠ߲໨͕౰֘ίʔύεதͷ͍ͭ͘ͷςΩετͰ࢖ΘΕ͍ͯΔ͔ʁ

-"440 • աֶशΛ཈͑ΔͨΊʹਖ਼ଇԽ߲ͷ֓೦ΛೖΕͨઢܗճؼ • ճؼͷΈͳΒͣɺ෼ྨ΋ѻ͑Δ • ճؼɾ෼ྨͷաఔͰɺҰ෦ͷઆ໌ม਺ͷ܎਺Λʹ͢Δ • 8FQSPQPTFBOFXNFUIPEGPSFTUJNBUJPOJOMJOFBSNPEFMT5IF bMBTTP`NJOJNJ[FTUIFSFTJEVBMTVNPGTRVBSFTTVCKFDUUPUIFTVNPG
UIFBCTPMVUFWBMVFPGUIFDPFGGJDJFOUTCFJOHMFTTUIBOBDPOTUBOU #FDBVTFPGUIFOBUVSFPGUIJTDPOTUSBJOUJUUFOETUPQSPEVDFTPNF DPFGGJDJFOUTUIBUBSFFYBDUMZBOEIFODFHJWFTJOUFSQSFUBCMF NPEFMT 5JCTIJSBOJ ˣ • ͜ͷΑ͏ͳม਺બ୒Λಛ௃ޠநग़ʹԠ༻Ͱ͖ΔͷͰ͸ʁ • ༧ଌʹد༩͢Δม਺ͱɺ༧ଌʹد༩͠ͳ͍ม਺ͷҧ͍͕໌֬ • ͦͯ͠ɺաֶशʹ΋ڧ͍

ϥϯμϜϑΥϨετͱ-"440 • ,BHHMFͷΑ͏ͳσʔλ෼ੳίϯϖςΟγϣϯͰɺසൟʹ༻͍ΒΕΔ ม਺બ୒ख๏ <ʜ> IUUQTXXXLBHHMFDPNDPEFQSBTIBOU DPNQSFIFOTJWFHVJEFPOGFBUVSFTFMFDUJPO

෼ੳσʔλ • 1-040/& ͔Βऩूͨ͠ӳޠ࿦จίʔύε • "OU$PS(FO WFSTJPO "OUIPOZ
Ͱऩू • ػցֶश NBDIJOFMFBSOJOH ʹؔ͢Δ࿦จຊΛର৅ • *OUSPEVDUJPO */5 ͱɺ3FTVMUTBOE%JTDVTTJPO 3"% ͷΈΛ෼ੳ /VNCFSPGUFYUT /VNCFSPGXPSET */5 3"% 5PUBM

ൺֱʹ༻͍Δݴޠ߲໨ • ຊൃදͰ͸ɺಛ௃ʮޠʯநग़Ͱ͸ͳ͘ɺಛ௃ʮදݱʯநग़ • LFZFYQSFTTJPO PSLFZGFBUVSF BOBMZTJTFYUSBDUJPO • σʔλॲཧ্ͷखଓ͖ͱͯ͠͸ɺશ͘ಉ͡ •
#JCFSͷछྨͷݴޠ߲໨ #JCFS • ޠኮɺจ๏ͳͲ޿ൣͳݴޠ߲໨ • ίʔύε෼ੳͰ෯޿͘׆༻͞Ε͍ͯΔ • .VMUJEJNFOTJPOBM"OBMZTJT5BHHFS /JOJ Ͱ৘ใநग़ • ޠ͋ͨΓͷ૬ରස౓ʹม׵ʢ553 "8-͸ͦͷ··ʣ ˣ • ͜ΕΒͷछྨͷݴޠ߲໨ΛϥϯμϜϑΥϨετͱ-"440ͷઆ໌ม਺ʢಛ ௃ྔʣͱͯ͠࢖༻

ϥϯμϜϑΥϨετͷ݁Ռʢ෼ྨਫ਼౓ʣ • ͱۃΊͯߴ͍ਫ਼౓ʢʹͱͷฏۉʣ • 0VUPG#BH 00# γϛϡϨʔγϣϯͰਪఆ INT (predicted)
RAD (predicted) Accuracy INT (actual) RAD (actual)

ϥϯμϜϑΥϨετͰಛ௃౓ͷߴ͍ݴޠ߲໨ • 1&"4 QFSGFDUBTQFDU • 50 JOGJOJUJWFT • 7135 QSFTFOUUFOTF
• "8- NFBOXPSEMFOHUI • 7#% QBTUUFOTF */5ͱ3"%Ͱɺςϯε΍ΞεϖΫτ ͕ҟͳΔͷ͸ೲಘ શͯʹ༗ҙͳස౓ࠩʢQ ʣ

ϥϯμϜϑΥϨετͷಛ௃౓ δχ܎਺ͷฏۉݮ෼ • ಛ௃౓ͱස౓ʹߴ͍ਖ਼ͷ૬ؔʢS ʣ • ಛ௃౓ͱࢄ෍౓ʹߴ͍ਖ਼ͷ૬ؔʢS ʣ • ޯ഑ϒʔεςΟϯάͳͲɺܾఆ໦ϕʔεͷϞσϧʹڞ௨͢Δ܏޲
ର਺ม׵ࡁΈ

-"440ͷ݁Ռʢ෼ྨਫ਼౓ʣ • ͱۃΊͯߴ͍ਫ਼౓ʢʹͱͷฏۉʣ • GPMEͷΫϩεόϦσʔγϣϯͰਪఆ */5 QSFEJDUFE 3"% QSFEJDUFE
"DDVSBDZ */5 BDUVBM 3"% BDUVBM

-"440Ͱಛ௃౓ͷߴ͍ݴޠ߲໨ • 4.1 TFFN BOEBQQFBS • 5)"$ UIBU BEKFDUJWFDPNQMFNFOUT •
%1"3 EJTDPVSTFQBSUJDMFT • 50#+ UIBU SFMBUJWFDMBVTFTPOPCKFDUQPTJUJPO • 4513 TUSBOEFEQSFQPTJUJPOT ස౓ͷதԝ஋͕ͷ߲໨͕ଟ͍ɻ ͕ͩɺશͯʹ༗ҙͳස౓ࠩ ʢQ ʣ

-"440ͷಛ௃౓ • ಛ௃౓ͱස౓ʹߴ͍ෛͷ૬ؔʢS ʣ • ಛ௃౓ͱࢄ෍౓ʹߴ͍ෛͷ૬ؔʢS ʣ • -"440͕௿ස౓දݱΛߴ͘ධՁ͢Δͷ͸ɺܭࢉաఔͷඪ४Խॲཧͱؔ܎ʁ
ର਺ม׵ࡁΈ

෼ੳ݁Ռͷ·ͱΊ • ϥϯμϜϑΥϨετ • ಛ௃౓ͱස౓ʹߴ͍ਖ਼ͷ૬ؔʢS ʣ • ಛ௃౓ͱࢄ෍౓ʹߴ͍ਖ਼ͷ૬ؔʢS ʣ •
-"440 • ಛ௃౓ͱස౓ʹߴ͍ෛͷ૬ؔʢS ʣ • ಛ௃౓ͱࢄ෍౓ʹߴ͍ෛͷ૬ؔʢS ʣ ˣ • ۃΊͯରরతͳ܏޲ • ίϩέʔγϣϯ෼ੳʹ͓͚Δ5TDPSFͱ.*ͷؔ܎ʹ͍ۙ

ͭͷख๏ͷ࢖͍෼͚ํ • ಓ۩ͷ࢖͍ํΛߟ͑Δͷ͸ɺݸʑͷݚڀऀͷ࢓ࣄ ͱ͸͍͑ɺʮ͋͘·ͰྫʯΛڍ͛ΔͳΒ͹ • ϥϯμϜϑΥϨετ • యܕతͳʢUZQJDBM SFQSFTFOUBUJWFʣݴޠ࢖༻Λ஌Γ͍ͨ৔߹
• ΞΧσϛοΫɾϥΠςΟϯάͷॏཁදݱ • ݴޠशಘݚڀʹ͓͚Δൃୡࢦඪ FUD • -"440 • ಛ௃తͳʢQFDVMJBS EJTUJODUJWFʣݴޠ࢖༻Λ஌Γ͍ͨ৔߹ • จମ΍मࣙ๏ͷ෼ੳ • ֶशऀͷޡΓ෼ੳ FUD

ʲิ଍ʳͭͷख๏ͷܽ఺ʢͱରࡦʣ • ϥϯμϜϑΥϨετ • ߴස౓Ώ͑ʹղऍ͠΍͍͢දݱ͕ಘΒΕಘΔ͕ɺͦΕ΄Ͳҙ֎ͳ݁ՌͰ͸ͳ ͍͔΋͠Εͳ͍ • ม਺ॏཁ౓͕͍ͭ͘Ҏ্ͳΒɺʮॏཁʯͳͷ͔ͷ൑அ͸ዞҙతʢલड़ʣ • ϥϯμϜϑΥϨετͱݕఆΛ૊Έ߹Θͤͨ#PSVUB
,VSTB 3VEOJDLJ Λ༻͍ ͯɺʮॏཁͳʯදݱͱʮॏཁͰ͸ͳ͍ʯදݱΛ౷ܭతʹ۠ผ͢Δͱ͍͏ରԠ΋͋Δ • -"440 • ௿ස౓ͷҙ֎ͳදݱ͕ಘΒΕಘΔ͕ɺͱ͖ʹղऍ͕೉͍͔͠΋͠Εͳ͍ • ߴ͍૬ؔؔ܎ʹ͋Δઆ໌ม਺ͷϖΞ͕͋Δ৔߹ɺͦͷยํ͔͠ม਺બ୒͞Ε ͳ͍ʢϞσϧͷओ؟͸ɺ͋͘·Ͱ༧ଌͰ͋ΔͨΊʣ 'SFJKFJSP(PO[ÂMF[FUBM • -"440ͱ3JEHFճؼΛ૊Έ߹ΘͤͨFMBTUJDOFU ;PV)BTUJF Λ༻͍ͯɺߴ ͍૬ؔؔ܎ʹ͋Δઆ໌ม਺ͷϖΞʹಉ͡είΞΛ༩͑Δͱ͍͏ରԠ΋͋Δ

ຊൃදͷཱ৔Λ΋͏Ұ౓ • ʮͳΜͱͳ͘ྑͦ͞͏ʯͱ͍͏͚ͩͰɺແ൷൑ʹ୯Ұͷख๏ʹґଘ ͢Δͷ͸ۃΊͯةݥʢલड़ʣ • ݚڀͷ໨తʹ߹Θͤͯɺద੾ͳख๏Λબ୒͢Δ΂͖ʢલड़ʣ ˣ • ࠓճ͸ඇৗʹయܕతɾରরతͳख๏Λൺֱ͕ͨ͠ɺݴ͏·Ͱ΋ͳ͘ɺ ༷ʑͳख๏Λൺֱɾݕূʢ৔߹ʹΑͬͯ͸։ൃʣ͢Δ΂͖

એ఻ • ຊൃදͷ಺༰ͷҰ෦͸ɺҎԼͷ࿦จͱͯ͠ץߦࡁΈɻ • ,PCBZBTIJ : .FBTVSJOHUIFFGGFDUTPGGSFRVFODZ BOEEJTQFSTJPOPOLFZFYQSFTTJPOBOBMZTJT.FUIPEPMPHJDBM SFDPNNFOEBUJPOT&OHMJTI$PSQVT4UVEJFT
r IUUQTKBFDTDPNKOM&$4&$4@QEG 0"

એ఻ʢͦͷʣ • খྛ༤Ұ࿠ ʰ3ʹΑΔ΍͍͞͠ςΩετΞφϦςΟΫεʱ ΦʔϜࣾ ݄೔ ൃച༧ఆ

͓ΘΓ ຊݚڀͷҰ෦͸ɺ+414ՊֶݚڀඅิॿۚʢՊݚඅʣ ,ͷॿ੒Λड͚ͨ΋ͷͰ͋Δɻ

コーパス分析における特徴語抽出手法の比較ー機械学習モデルの特性と注意点

コーパス分析における特徴語抽出手法の比較ー機械学習モデルの特性と注意点

Yuichiro Kobayashi

More Decks by Yuichiro Kobayashi

Other Decks in Science

Featured

Transcript

ίʔύε෼ੳʹ͓͚Δ ಛ௃ޠநग़ख๏ͷൺֱ ʔػցֶशϞσϧͷಛੑͱ஫ҙ఺ʔ খྛ ༤Ұ࿠ ֎ࠃޠڭҭϝσΟΞֶձ ϝιυϩδʔݚڀ෦ձ ೥౓ୈճݚڀձ 1

8IP

ͬ͘͟Γͱͨ͠ൃදͷྲྀΕ • લ൒ • ಛ௃ޠநग़΍ػցֶशʹؔ͢ΔڭՊॻతͳʢٕज़తͳʣ࿩ • ݱࡏͷίʔύε෼ੳʹ͓͚Δ໰୊఺ • ޙ൒ •

؆୯ͳ༻ޠͷఆٛ • ίʔύε • ిࢠతʹूੵ͞Εͨݴޠσʔλ • ಛ௃ޠ • ಛఆͷςΩετ܈Λಛ௃͚ͮΔ୯ޠʢඞͣ͠΋ʮ୯ޠʯʹݶఆ͞ΕͣɺO HSBN΍ɺจ๏΍౷ޠʹؔ͢Δݴޠ߲໨ͳͲΛࢦ͢৔߹΋͋Δʣ

యܕతͳಛ௃ޠʢLFZXPSEʣͷఆٛ • "XPSEXIJDIBQQFBSTJOBUFYUPSDPSQVTTUBUJTUJDBMMZTJHOJGJDBOUMZ NPSFGSFRVFOUMZUIBOXPVMECFFYQFDUFECZDIBODFXIFO DPNQBSFEUPBDPSQVTXIJDIJTMBSHFSPSPGFRVBMTJ[F6TVBMMZ MPOHMJLFMJIPPEPSDIJTRVBSFEUFTUTBSFVTFEUPDPNQBSFUXPXPSEMJTUT JOPSEFSUPEFSJWFLFZXPSET #BLFSFUBM •

ಛ௃ޠநग़ͷయܕྫ • ܭྔจମ࿦ • ॻ͖ख"WTॻ͖ख# • ಛఆͷॻ͖ख WTಉ࣌୅ͷॻ͖खूஂʢจମతҳ୤ͷ෼ੳʣ • 9ੈلͷςΩετ܈

෼ׂදͷݕఆʹجͮ͘ಛ௃౓ʢLFZOFTTʣͷܭࢉ • ର਺໬౓ൺݕఆɺΧΠೋ৐ݕఆͳͲ • ࠷େͷ໰୊͸ɺίʔύε಺ͷස౓෼෍͕ߟྀ͞Εͳ͍͜ͱ • ͜ͷܭࢉΛ୯ޠͷ਺͚ͩ܁Γฦ͕͢ɺ͜ͷจ຺Ͱ͸ݕఆͷଟॏੑ͸໰୊ʹ͠ ͳ͍ ίʔύε"ʹؚ·ΕΔશςΩετ

Ͳ͏ͯ͠ɺ෼ׂදͷݕఆʹͩ͜ΘΔͷ͔ʁ • <>NBOZDPSQVTMJOHVJTUTEPOPUIBWFUIFOFDFTTBSZ NFUIPEPMPHJDBMTLJMMTUIFNTFMWFT CPUIJOUFSNTPGQSPHSBNNJOH EBUBCBTFTBOETUBUJTUJDBMUPPMT BOE UIVT EPOPUSFRVJSFUIFJSTUVEFOUT UPBDRVJSFBXJEF

ίʔύε಺ͷස౓෼෍Λߟྀ͠Α͏ͱ͢ΔࢼΈ • ฏۉ஋ͷݕఆ • 5ݕఆ FH 1BRVPU #FTUHFO •

ϥϯμϜϑΥϨετͷϒʔϜʁ • ϥϯμϜϑΥϨετ #SFJNBO • ౷ܭతʹ͸ɺܾఆ໦ϞσϧͷΞϯαϯϒϧֶश • ʮຊདྷ͸ʯ෼ྨ΍ճؼͷͨΊͷػցֶशͷख๏ •

ίʔύε෼ੳʹ͓͚ΔϥϯμϜϑΥϨετͷԠ༻ྫ • จ๏ݚڀ FH %FTIPST %FTIPST (SJFT )VOEU FUBM

ϥϯμϜϑΥϨετͷ஫ҙ఺ • ෼ੳաఔͰཚ਺Λ࢖͏ͨΊʹɺղ͕ෆఆʹͳΔ • ཚ਺ͷछΛݻఆ͢Δ͜ͱ͸Մೳ͕ͩɺዞҙੑΛሃΉ • ೖྗσʔλ΍ϋΠύʔύϥϝʔλͷઃఆΛগ͠ม͑Δ͚ͩͰɺ݁Ռ ͕େ͖͘มΘΓಘΔ • ߴੑೳͰ͸͋Δ͕ɺաֶशʢա৒ద߹ʣ͢Δ৔߹͕͋Δ

ม਺ॏཁ౓Λಛ௃౓ͱͯ͠༻͍Δ৔߹ͷ஫ҙ఺ • ಛ௃ޠநग़͕ݚڀͷओ໨తͰ͋ͬͯ΋ɺ༧ଌਫ਼౓Λࣔ͢΂͖ • ͍Θ͹ɺ༧ଌਫ਼౓͸நग़͞Εͨಛ௃ޠͷ৴པੑ • Ϋϥε෼ྨͷਫ਼౓͕ఔ౓ͳͷʹɺಛ௃౓நग़ͷ݁ՌΛใࠂ͍ͯ͠Δ ίʔύεݴޠֶʹؔ͢Δݚڀ FH 999

෼ੳख๏ͷબ୒ʹ·ͭΘΔةݥੑ • σʔλαΠΤϯεͰ͸ɺ෼ੳख๏ͷબ୒͕෼ੳ݁Ռʹେ͖͘Өڹ͢ Δ 4JMCFS[BIO FUBM • ෳ਺ͷ෼ੳऀʹಉ͡σʔλΛ෼ੳͤͨ͞Βɺશ͘ҟͳΔ݁Ռ͕ಘΒΕͨ •

΍΍͍͜͠࿩͕ଓ͍ͨͷͰɺ͠͹͠ೣը૾Ͱ༊͞Ε·͠ΐ͏

ϥϯμϜϑΥϨετͷಛੑΛ஌Γ͍ͨ • 32 • ϥϯμϜϑΥϨετ͸ɺଞͷख๏ͱൺ΂ͯɺͲͷΑ͏ͳઆ໌ม਺ʹߴ͍ม਺ ॏཁ౓Λ༩͑Δ܏޲͕͋Δͷ͔ʁ • ۩ମతʹ͸ɺσʔλαΠΤϯεͷ෼໺ͰϥϯμϜϑΥϨετͱಉ༷ʹ෯޿͘ ׆༻͞Ε͍ͯΔ-"440 MFBTUBCTPMVUFTISJOLBHFBOETFMFDUJPO

-"440 • աֶशΛ཈͑ΔͨΊʹਖ਼ଇԽ߲ͷ֓೦ΛೖΕͨઢܗճؼ • ճؼͷΈͳΒͣɺ෼ྨ΋ѻ͑Δ • ճؼɾ෼ྨͷաఔͰɺҰ෦ͷઆ໌ม਺ͷ܎਺Λʹ͢Δ • 8FQSPQPTFBOFXNFUIPEGPSFTUJNBUJPOJOMJOFBSNPEFMT5IF bMBTTP`NJOJNJ[FTUIFSFTJEVBMTVNPGTRVBSFTTVCKFDUUPUIFTVNPG

ϥϯμϜϑΥϨετͱ-"440 • ,BHHMFͷΑ͏ͳσʔλ෼ੳίϯϖςΟγϣϯͰɺසൟʹ༻͍ΒΕΔ ม਺બ୒ख๏ <ʜ> IUUQTXXXLBHHMFDPNDPEFQSBTIBOU DPNQSFIFOTJWFHVJEFPOGFBUVSFTFMFDUJPO

෼ੳσʔλ • 1-040/& ͔Βऩूͨ͠ӳޠ࿦จίʔύε • "OU$PS(FO WFSTJPO "OUIPOZ

ൺֱʹ༻͍Δݴޠ߲໨ • ຊൃදͰ͸ɺಛ௃ʮޠʯநग़Ͱ͸ͳ͘ɺಛ௃ʮදݱʯநग़ • LFZFYQSFTTJPO PSLFZGFBUVSF BOBMZTJTFYUSBDUJPO • σʔλॲཧ্ͷखଓ͖ͱͯ͠͸ɺશ͘ಉ͡ •

ϥϯμϜϑΥϨετͷ݁Ռʢ෼ྨਫ਼౓ʣ • ͱۃΊͯߴ͍ਫ਼౓ʢʹͱͷฏۉʣ • 0VUPG#BH 00# γϛϡϨʔγϣϯͰਪఆ INT (predicted)

ϥϯμϜϑΥϨετͰಛ௃౓ͷߴ͍ݴޠ߲໨ • 1&"4 QFSGFDUBTQFDU • 50 JOGJOJUJWFT • 7135 QSFTFOUUFOTF

ϥϯμϜϑΥϨετͷಛ௃౓ δχ܎਺ͷฏۉݮ෼ • ಛ௃౓ͱස౓ʹߴ͍ਖ਼ͷ૬ؔʢS ʣ • ಛ௃౓ͱࢄ෍౓ʹߴ͍ਖ਼ͷ૬ؔʢS ʣ • ޯ഑ϒʔεςΟϯάͳͲɺܾఆ໦ϕʔεͷϞσϧʹڞ௨͢Δ܏޲

-"440ͷ݁Ռʢ෼ྨਫ਼౓ʣ • ͱۃΊͯߴ͍ਫ਼౓ʢʹͱͷฏۉʣ • GPMEͷΫϩεόϦσʔγϣϯͰਪఆ */5 QSFEJDUFE 3"% QSFEJDUFE

-"440Ͱಛ௃౓ͷߴ͍ݴޠ߲໨ • 4.1 TFFN BOEBQQFBS • 5)"$ UIBU BEKFDUJWFDPNQMFNFOUT •

-"440ͷಛ௃౓ • ಛ௃౓ͱස౓ʹߴ͍ෛͷ૬ؔʢS ʣ • ಛ௃౓ͱࢄ෍౓ʹߴ͍ෛͷ૬ؔʢS ʣ • -"440͕௿ස౓දݱΛߴ͘ධՁ͢Δͷ͸ɺܭࢉաఔͷඪ४Խॲཧͱؔ܎ʁ

෼ੳ݁Ռͷ·ͱΊ • ϥϯμϜϑΥϨετ • ಛ௃౓ͱස౓ʹߴ͍ਖ਼ͷ૬ؔʢS ʣ • ಛ௃౓ͱࢄ෍౓ʹߴ͍ਖ਼ͷ૬ؔʢS ʣ •

ͭͷख๏ͷ࢖͍෼͚ํ • ಓ۩ͷ࢖͍ํΛߟ͑Δͷ͸ɺݸʑͷݚڀऀͷ࢓ࣄ ͱ͸͍͑ɺʮ͋͘·ͰྫʯΛڍ͛ΔͳΒ͹ • ϥϯμϜϑΥϨετ • యܕతͳʢUZQJDBM SFQSFTFOUBUJWFʣݴޠ࢖༻Λ஌Γ͍ͨ৔߹

ʲิ଍ʳͭͷख๏ͷܽ఺ʢͱରࡦʣ • ϥϯμϜϑΥϨετ • ߴස౓Ώ͑ʹղऍ͠΍͍͢දݱ͕ಘΒΕಘΔ͕ɺͦΕ΄Ͳҙ֎ͳ݁ՌͰ͸ͳ ͍͔΋͠Εͳ͍ • ม਺ॏཁ౓͕͍ͭ͘Ҏ্ͳΒɺʮॏཁʯͳͷ͔ͷ൑அ͸ዞҙతʢલड़ʣ • ϥϯμϜϑΥϨετͱݕఆΛ૊Έ߹Θͤͨ#PSVUB

એ఻ • ຊൃදͷ಺༰ͷҰ෦͸ɺҎԼͷ࿦จͱͯ͠ץߦࡁΈɻ • ,PCBZBTIJ : .FBTVSJOHUIFFGGFDUTPGGSFRVFODZ BOEEJTQFSTJPOPOLFZFYQSFTTJPOBOBMZTJT.FUIPEPMPHJDBM SFDPNNFOEBUJPOT&OHMJTI$PSQVT4UVEJFT

એ఻ʢͦͷʣ • খྛ༤Ұ࿠ ʰ3ʹΑΔ΍͍͞͠ςΩετΞφϦςΟΫεʱ ΦʔϜࣾ ݄೔ ൃച༧ఆ

͓ΘΓ ຊݚڀͷҰ෦͸ɺ+414ՊֶݚڀඅิॿۚʢՊݚඅʣ ,ͷॿ੒Λड͚ͨ΋ͷͰ͋Δɻ