自然言語処理の基本 / Basic of Natural Language Processing

2021-07-10のPython機械学習勉強会 in 新潟 での発表資料です。
自然言語処理の基本というか、概要というかです。

Transcript

1. ࣗવݴޠॲཧͷجຊ 1ZUIPOػցֶशษڧձ JO
   ৽ׁ 4,"`T
   8FC 1
2. ࢿྉͷϦϯΫషΔϖʔδ 2 ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ
3. ໨࣍ r ࣗવݴޠॲཧͷجຊ 3 ɾࣗવݴޠॲཧͱ͸ ɾࣗવݴޠॲཧͷओͳλεΫ ɾλεΫΛղͨ͘Ίͷख๏ ɾࣗવݴޠॲཧͰ࢖ΘΕ͍ͯΔਂ૚ֶश ɾਂ૚ֶशͷར఺
4. 5XJUUFS࿈ܞ 4 #pyml_niigata ͰͭͿ΍͘ͱʜʜ ɾ࣭໰ ɾײ૝ FY
   ͲΜͲΜͭͿ΍͍ͯΈͯͶ ը૾ɿ5XJUUFSɼLPOHBSJOJLV ༷ɼ͸Δ͔ ༷
5. ࣗݾ঺հ 5 ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"
6. ࠂ஌ʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ 6 ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ
7. ࠂ஌ 7 ௕ԬՖՐόʔνϟϧؑ৆ձ ։࠵༧ఆ ݄೔ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉ઀ਓ ˇ ݄೔ʢՐʣɿ73$IBU੮ ಉ઀nਓ ˇ
8. ࣗવݴޠॲཧͱ͸ 8 ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ ʢྫʣ೔ຊޠɼӳޠɼதࠃޠ نଇ͕ ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍ ݴޠΛίϯϐϡʔλʔͰѻ͏ ը૾ɿ͍Β͢ͱ΍
9. ࣗવݴޠॲཧͷجຊతͳλεΫ 9 ɾܗଶૉղੳɿ୯ޠʹ෼ׂͯ͠඼ࢺΛਪఆ ໋୊ʢ໊ࢺʣʗ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗ͸ʢॿࢺʣʗ ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ ɾߏจղੳɿ֤୯ޠ PS
   จઅͷ܎Γड͚ؔ܎Λਪఆ ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ ౳Λநग़ ɾ͔ͳ׽ࣈม׵ ը૾ɿ(J/;"
10. ࣗવݴޠॲཧͷԠ༻తͳλεΫ 10 ɾจॻ෼ྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎࿭ϝʔϧϑΟϧλʔɺ໰͍߹ΘͤΛ֤෦ॺʹׂৼΔ ɾจষੜ੒ɿʢྫʣΓΜͳͪΌΜɺ(15 ɾ຋༁ɿʢྫʣ%FFQ- ɾײ৘෼ੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾ ɾߍਖ਼ɿʢྫʣ8PSE ɾཁ໿ ɾจॻݕࡧ ը૾ɿ5XJUUFSɺ:BIPP
    +"1"/
11. ·ͣ͸୯ޠʹ෼ׂ͠ͳ͍ͱ࢝·Βͳ͍ 11 ɾܗଶૉղੳɿ୳ࡧ໰୊ ͢΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗ΋ʢॿࢺʣʗ΋΋ʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ ɾʮ֎ࠃਓࢀ੓ݖʯ͸ʮ֎ࠃʗਓࢀʗ੓ݖʯPS
    ʮ֎ࠃʗਓʗࢀ੓ʗݖʯʁ ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢ ɾ໬΋Β͠͞͸৚݅෇͖֬཰৔΍࠶ؼχϡʔϥϧωοτϫʔΫͰֶश ը૾ɿ+6."/
12. ୯ޠΛͲ͏දݱ͢Δʁ 12 ɾ୯ޠʹ෼ׂͰ͖ͯ΋จࣈίʔυͷ··Ͱ͸ҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍ ɾࣗવݴޠ͸ϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ࢖͏ ɾҰൠతͳ೔ຊਓ΋ӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ͸্ୡ͠ͳ͍ ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར ʢຒΊࠐΈʣ
13. ౷ܭͱϕΫτϧͬͯؔ܎͋Δͷʁ 13 ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ ɾྫ͑͹ɺ߹ܭֹۚͷܭࢉ ঎඼໊ ୯Ձʢԁʣ ݸ਺ʢݸʣ ക͓ʹ͗Γ   ࡪ͓ʹ͗Γ   πφ͓ʹ͗Γ   ߹ܭ º
    ʴ º
    ʴ º 
    
     ݸ਺ ୯Ձ 
    
     ߹ܭʹ୯Ձɾݸ਺
14. ୯ޠΛͲ͏දݱ͢Δʁ 14 ɾ#BH
    PG
    8PSET ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ ˞
    ग़ݱճ਺ͱ͢Δ৔߹΋͋Δ ɾͪΐX
    ࣍ݩ਺XXXX ɾྫจ"ʮࢲ͸.POUZ
    1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ ɾྫจ#ʮ·ͭ΋ͱ͞Μ͸3VCZΛॻ͍͍ͯΔʯ ࢲ .POUZ 1ZUIPO ॻ͘ ·ͭ΋ͱ 3VCZ ྫจ"       ྫจ#      
15. ୯ޠΛͲ͏දݱ͢Δʁ 15 ɾ8PSE7FD ɾҰൠతͳจॻ͸͍ۙҐஔʹग़ͯ͘Δ୯ޠ͸ҙຯ΋͍ۙ ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ֬཰͕ߴ͍͔ͰϕΫτϧԽʢ෼ࢄදݱʣ ɾӅΕ૚ͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श ࢲ .POUZ ॻ͘ ·ͭ΋ͱ 3VCZ 1ZUIPO     
16. ਂ૚ֶशͰ͖Μ͡ΌΜ 16 ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ ࢲ ͸ .POUZ
    1ZUIPO
    Λ ݟ ͳ͕Β 1ZUIPO
    Λ ॻ͍ ͨ
17. ਂ૚ֶशͰ͖Μ͡ΌΜ 17 "ͷ֬཰aɼ#ͷ֬཰b
18. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 18 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ
19. ਂ૚ֶशʹΑΔࣗવݴޠॲཧ 19 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜Β΁Μৄ͘͠͸࣍ճҎ߱ʹ
20. ·ͱΊ 20 ɾࣗવݴޠॲཧ͸ίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ ɾ·ͣ͸จࣈྻΛ୯ޠʹ෼ׂ͢Δඞཁ͕͋Δ ɾ୯ޠ͸ϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ ɾਂ૚ֶशΛ࢖͏ϝϦοτͱ͔࣮૷·ΘΓʹ͍ͭͯ͸࣍ճҎ߱Ͱ