Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自然言語処理の基本 / Basic of Natural Language Processing
Search
SKA’s Web
July 10, 2021
Technology
0
280
自然言語処理の基本 / Basic of Natural Language Processing
2021-07-10のPython機械学習勉強会 in 新潟 での発表資料です。
自然言語処理の基本というか、概要というかです。
SKA’s Web
July 10, 2021
Tweet
Share
More Decks by SKA’s Web
See All by SKA’s Web
学習しやすいネットワークガチャ? 深層学習の「宝くじ仮説」 【VRアカデミア クリスマスリレー】 / VR Lottery Ticket Hypothesis
skasweb
1
440
宝くじ仮説の話を少し / LT Lottery Ticket Hypothesis
skasweb
0
340
AIとクラスター分析について自作アイテムを用いて解説してみた 【VRアカデミア3周年カウントダウン】 / Explaining AI and Cluster Analysis Using My Item
skasweb
0
260
Other Decks in Technology
See All in Technology
地域DXにおけるGrafana活用事例
wacky
0
350
エンジニア組織の成果を伝えたい!経営層や非エンジニア組織との会話、どうしてる? / How do you communicate with management and non-engineering teams?
kosukeaizawa
3
170
マルチテナントのサービスインフラに大きなテナントを受け入れるまで
7474
0
120
I tried the newly introduced certification "Applied Skills" on Microsoft Learn
mappie_kochi
0
290
【完全版】Dify - LINE Bot連携 考え方と実用テクニック
uezo
3
800
寒冷地稲作の歴史にみるコミュニティ
miu_crescent
2
130
Binary Hacks Rebooted 私選ハック集
nullpo_head
1
340
自然言語処理を役立てるのはなぜ難しいのか
pfn
PRO
2
780
CData Virtuality を活かせるキーシナリオと製品デモ
cdataj
0
410
Kubernetes Meetup Tokyo #67 - KEP-3619: Fine-grained SupplementalGroups Control / k8sjp67-kep-3619
everpeace
0
320
とある事業会社にとっての Kaggler の魅力
hakubishin3
7
1.4k
ラブグラフ紹介資料 〜プロダクト解体新書〜 / Lovegraph Product Deck
lovegraph
0
14k
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
32
2.3k
Embracing the Ebb and Flow
colly
84
4.4k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
13
1.7k
Clear Off the Table
cherdarchuk
91
320k
Pencils Down: Stop Designing & Start Developing
hursman
119
11k
Atom: Resistance is Futile
akmur
261
25k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
Designing on Purpose - Digital PM Summit 2013
jponch
114
6.9k
Building an army of robots
kneath
302
42k
The Art of Programming - Codeland 2020
erikaheidi
51
13k
Done Done
chrislema
181
16k
A Tale of Four Properties
chriscoyier
156
22k
Transcript
ࣗવݴޠॲཧͷجຊ 1ZUIPOػցֶशษڧձ JO৽ׁ 4,"`T8FC 1
ࢿྉͷϦϯΫషΔϖʔδ 2 ʢ͜͜ʹϦϯΫΛషΓ·͢ʣ
࣍ r ࣗવݴޠॲཧͷجຊ 3 ɾࣗવݴޠॲཧͱ ɾࣗવݴޠॲཧͷओͳλεΫ ɾλεΫΛղͨ͘Ίͷख๏ ɾࣗવݴޠॲཧͰΘΕ͍ͯΔਂֶश ɾਂֶशͷར
5XJUUFS࿈ܞ 4 #pyml_niigata ͰͭͿ͘ͱʜʜ ɾ࣭ ɾײ FY ͲΜͲΜͭͿ͍ͯΈͯͶ ը૾ɿ5XJUUFSɼLPOHBSJOJLV
༷ɼΔ͔ ༷
ࣗݾհ 5 ͦͷଞৄࡉɿIUUQTTDSBQCPYJPWSBDBEFNJBXJLJ4,"
ࠂʢ73ΞΧσϛΞɾՆΩϟεϚʔέοτʣ 6 ը૾ɿ73ΞΧσϛΞɼՆΩϟεϚʔέοτ
ࠂ 7 ԬՖՐόʔνϟϧؑձ ։࠵༧ఆ ݄ʢ݄ʣɿόʔνϟϧΩϟετ੮ ಉਓ ˇ ݄ʢՐʣɿ73$IBU੮ ಉnਓ ˇ
ࣗવݴޠॲཧͱ 8 ࣗવݴޠॲཧɿࣗવݴޠΛίϯϐϡʔλʔʹॲཧͤ͞Δ͜ͱશൠ ࣗવݴޠɿࣗવͱൃల͖ͯͨ͠ݴޠ ʢྫʣຊޠɼӳޠɼதࠃޠ نଇ͕ ෳࡶͰ؆୯ʹύʔεͰ͖ͳ͍ ݴޠΛίϯϐϡʔλʔͰѻ͏ ը૾ɿ͍Β͢ͱ
ࣗવݴޠॲཧͷجຊతͳλεΫ 9 ɾܗଶૉղੳɿ୯ޠʹׂͯ͠ࢺΛਪఆ ໋ʢ໊ࢺʣʗ͢ʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣʗʢॿࢺʣʗ ِʢ໊ࢺʣʗͰʢॿಈࢺʣʗ͋Δʢಈࢺʣ ɾߏจղੳɿ֤୯ޠ PSจઅͷΓड͚ؔΛਪఆ ɾݻ༗දݱநग़ɿ͍ͭɾͲ͜Ͱɾ୭͕ Λநग़ ɾ͔ͳࣈม
ը૾ɿ(J/;"
ࣗવݴޠॲཧͷԠ༻తͳλεΫ 10 ɾจॻྨɿʢྫʣ5XJUUFSͷτϨϯυɺ໎ϝʔϧϑΟϧλʔɺ͍߹ΘͤΛ֤෦ॺʹׂৼΔ ɾจষੜɿʢྫʣΓΜͳͪΌΜɺ(15 ɾ༁ɿʢྫʣ%FFQ- ɾײੳɿʢྫʣϦΞϧλΠϜݕࡧɺલϖʔδͷը૾ ɾߍਖ਼ɿʢྫʣ8PSE ɾཁ ɾจॻݕࡧ ը૾ɿ5XJUUFSɺ:BIPP+"1"/
·ͣ୯ޠʹׂ͠ͳ͍ͱ࢝·Βͳ͍ 11 ɾܗଶૉղੳɿ୳ࡧ ͢ʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗʢॿࢺʣʗʢ໊ࢺʣʗͷʢॿࢺʣʗ͏ͪʢ໊ࢺʣ ɾʮ֎ࠃਓࢀݖʯʮ֎ࠃʗਓࢀʗݖʯPSʮ֎ࠃʗਓʗࢀʗݖʯʁ ɾࣙॻʹ͋ΔશύλʔϯΛॻ͖ग़͢ ɾΒ͖݅֬͠͞࠶ؼχϡʔϥϧωοτϫʔΫͰֶश ը૾ɿ+6."/
୯ޠΛͲ͏දݱ͢Δʁ 12 ɾ୯ޠʹׂͰ͖ͯจࣈίʔυͷ··Ͱҙຯͷ͋Δԋࢉ͕Ͱ͖ͳ͍ ɾࣗવݴޠϧʔϧ͕ෳࡶ ˠ ౷ܭతͳख๏Λ͏ ɾҰൠతͳຊਓӳޠʹͨ͘͞Μ৮Εͳ͍ͱӳޠ্ୡ͠ͳ͍ ɾ౷ܭͳͷͰ୯ޠΛϕΫτϧԽͰ͖ͨΒউར ʢຒΊࠐΈʣ
౷ܭͱϕΫτϧͬͯؔ͋Δͷʁ 13 ɾσʔλɼσʔλɼʜʜΛͻͱ·ͱΊʹͯ͠ ͻͱͭͷϕΫτϧͱΈͳͤΔ ɾྫ͑ɺ߹ܭֹۚͷܭࢉ ໊ ୯Ձʢԁʣ ݸʢݸʣ ക͓ʹ͗Γ
ࡪ͓ʹ͗Γ πφ͓ʹ͗Γ ߹ܭ ºʴ ºʴ º ݸ ୯Ձ ߹ܭʹ୯Ձɾݸ
୯ޠΛͲ͏දݱ͢Δʁ 14 ɾ#BHPG8PSET ɾ͋Δ୯ޠ͕ग़͖ͯͨΒͦͷ୯ޠͷཁૉΛɺͳ͔ͬͨΒͱͯ͠ϕΫτϧԽ ˞ग़ݱճͱ͢Δ߹͋Δ ɾͪΐX࣍ݩXXXX ɾྫจ"ʮࢲ.POUZ1ZUIPOΛݟͳ͕Β1ZUIPOΛॻ͍ͨʯ ɾྫจ#ʮ·ͭͱ͞Μ3VCZΛॻ͍͍ͯΔʯ ࢲ .POUZ
1ZUIPO ॻ͘ ·ͭͱ 3VCZ ྫจ" ྫจ#
୯ޠΛͲ͏දݱ͢Δʁ 15 ɾ8PSE7FD ɾҰൠతͳจॻ͍ۙҐஔʹग़ͯ͘Δ୯ޠҙຯ͍ۙ ɾগͳ͍࣍ݩͰҙຯΛؚΊͨԋࢉΛߦ͍͍ͨ ɾͦͷ୯ޠͷલޙʹͲͷΑ͏ͳ୯ޠ͕དྷΔ͕֬ߴ͍͔ͰϕΫτϧԽʢࢄදݱʣ ɾӅΕͷχϡʔϥϧωοτͰपลޠͷ༧ଌλεΫͱֶͯ͠श ࢲ .POUZ ॻ͘
·ͭͱ 3VCZ 1ZUIPO
ਂֶशͰ͖Μ͡ΌΜ 16 ɾ୯ޠΛϕΫτϧԽͰ͖ͨʂ ɾจষͬͯ࣌ؒ͝ͱʹมΘΔϕΫτϧ͡ΌΜʂʂ ࢲ .POUZ1ZUIPOΛ ݟ ͳ͕Β 1ZUIPOΛ
ॻ͍ ͨ
ਂֶशͰ͖Μ͡ΌΜ 17 "ͷ֬aɼ#ͷ֬b
ਂֶशʹΑΔࣗવݴޠॲཧ 18 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜ΒΜৄ࣍͘͠ճҎ߱ʹ
ਂֶशʹΑΔࣗવݴޠॲཧ 19 ɾ3//ʢ࠶ؼχϡʔϥϧωοτϫʔΫʣ ɾ(36ʴ"UUFOUJPO ɾ5SBOTGPSNFS ɾ#&35 ɾ5 ɾ͜͜ΒΜৄ࣍͘͠ճҎ߱ʹ
·ͱΊ 20 ɾࣗવݴޠॲཧίϯϐϡʔλʔʹࣗવݴޠΛॲཧͤ͞Δ͜ͱ ɾ·ͣจࣈྻΛ୯ޠʹׂ͢Δඞཁ͕͋Δ ɾ୯ޠϕΫτϧԽ͢Δͱ͍͍͜ͱ͋ΔͶ ɾਂֶशΛ͏ϝϦοτͱ͔࣮·ΘΓʹ͍ͭͯ࣍ճҎ߱Ͱ