Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
自然言語処理と情報検索について(NLP AND IR)
Search
KAMATA Shingo
November 27, 2021
Technology
6
1.8k
自然言語処理と情報検索について(NLP AND IR)
友人たちとの勉強会で作成した資料
内容の正確性については保証しません。
KAMATA Shingo
November 27, 2021
Tweet
Share
More Decks by KAMATA Shingo
See All by KAMATA Shingo
AWS Startup Tech Meetup Online 「SIerとスタートアップでおなじだったことちがったこと」
kamata_shingo
0
770
Other Decks in Technology
See All in Technology
RubyのWebアプリケーションを50倍速くする方法 / How to Make a Ruby Web Application 50 Times Faster
hogelog
3
950
【令和最新版】AWS Direct Connectと愉快なGWたちのおさらい
minorun365
PRO
5
760
AGIについてChatGPTに聞いてみた
blueb
0
130
The Rise of LLMOps
asei
7
1.7k
適材適所の技術選定 〜GraphQL・REST API・tRPC〜 / Optimal Technology Selection
kakehashi
1
690
これまでの計測・開発・デプロイ方法全部見せます! / Findy ISUCON 2024-11-14
tohutohu
3
370
20241120_JAWS_東京_ランチタイムLT#17_AWS認定全冠の先へ
tsumita
2
300
SSMRunbook作成の勘所_20241120
koichiotomo
3
160
リンクアンドモチベーション ソフトウェアエンジニア向け紹介資料 / Introduction to Link and Motivation for Software Engineers
lmi
4
300k
Making your applications cross-environment - OSCG 2024 NA
salaboy
0
190
AI前提のサービス運用ってなんだろう?
ryuichi1208
8
1.4k
TypeScriptの次なる大進化なるか!? 条件型を返り値とする関数の型推論
uhyo
2
1.7k
Featured
See All Featured
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
6
430
Making the Leap to Tech Lead
cromwellryan
133
8.9k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Embracing the Ebb and Flow
colly
84
4.5k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
900
Thoughts on Productivity
jonyablonski
67
4.3k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
25
1.8k
For a Future-Friendly Web
brad_frost
175
9.4k
Building Your Own Lightsaber
phodgson
103
6.1k
What's in a price? How to price your products and services
michaelherold
243
12k
Bash Introduction
62gerente
608
210k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
246
1.3M
Transcript
ൃදऀɿ,"."5"4IJOHP ࣗવݴޠॲཧʢ/-1ʣͱ ใݕࡧʢ*3ʣʹ͍ͭͯ ୈճ༨ؼೲతτʔΫձ 4FTTJPO*%
ຊൃදͷͶΒ͍ wࣗવݴޠॲཧʹ͍ͭͯʢͬͱʣͬͯΒ͏ wใݕࡧʹ͍ͭͯʢͬͱʣͬͯΒ͏ w྆ऀͷؔΘΓʹ͍ͭͯͬͯΒ͍ɺ྆ऀͷؔʹ͍ͭͯڞʹٞΛ͍ͨ͠ ಛʹɺ୯ޠຒΊࠐΈɺࢄҙຯɺݴޠϞσϧͷΩʔϫʔυΛ࣠ͱͨؔ͠ΛͬͯΒ͏ ͨͩ͠ɺ͜ΕΒͰඥ͚Δͷ͚͔ͭ͜͡ ݱͷݚڀऀ͕͜ΕΒΛڧ͘ҙ͍ࣝͯ͠Δͱࢥ͑ͳ͍ɻɻɻ
ઐͰͳ͍ਓͰɺֶใՊֶʢܭࢉػՊֶʣΛ͖ͯͨ͠ਓͳΒԿ͔͠ΒͷߟΛ࣋ͬ ͯΒ͑Δͱࢥ͏ wϓϩμΫτͱͯ͠ɺࣗવݴޠॲཧɺใݕࡧΛ͏ࡍͷʹ͍ͭͯͬͯ Β͏ʢ༨ஊఔɺ͕࣌ؒ༨Εʣ
ࣗવݴޠॲཧ /BUVSBM-BOHVBHF1SPDFTTJOH
ࣗવݴޠॲཧͱʁ wʮࣗવݴޠʯΛίϯϐϡʔλͰѻ͏ ࣍εϥΠυͷࣗવݴޠॲཧͷʮλεΫʯΛݟͯΒ͏ͱΘ͔Γ͍͢ ࣗવݴޠͱൺֱ͞ΕΔରͱͯ͠ʮਓݴޠʯ͕͋Δ ਓݴޠಛఆͷ༻్ʹಛԽͨ͠ͷͰɺϓϩάϥϛϯάݴޠɺࣜͳͲ wݱঢ়ͷࣗવݴޠॲཧʹ͓͍ͯɺਫ਼Λग़ͨ͢ΊʹɺӳޠͱຊޠͳͲݴޠ ͷࠩҟΛଟগߟྀ͢Δඞཁ͕͋Δ
ීวతͳݴޠʢݱʣҰൠΛղ໌͢Δʹ·ͩ·ͩࢸ͍ͬͯͳ͍ ʢͦͦීวతͳߏ͕ଘࡏ͠͏Δͷ͔ͱ͍͏Α͘Θ͔͍ͬͯͳ͍͔ɾɾɾʣ wχϡʔϥϧݴޠϞσϧʢޙड़ʣొͷલޙͰ͋ΔछͷύϥμΠϜγϑτ͕ى͖ ͨײ͋͡Δ
ࣗવݴޠॲཧͷදతͳλεΫ ҎԼͷΑ͏ͳλεΫ͕ࣗવݴޠॲཧͷλεΫͱͯ͋͛͠ΒΕΔ w͔ͪॻ͖ɿจষΛ୯ޠ͜͝ͱʹ۠Δ ྫɿӈͷ݁Ռࢀর wཁλεΫɿઆ໌͠ͳ͍ͯͬͯ͘Δͱࢥ͏ ྫɿΠϥΠβμΠδΣετ w༁λεΫɿઆ໌͠ͳ͍ͯͬͯ͘Δͱࢥ͏
ྫɿ%FFQ-MPHP༁πʔϧ w࣭ԠλεΫɿνϟοτϘοτͱ͔ ྫɿ"*νϟοτϘοτ͔ͨΒ͍ wจষੜλεΫɿ͋ΔఔͷจΛࣗಈతʹੜ͢Δ ྫɿ͜ͷهࣄ࣮ࡏ͠·ͤΜ(155FYU(FOFSBUJPO%FNP FDIPࢲژͷΓΜ͕͖͝Ͱ͢cNFDBC ࢲ ໊ࢺ ໊ࢺ Ұൠ ࢲ ϫλγ ϫλγ ॿࢺ ॿࢺ ϋ ϫ ژ ໊ࢺ ݻ༗໊ࢺ Ҭ Ұൠ ژ Ωϣτ Ωϣʔτ ͷ ॿࢺ ࿈ମԽ ͷ ϊ ϊ ΓΜ͝ ໊ࢺ Ұൠ ΓΜ͝ Ϧϯΰ Ϧϯΰ ͕ ॿࢺ ֨ॿࢺ Ұൠ ͕ Ψ Ψ ͖ ໊ࢺ ܗ༰ಈࢺޠװ ͖ εΩ εΩ Ͱ͢ ॿಈࢺ ಛघɾσε جຊܗ Ͱ͢ σε σ ε &04
ࣗવݴޠॲཧͷมભ ҎԼͷ࢙؍<>ʹج͕ͮ͘ɺ֓ͶਓೳҰൠͷ࢙؍<>ͱڞ௨͍ͯ͠Δͱ͍͑ͦ͏ wॳظʢه߸తΞϓϩʔνʣ ཧతͳݴޠֶʢ$IPNTLZͳͲʹΑΔʣͷӨڹ͕ڧ͘ɺه߸తͳΞϓϩʔνʢޙड़ʣ͕͞Ε͍ͯΔ wதظʢ౷ܭతΞϓϩʔνʣ ݴޠֶ͔ΒڑΛऔΓ࢝ΊͯɺΑΓֶతԠ༻Պֶతଆ໘͕Ͱͯ͘Δ wݱʢχϡʔϥϧωοτతΞϓϩʔνʣ
ਂֶश͕ྲྀߦΓͩͯ͠ɺػցֶशͱۙͯ͘͠Δ ݱࡏɺཧతݴޠֶͱࣗવݴޠॲཧʹ݁ߏִͨΓ͕͋Δ͔ wDG$IPNTLZ/PSWJHEFCBUF IUUQXFCDTFPIJPTUBUFFEVdTUJ⒎DTFOPSWJHDIPNTLZIUNM w/PSWJH(PPHMFݚڀຊ෦ʢ%JSFDUPSPG3FTFBSDIʣ
ࣗવݴޠॲཧͷݹయతͳख๏ wϧʔϧϕʔεతͳΞϓϩʔν ϧʔϧʹΑΔॻ͖͑ଇͳͲ ྫɿݟग़͠ޠԽͷมͳͲʢӈͷਤࢀߟʣ wه߸ཧɺ,(ʢ,OPXMFEHF(SBQIʣతͳΞϓϩʔν ࢄతʹߏԽ͞ΕͨใΛ༻͍Δ
ྫɿXJLJEBUB41"32-ʹΑΔؔͷඳը w#P8ɺ5'*%'ͳͲͷݴޠϞσϧΛར༻͢ΔΑ͏ͳΞϓϩʔν ৄࡉޙड़ w౷ܭతͳΞϓϩʔν ϚϧίϑϞσϧΛ༻͍ͨΞϓϩʔνʢ#P8ͳͲΑΓߴ࣍ݩͳݴޠϞσϧͱ͍͑Δʣ ྫɿϚϧίϑ࿈Λ༻͍ͨจষੜɺ͔ͪॻ͖ͳͲɻ ݹయత͔ͩΒͱ͍ͬͯࠓΘΕ͍ͯͳ͍ͱ͍͏͜ͱͰͳ͍ ʢ͜ΕΒͷํ๏໌շͰDPOUSPMMBCMFͱ͍͏͜ͱ͋ΓɺݱࡏΘΕ͍ͯΔ͜ͱଟ͍ʣ ݟग़͠ޠԽͷྫ CFGPSFBGUFS DPNQVUFDPNQVUF DPNQVUFSDPNQVUFS DPNQVUFEDPNQVUF DPNQVUJOHDPNQVUJOH
ใݕࡧ *OGPSNBUJPO3FUSJFWBM
ใݕࡧͱʁ wσʔλू߹ʢେͳྔʣͷ2VFSZʢ͍߹Θͤʣʹରͯ͠దͳճΛద ͳॱ͚Λͯ͠ఏࣔ͢ΔλεΫ σʔλू߹ʹจࣈྻσʔλ͕དྷΔ͜ͱଟ͘ʢXFCݕࡧΤϯδϯͳͲʣ ͦ͏͍͏ҙຯͰࣗવݴޠॲཧͷαϒλεΫͱΈͳͤΔ ͨͩ͠ɺۙͰɺը૾ݕࡧͳͲҰൠʹ·͍ͬͯΔʢ͕ࠓճ৮Εͳ͍ʣ wޙड़͢ΔΑ͏ʹɺ୯ͳΔ/-1ͷαϒλεΫͱͯ͠ͷ*3ͱ͍͏ଆ໘Ͱͳ͘ɺ ʮ୯ޠຒΊࠐΈʯͷΑ͏ͳൃ໌͕/-1ʹ࣋ͪࠐ·Εɺޙʹχϡʔϥϧݴޠ
Ϟσϧͷޭʹͭͳ͕ͬͨͱΈͳ͢ͱɺλεΫͷओैҎ্ͷ͕ؔ͋Δͱ ݴ͑ͦ͏ ͦͷೝ͕ࣝదͳͷ͔ʢͦ͏ΈͳͤΔͷ͔ʣཁ͔ٞɻɻɻ w w w
ใݕࡧͷλεΫ ʮใݕࡧʯࣗવݴޠॲཧͱൺΔͱɺ͍λεΫΛΧόʔ͢Δݴ༿Ͱͳ ͍͕ɺࠓճҎԼͷͭͷΠϝʔδΛ͍ͬͯΒ͑Δͱ͍͍͔ wશจݕࡧ υΩϡϝϯτͷݕࡧɺXFCϖʔδͷݕࡧͳͲ͕͜Ε ྫɿ(PPHMFݕࡧɺࣾจষݕࡧ wߏԽ͞Εͨσʔλ͔ΒߏԽ͞ΕͨใʹΑΔݕࡧ
ࣝϕʔεͳͲΛ༻͍ͨݕࡧͳͲ͕͜Ε ྫɿXJLJEBUBͷݕࡧʢઌఔͷྫʣ
ใݕࡧͷมભ wΒͳ͍Ͱ͢୭͔ڭ͑ͯ💦 wݹయతʹɺσʔλߏతͳͱਂ݁͘ͼ͍ͭͯͦ͏Ͱ͋Δ ύλʔϯϚον ͨͩݱతʹɺૉͳύλʔϯϚονΞϧΰϦζϜͱ͔ͷ՝ʹͳ͍ͬͯΔʁ wసஔ*OEFYͱ5'*%'ͱ͍͏ݹయత݁Ռ͕͘͢͝ڧྗͰ͋Δ͜ͱ·͕͍ͪ ͳ͍
ͭͱ͜ͷ͋ͱհ͠·͢ wݱͩͱɺʮਪનʢγεςϜʣʯͱͯ͠ͷݚڀͷ΄͏͕Γ্͕͍ͬͯΔ͔ ͠Εͳ͍<>
શจݕࡧʹ͍ͭͯ શจݕࡧʢͥΜͿΜ͚Μ͘͞ɺӳ'VMMUFYUTFBSDIʣͱɺίϯϐϡʔλʹ͓͍ͯɺෳ ͷจॻʢϑΝΠϧʣ͔ΒಛఆͷจࣈྻΛݕࡧ͢Δ͜ͱɻʮϑΝΠϧ໊ݕࡧʯʮ୯ҰϑΝΠ ϧͷจࣈྻݕࡧʯͱҟͳΓɺʮෳจॻʹ·͕ͨͬͯɺจॻʹؚ·ΕΔશจΛରͱͨ͠ ݕࡧʯͱ͍͏ҙຯͰ༻͞ΕΔɻʙXJLJQFEJB KB ʮશจݕࡧʯΑΓʙ wશจݕࡧʹɺ۪ʹݕࡧจࣈྻΛύλʔϯϚονͤ͞Δํ๏ʢHSFQܕʣͱɺࡧҾ ʢJOEFYʣΛ༻ҙͤ͞Δํ๏͕͋Δ<> wࡧҾܕݕࡧʹ͍ͭͯ
ࡧҾҾ͖ͷͨΊͷΈʮసஔΠϯσοΫεʯΛࣄલʹ࡞͓ͯ͘͜͠ͱͰߴʹݕࡧ͕Ͱ͖Δ υΩϡϝϯτ υΩϡϝϯτฏۉจࣈΦʔμʔʢ2VFSZαΠζ͜ΕΑΓѹతʹখ͍͞ͱ͢ΔʣΑΓૣ݁͘Ռ ΛಘΒΕΔ ʮژʯͰݕࡧͯ͠ʮ౦ژʯ͕ώοτ͠ͳ͍ࣗવͳݕࡧʹد༩͢Δ HSFQܕʹ͘ΒɺΠϯσοΫεΛ࡞Γʹ͍͘ߏʢύλʔϯจࣈྻݕࡧͳͲʣۤख Ԙجྻ͔ΒಛఆͷύλʔϯจࣈྻΛݕࡧ͢ΔͳͲͰɺHSFQܕͱ͔ͷ΄͏͕͍ͯΔʢ"IP$PSBTJDLͳͲͷ͕ ͍ͯͦ͏ʣ
సஔ*OEFY w*OEFYJOH͢Δͷʹɺ͔ͪॻ͖͕ར༻͞Ε͍ͯΔ ӳޠͳΒεϖʔεΛ҆ʹநग़Ͱ͖Δ͕ɺຊޠͩͱ͍͠ w͜ΕʮޠኮʯΛఆ͍ٛͯ͠Δ͜ͱ͕݁ߏॏཁ wݕࡧͷྫ ΓΜ͝Ͱݕࡧˠจষ ͕ώοτ
Զ"/%ΓΜ͝ˠͷΈ͕ώοτ ژˠͷΈ͕ώοτ ౦ژ ౦ژ౦ژˍ ˠͷΈ͕ώοτ هࣄ൪߸ ੜςΩετ 5PLFOׂ݁Ռʢ*OEFYJOH Զ౦ژʹ͍·͢ ԶΓΜ͕͝ݏ͍Ͱ͢ Զ౦ژʹ͍·͢ ԶΓΜ͕͝ݏ͍Ͱ͢ ࢲژʹ͍·͢ ࢲΓΜ͕͖͝Ͱ͢ ࢲژʹ͍·͢ ࢲΓΜ͕͖͝Ͱ͢ ࢲΓΜ͕͖͝Ͱ੨ΓΜͬ͝ͱ͖Ͱ͢ ࢲΓΜ͕͖͝Ͱ੨ΓΜͬ͝ͱ͖Ͱ͢ આຎᨈൠएཏຶଟ৺ܦ આຎᨈൠएཏຶଟ৺ܦ ୯ޠ هࣄ൪߸ Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ
ϥϯΩϯά͚ͱ5'*%' wใݕࡧʹ͓͍ͯɺݕࡧ݁ՌΛʮదʯͳϥϯΩϯάͰग़͢ ͜ͱ͕ඞཁ 2ʮΓΜ͝ʯͷݕࡧ݁Ռ͕ͲΕΛҐʹ͢Δͷ͕ଥͩΖ͏͔ʁ ΓΜ͝ͷग़ݱճΛߟ͑Δͷ͕ྑͦ͞͏ 2ʮࢲ"/%ΓΜ͝ʯͰݕࡧͨ݁͠ՌͲΕ͕ҐʹͳΔͷ͕ଥʁ
ʮࢲʯͷ΄͏͕ॏΈ͕͋Γͦ͏͔ͩΒɺͪ͜ΒͷϙΠϯτධՁΛߴ͍ͨ͘͠ w5'*%' ɿจষʢࠓճʣɺ ɿ୯ޠU͕ग़ݱ͢ΔυΩϡϝϯτ ɺ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱճ ɿจষEʹ͓͚Δ୯ޠUͷग़ݱ֬ ɿ୯ޠU͕ग़ݱ͢Δ͜ͱʹର͢Δใྔతͳͷ ɿ୯ޠUͰݕࡧͨ͠ͱ͖ͷจষEͷධՁతͳͷ 5'*OEFYςʔϒϧʹɺ*%'సஔ*OEFYςʔϒϧʹॻ͘ͱΘ͔Γ͍͢ N ∈ ℕ tf(t) ∈ ℕ nf(t, d) ∈ ℕ tf(t, d) ∈ ℝ tf(t, d) = nf(t, d) / Σs∈d nf(s, d) idf(t) ∈ ℝ idf(t) = log(N / df(t)) + 1 tfidf(t, d) ∈ ℝ tfidf(t, d) = tf(t, d) * idf(t) هࣄ ൪߸ 5' /' Զ౦ژʹ ͍·͢ԶΓΜ ͕͝ݏ͍Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ࢲژʹ͍· ͢ࢲΓΜ͕͝ ͖Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ࢲΓΜ͕͝ ͖Ͱ੨ΓΜ͝ ͬͱ͖Ͱ͢ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ આຎᨈൠए ཏຶଟ৺ܦ \Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ^ ୯ޠ هࣄ൪߸ 5' *%' Զ ౦ژ ʹ ͍ ·͢ ΓΜ͝ ͕ ݏ͍ Ͱ͢ ࢲ ژ ͖ Ͱ ੨ ͬͱ આ ຎ ʢதུʣ ܦ
୯ޠຒΊࠐΈɺจॻͷຒΊࠐΈ wޠኮʢ୯ޠͷछྨʣ͕ఆΊΒΕΔ໘ʹ͓͍ͯɺ୯ޠΛϕΫτϧʹରԠͤ͞Δ͜ͱ͕ͰͰ͖Δ ୯ޠຒΊࠐΈʢ5FSNϕΫτϧʣɿ୯ޠΛ࣮ϕΫτϧ্ʹҐஔ͚ͮΔ͜ͱ ࠓ·Ͱͷྫʹ͓͚Δʮ౦ژʯͷ୯ޠຒΊࠐΈ ্هͷ୯७ͳ୯ޠຒΊࠐΈΛ0OFIPUදݱͱ͍͏ w0OFIPUͷߟ͑ํΛԠ༻ͯ͠ɺจষϕΫτϧԽͰ͖Δ
#PXɿ/'ͷใϕΫτϧͰද͢ ઌఔͷ/'ͷਤΛࢀߟ 5'*%'ϕΫτϧɿ5'*%' U E ͰจষEΛϕΫτϧԽ จষͩͱҎԼͷײ͡ wจষϕΫτϧΛ༻͍ͨจষݕࡧ ྫɿจষͱจষͷൺֱͳͲΛͯ͠ΈΔ $PTྨࣅΛ༻͍ͯจষͷൺֱ͕Ͱ͖Δ wɿ0OFIPUදݱ͕ͭɺใݕࡧతͳ՝ͳΜͰ͋Ζ͏͔ʁ ࢲ ౦ژ ʹ ʢதུʣ ܦ ʜ ࢲ ౦ژ ʹ ʢதུʣ ܦ ʜ
۩ମతͳશจݕࡧΤϯδϯ wશจݕࡧΤϯδϯʢϛυϧΣΞʣͷಛ ࣗಈͰ*OEFY࡞ͯ͘͠ΕΔ શจݕࡧͱͦ͏Ͱͳ͍෦ͷݕࡧՄೳ ࠷ۙΫϥυϕʔεͷͷ͕ଟ͍ 5FSNϕΫτϧϕʔεͰྨࣅจষݕࡧͯ͘͠ΕΔɹ
&MBTUJDTFBSDIͷNPSFMJLFUIJTʣͳͲͷػೳ͋Δ wදྫ -VDFOF ͘Β͍͔Β͋Γࠓϝϯς͞Ε͍ͯΔɺଟ͘ͷશจݕࡧΤϯδϯͷίΞʹͳ͍ͬͯΔ &MBTUJDTFBSDI -VDFOFϕʔε ࢄॲཧϚϧνςφϯτʹରԠ͍ͯ͠Δ "MHPMJB "1*ϕʔεͷݕࡧαʔϏε ʢ৺ͷʣ։ൃऀӡ༻ऀͱͯ͠ɺ͋Δఔݕࡧػೳ͕͋ΕɺҎԼͷ͜ͱͷ΄͏͕ॏཁͩͬͨΓɻɻɻ ΫϥυαʔϏεͱͷ࿈ܞʢΦϒδΣΫτετϨʔδ3%4͔ΒͷҠߦੑͳͲʣ ΦʔτεέʔϦϯά ՄࢹԽπʔϧ
ʢ͜͜·ͰͳΒ͍͍ϖʔεʣ
ࢄҙຯͱݴޠϞσϧ
ҙຯ wʢݴޠ༻ʹ͓͚Δʣʮҙຯʯʹؔ͢ΔҰͭͷཧ ʮࣅͨΛͭݴޠతରࣅͨҙຯΛ࣋ͭʯͱ͍͏Ծઆʹجͮ͘ҙຯͷཧ ʮ౷ܭతҙຯʯͷ̍ͭͰ͋Δʢҙຯ୯ޠͷҙຯ͕த৺ʁ໌֬ͳࠩҟෆ໌ʣ w'JSUIͷʮ୯ޠͦͷपลʹΑͬͯಛ͚ͮΒΕΔʯͱ͍͏ΞΠσΟΞ͕ࠜఈʹ͋Δ 'JSUIޙظΟτήϯγϡλΠϯͷݴޠήʔϜͱͷؔ࿈ड़͍ͯΔ<> wʮ୯ޠຒΊࠐΈʯͱͱҙຯͷαϒςʔϚͰ͋ͬͨ<>
୯ޠຒΊࠐΈͷ࠷ॳͷՌ*3ͱݴΘΕ͍ͯΔ<> ୯ޠຒΊࠐΈݚڀ͕XPSEWFDʢޙड़ɺҎ߱87ʣΛੜΈग़͠ɺ͔ͦ͜Β#&35ͳͲʹͭͳ͕Δ ͕ɺ*3ͷد༩͕ͲΕ͚ͩϓϦϛςΟϒͳͷ͔Θ͔Βͳ͍ wχϡʔϥϧݴޠϞσϧͷख๏Λݚڀ͍ͯͨ͠ਓ͕͜ΕΒͷΛͲ͜·Ͱҙ͍ࣝͯ͠ ͔ͨෆ໌ <><>ͳͲͰɺEJTUSJCVUJPOBMTFNBOUJDTTUBUJTUJDBMTFNBOUJDTͷݴٴݟ͔ͭΒͣ
ݴޠϞσϧ w౷ܭతͳҙຯ߹͍ͷʮϞσϧʯʢཧཧֶจ຺ͷϞσϧͱҧ͏ʣ จষʢ୯ޠγʔέϯεʣશମͷ֬Ͱ͋Γɺจষͷࣗવ͞ଥ͞Λʮ֬ʯͰදݱ͢Δ ྫɿQ lࢲύϯΛ৯·ͨ͠z Q l৯ύϯΛࢲ·ͨ͠z
wจষΛॲཧ͢ΔͨΊʹɺจষΛτʔΫϯԽʢUPLFOJ[Fʣ͢Δඞཁ͕͋Δ ใݕࡧͷྫͷΑ͏ʹ୯ޠͰׂ͢Δํ๏͋Δ͕ɺޙड़͢Δαϒϫʔυ͕Α͘༻͍ΒΕΔ wจষͷग़ݱ֬τʔΫϯͷಉ࣌֬ ͱಉ͡ จষ4ΛτʔΫϯԽͨ͠ͷ ͷग़ݱ֬લޙͷτʔΫϯͷґଘੑ͕ߟ͑ΒΕ ྫɿʮே͝Μʹ Λ৯·ͨ͠ʯͳΔ ͔ͳΓݶΒΕΔ ͭ·Γɺจ຺ͳͲΛԾఆ͢Δ͜ͱͰ͜ͷݴޠϞσϧΛΑΓਫ਼֬ʹҎԼͷΑ͏ʹදݱͰ͖Δ<> ͨͱ͑ɺ ͩͱ͢ΔͱɺJ൪ͷ୯ޠΛਪ͢ΔͷʹɺલLݸͷ୯ޠΛར༻ wݴޠϞσϧͷத͔ؒΒಘΒΕΔϕΫτϧɺԾઆʹجͮ͘Α͏ʹΈ͑Δ w w w p(s) = p(w1 , w2 , . . . , wn ) s = (w1 , w2 , . . . , wn ) wi wi wi P(wi |context) ∀wi ∈ ޠኮ P(wi |wi−k , , , . wi−1 )
ݹయతʢඇχϡʔϥϧʣͳݴޠϞσϧ wදྫɿ#P8ɺ5'*%' ࣮ݴޠϞσϧͰ͋Γ·ͨ͠ τʔΫϯԽɿ୯ޠׂ ͦͷଞৄࡉઌఔݟͨͷͰলུ ʢݴޠϞσϧͱͯ͠ʣ͋Δจͷ֬Λܭࢉ͢Δʹɺ୯ޠͷग़ݱॱલޙͷ୯ޠͱ͍ͬͨจ
຺Λແࢹͯ͠ɺͦͷจΛߏ͍ͯ͠Δ୯ޠͷग़ݱ͚֬ͩΛࢉग़ͯ֬͠Λࢉग़͢Δ Q Զ౦ژʹ͍·͢ʣQ Զ Q Q ౦ژ Q Q ʹ Q ͍ Q ·͢ ͜ͷϞσϧͰɺQ Զ Q Q Q Զ ͱͳͬͯ͠·͍ɺ͋·Γྑ͘ͳ͍ #P85'*%'OHSBNͷOͷέʔεͩͱߟ͑ΒΕΔ Oͱ͔ʹͳΔͱɺQ Զc#04 Q cԶ 㱠Q c#04 Q Զc Έ͍ͨͳ͜ͱ͕Ͱ͖Δ w#P8ͷΑ͏ʹݹయతͳݴޠϞσϧʮʯ࣍ݩͰ͋Δ ʮʯʢ࣍ݩʣͷؾ࣋ͪɺ ͳΔDPOUFYUͷࣗ༝͕͍ͱ͍͏͜ͱ #P8ͩͱલޙΛશ͘ݟͳ͍ɺͭ·Γɺจ຺ͷೝ͕͍ࣝ P(wi |context)
χϡʔϥϧݴޠϞσϧ wχϡʔϥϧωοτʹΑֶͬͯश͞Εͨߴ࣍ݩͷϞσϧͰ͋Δ ϚϧίϑϞσϧͳͲ͕<>Ͱߴ࣍ݩϞσϧͱݺΕ͍ͯΔͷͰɺߴ࣍ݩͱͨ͠ දྫͱͯ͠ɺ87ɺ#&35ͳͲ wͨͩ͠ɺ/-1ͷλεΫΛղ͘ࡍʹɺจͷࣗવ͞୯ޠ༧ଌͷͨΊʹχϡʔϥϧ ݴޠϞσϧ͕ΘΕΔͱݶΒͳ͍ ྫ͑ɺ87ɺΉ͠ΖதؒදݱͰ͋ΔࢄදݱΛಘΔͨΊʹΘΕΔ
#&35ͳͲͰɺΫϥεྨಛޠநग़ͳͲͷྨثʹଓͯ͠ར༻͞ΕΔͨΊ൚༻తͳ ΘΕํΛ͢Δ จͷࣗಈੜͰ(15ܥͷϞσϧ͕ΘΕΔͳͲɺ߹ʹԠͯ͡ݴޠϞσϧ͕બ͞ΕΘ ΕΔ
χϡʔϥϧݴޠϞσϧͷྫ87 wத͔ؒΒࢄදݱΛಘΔͨΊͷϞσϧ ͳͷͰɺ%FFQͱݴ͑ͳ͍͔ wΞʔΩςΫνϟ 4LJQHSBN͋Δ͍$#P8ʢͦΕͧΕಉ͜͡ͱ͕ୡͰ͖ΔҟͳΔΞʔΩςΫ νϟʣͱ͍͏ΞʔΩςΫνϟ͕༻͍ΒΕΔ w$#P8ͷઆ໌
8JOEPX4J[FLͱͨ͠߹ɺೖྗɿLݸͷ0OFIPUɺग़ྗɿ ͷ֬ ͱͯ͠ɺ ͷ༧ଌ͕࠷దʹͳΔΑ͏ʹֶशΛ͢Δ wதؒʢॏΈͷߦྻ ʣ͔Β୯ޠͷࢄදݱΛಘΒΕΔ தؒͷJߦɺޠኮதJ൪ͷ୯ޠͷϕΫτϧͱͳΔ ͜ͷ୯ޠϕΫτϧɺֶशʹΑͬͯ8JOEPXͷ୯ޠͱͷؔ࿈͚͕͞Ε͍ͯΔ ͜ΕʹΑͬͯɺ୯ޠؒͷྨࣅ͕$PTྨࣅͳͲΛ༻͍ͯਤΕΔ $PTྨࣅͷྫɿσϞͰ͓ݟͤ͠·͢ wΑ͘ݴΘΕΔ͜ͱͱͯ͠ɺՃ๏ߏੑ͕͋Δ ྫɿ wi P(wi |wi−k , . . . , wi−1 , wi+1 , . . . , wi+k ) WN×V v(king) − v(male) + v( female) ≈ v(queen) $#P8ͷֶशͷ༷ࢠ ग़యɿ%FNPHSBQIJD1SFEJDUJPO#BTFEPO 6TFS3FWJFXTBCPVU.FEJDBUJPOT
χϡʔϥϧݴޠϞσϧͷྫ#&35 w൚༻ݴޠϞσϧ w87ͱҧ͍ɺೖྗϕΫτϧ୯ޠׂͰͳ ͘αϒϫʔυׂ͞ΕͨͷΛ༻͍Δ ະޠͷൃੜΛ੍͢Δ͜ͱ͕Ͱ͖Δ αϒϫʔυׂͷྫɿσϞͰ͓ݟͤ͠·͢ w#&35ࣄલֶशͱͯ͠ɺҎԼͷͭͷλεΫΛ ղ͘
ϚεΫͷ୯ޠ༧ଌ ྫɿʮԶ<."4,>ʹॅΜͰ͍·͢ʯ͔Β<."4,>ʹೖ ΔޠΛֶशͤ͞Δ ࣍ͷจষͷ༧ଌ ྫɿʮԶ౦ژʹॅΜͰ͍·͢ʯͷ࣍ʹͲͷจষ͕͖ͨ Βదͳͷ͔Λֶशͤ͞Δ #&35ͷࣄલֶशͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
#&35Λར༻ͨࣗ͠વݴޠॲཧ w#&35ͰɺࣄલֶशͰ࡞ͬͨݴޠϞσϧΛ͞Βʹλ εΫʹ͋ΘͤͯνϡʔχϯάͰ͖Δʢ'JOF5VOJOHʣ ͜ͷ'JOF5VOJOHੑ͕/-1ͷେ͖ͳϒϨΠΫεϧʔʹܨ͕ͬͨ ͱݴ͑ͦ͏ ࣄલֶशʹͦΕͳΓͷֶशίετ͕͔͔Δ͕ɺݴޠ͝ͱͷ ࣄલֶशϞσϧ͕͋Εɺ'JOF5VOJOHࣗମগྔͷσʔλͰ ֶशͰ͖Δ
w'JOF5VOJOHͰɺྨثͱ#&35ͷࣄલֶशࡁΈϞσ ϧΛ߹Θͤͯʢ࠶ʣֶशΛ͢Δ͜ͱͰɺʢಛநग़Λ ߦ͍ͬͯͨʣࣄલֶशࡁΈϞσϧΛ͞Βʹਫ਼্ ʢͨͩ͜͠ΕλεΫʹରͯ͠ͷਫ਼Ͱ͋Δʣͤ͞ Δ͜ͱ͕Ͱ͖Δ #&35Λ༻͍ͨ୯ҰจͷΫϥεྨͷਤ ग़యɿ#&351SFUSBJOJOHPG%FFQ #JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF 6OEFSTUBOEJOH
/-1ͱ*3ͷޓ͍ͷԠ༻
ݹయతͳԠ༻ Ԡ༻ʹ͍ͭͯओ؍Ͱ͢ ಛʹݹయతͳ߹ɺͦͦ྆ํͷݚڀ͍ͬͯͨਓ͕ଟͦ͏ͳͷͰɺݫີʹͲ͕ͬͪͲͬ ͪͱݴ͑ͳͦ͞͏ͳͷͰɺ wใݕࡧͰࣗવݴޠॲཧͷՌΛར༻͢Δ શจݕࡧ*OEFYJOHͷͨΊͷ͔ͪॻ͖ ݟग़͠ޠԽʢ-FNNB5J[BUJPOʣ wࣗવݴޠॲཧͰใݕࡧͷՌΛར༻͢Δ
୯ޠຒΊࠐΈͷख๏ w w
χϡʔϥϧݴޠϞσϧҎ߱ͷԠ༻ Ԡ༻ʹ͍ͭͯओ؍Ͱ͢ wใݕࡧͰࣗવݴޠॲཧͷՌΛར༻͢Δ จষϕΫτϧʹΑΔݕࡧ ͬͪ͜ݕࡧ࣌ʹ$PTྨࣅͳͲΛͱΊΔ όονॲཧͳͲͰσʔλΛߏԽͨ͠͏͑Ͱͷݕࡧ
ΫϥελϦϯάྨ݁ՌͳͲΛࣄલʹ&OUJUJZԽ͓ͯ͘͠ (PPHMFͷ.6. wࣗવݴޠॲཧͰใݕࡧͷՌΛར༻͢Δ ࣗΒͳ͍ͷͰɺͳʹ͔͍ͬͯͨΒڭ͑ͯԼ͍͞ʂʂ w w
ࢲݟʢ͜ͷ͋ͨΓٞͰ͖Δͱخ͍͠ʣ ߴߍ͔ΒେֶӃ·ͰใՊͩͬͨࢲʹΑΔภݟΛؚΜͩएׯඈͨ͠ࢲݟ💦 wใݕࡧγεςϜతͳ͕த৺ʹ͋Δ͕ɺࠜఈʹʮใʯʹؔ͢Δߟ͕͋ ΔΑ͏ʹײ͡Δ ྫ͑ɺ*%'ͱίϧϞΰϩϑෳࡶੑͱʹҰఆͷؔੑ͕ݟ͍ͩͤΔͱߦͬͨݚڀ͕͋Δ<> wݴޠଟʹʮใʯతଆ໘͕͋Δ ใΛୡ͢Δखஈͱͯ͠ͷݴޠΛߟ͑Εવ
ͦͯ͠ɺݴޠ͕ใతଆ໘͕͋Δͱݴ͑ͦ͏ ใݕࡧ͕ࢦ͢ʮใʯଟٛతͰ͋Γɺͦ͜ʹ্هͷʢୡͷʣҙຯͰͷใؚ·ΕΔ ͦ͏ߟ͑Δͱɺʮใʯͷߟ͕ݴޠֶʹد༩͢Δͷࣗવ wͳͷͰɺใݕࡧʢใཧʣʹؔ͢Δߟ͕ΑΓҰਐΊࣗવݴޠʢॲ ཧʣʹߋʹد༩Ͱ͖Δɺ͋Δ͍ͦͷٯ͋Γ͑ΔͷͰͳ͍ͩΖ͏͔ʁ
·ͱΊ
·ͱΊ wࣗવݴޠॲཧ ࣗવݴޠͷΛܭࢉػͰղ͘Ͱɺੲϧʔϧϕʔε౷ܭϞσϧͷͷ͕ݚڀ͞Εɺ ࠷ۙػցֶशϕʔεͷͷ͕ݚڀ͞Ε͍ͯΔ wใݕࡧ 2VFSZʢ͍߹Θͤʣʹରͯ͠దͳճΛదͳॱ͚Λͯ͠ఏࣔ͢ΔλεΫͰɺ సஔΠϯσοΫε5'*%'ɺ୯ޠຒΊࠐΈͳͲͷൃ໌ͳͲ͕͋ͬͨ wࣗવݴޠॲཧͱใݕࡧͷؔ
ใݕࡧͷ*OEFYJOHʹ͔ͪॻ͖͕ར༻͞Ε͍ͯΔ ࣗવݴޠॲཧͰݚڀ͞Ε͍ͯΔ୯ޠຒΊࠐΈͷݚڀɺใݕࡧͰͷݚڀ͕͖͕͚͞ ʢߴ࣍ݩͷݴޠϞσϧΛར༻ͯ͠ಘΒΕͨʣಛϕΫτϧͳͲΛݕࡧ͢ΔͳͲɺݕࡧʹࣗ વݴޠॲཧͷϒϨΠΫεϧʔ͕ಋೖ͞Ε͍͍ͯͬͯΔ ͜Ε͔ΒͭͷͰྑ͍૬ޓ࡞༻͕͋Δͱخ͍͠
ࢀߟจݙ ใݕࡧݕࡧΤϯδϯͷ࣮ͱධՁʢ༁൛ʣ #&35ʹΑΔࣗવݴޠॲཧೖ5SBOTGPSNFSTΛ࣮ͬͨફϓϩάϥϛϯά ֶηϛφʔ݄߸ಛूɿݴޠͷཧ XJLJQFEJB FO
/BUVSBMMBOHVBHFQSPDFTTJOH XJLJQFEJB FO )JTUPSZPGBSUJpDJBMJOUFMMJHFODF XJLJQEJB KB શจݕࡧ XJLJQFJEB FO %JTUSJCVUJPOBMTFNBOUJDT XJLJQFEJB FO 8PSEFNCFEJOH XJLJQFEJB FO -BOHVBHFNPEFM ʢݸਓϒϩάʣ/-1XPSESFQSFTFOUBUJPOTBOEUIF8JUUHFOTUFJOQIJMPTPQIZPGMBOHVBHF &⒏DJFOU&TUJNBUJPOPG8PSE3FQSFTFOUBUJPOTJO7FDUPS4QBDF #&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH ਆቇઌੜͷਪનγεςϜࢿྉ ίϧϞΰϩϑෳࡶੑʹجͮ͘*%'ͷ୯ޠ/HSBNͷద༻
ʢ͓·͚ʣ ใݕࡧγεςϜ։ൃͷۤ࿑ ͋Ε͜Ε
࣮ࡍʹӡ༻͢Δ߹ͷͭΒ͞ wೖྗιʔε ଟ͚ΕΑ͍ͬͯΜͰͳ͍ ϊΠζͷଟ͍ιʔε͕͋Δͱɺඞવతʹใݕࡧͷਫ਼Լ͕Δ w ʼਫ਼ͬͯ͜ͱ͋Γ͑Δ w69ͱͯ͠ΓDPOUSPMMFSBCMFʹ͍ͨ͠ͱ͍͏ཉٻ͕͋Δ
టषͯࣙ͘ॻΛ࡞Δ͖ͱஶ໊ͳ/-1ͷઌੜ͕͓ͬ͠Ό͍ͬͯ·ͨ͠ ͱ͢Δͱɺવେͳϧʔϧͷཧ͕ඞཁʹͳͬͯ͘Δɻɻɻ wͦͦԿ͕ྑ͍ݕࡧ݁Ռͳͷ͔Θ͔Βͳ͍ $53͕ߴ͘ͳΔΑ͏ͳݕࡧͳͷ͔ ධՁΛͲͷΑ͏ʹಘΔ͔
ϓϩμΫτతͳʢόοΫΤϯυΤϯδχΞͷ؍ͱͯ͠ʣ wόονॲཧͰࠐΉ ࣄલʹܭࢉ͓͚ͯ͠ΦϯϥΠϯૣ͘͢Δඞཁ͕ͦͦͳ͘ͳΔՄೳੑ͋Δ ΦϯϥΠϯͰͰ͖Δͱ͜ΖͱͰ͖ͳ͍͜ͱͷҾ͖͚ wΩϟογϡॏཁ ܭࢉ͞ΕΔʹภΓ͕͋ΔͷͰͦͷੑ࣭Λ͏·͘ར༻͢Δ wΦϯϥΠϯΞϧΰϦζϜΛվળ͢ΔલʹϘτϧωοΫΛվળ͢Δ
ͨΓલ͚ͩͲɺͪΌΜͱଌఆΛ͠ͳ͍ͱΦϯϥΠϯΞϧΰϦζϜͷվળ͔ΒΓ͕ͪ TͷܭࢉॲཧΛߴԽ͢ΔΑΓɺTͷωοτϫʔΫϨΠςϯγΛޮԽͨ͠΄ ͏͕શମͷߩݙେ͖͍ ϘτϧωοΫ͕ΦϯϥΠϯΞϧΰϦζϜʹͳΔͷ΄͔͕උ͞Εͨޙ͔͠Εͳ͍ɻɻɻ