Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
word2vecを利用した埋め込み分析とSWEMを用いた比較実験
Search
Takanobu Nozawa
February 27, 2021
Programming
0
2.3k
word2vecを利用した埋め込み分析とSWEMを用いた比較実験
atmaCup#9 オンサイトデータコンペ振り返り回で発表した資料です。
word2vecを利用した埋め込み分析とSWEMを用いた比較実験について述べています。
Takanobu Nozawa
February 27, 2021
Tweet
Share
More Decks by Takanobu Nozawa
See All by Takanobu Nozawa
低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発
takapy
4
4.7k
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
1.5k
NLPを活用したオンボーディング改善とコールドスタート問題への対策
takapy
4
5.5k
自然言語可視化ライブラリ 「nlplot」のご紹介
takapy
3
4.3k
コミュニティサービスにおけるレコメンデーションの変遷とMLパイプラインについて
takapy
2
7k
SageMaker StudioとStep Functionsを用いてMLOpsへの一歩を踏み出そう
takapy
0
8.3k
GoogleColabとVSCodeを用いた分析環境運用Tips
takapy
15
14k
トピックモデルを活用したレコメンデーションの実装
takapy
1
6.5k
Streamlitとnlplotを使って自然言語を分析してみた
takapy
4
15k
Other Decks in Programming
See All in Programming
CSC305 Lecture 06
javiergs
PRO
0
210
Local Peer-to-Peer APIはどのように使われていくのか?
hal_spidernight
2
460
10年もののAPIサーバーにおけるCI/CDの改善の奮闘
mbook
0
790
Playwrightはどのようにクロスブラウザをサポートしているのか
yotahada3
7
2.3k
iOS 17で追加されたSubscriptionStoreView を利用して5分でサブスク実装チャレンジ
natmark
0
640
高度なUI/UXこそHotwireで作ろう Kaigi on Rails 2025
naofumi
4
3.6k
CSC305 Lecture 05
javiergs
PRO
0
210
LLMとPlaywright/reg-suitを活用した jQueryリファクタリングの実際
kinocoboy2
4
670
Signals & Resource API in Angular: 3 Effective Rules for Your Architecture @BASTA 2025 in Mainz
manfredsteyer
PRO
0
110
Le côté obscur des IA génératives
pascallemerrer
0
130
Catch Up: Go Style Guide Update
andpad
0
200
Introducing ReActionView: A new ActionView-Compatible ERB Engine @ Kaigi on Rails 2025, Tokyo, Japan
marcoroth
3
950
Featured
See All Featured
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
9
580
Making Projects Easy
brettharned
119
6.4k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.7k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
RailsConf 2023
tenderlove
30
1.2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.7k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.5k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Cult of Friendly URLs
andyhume
79
6.6k
Transcript
word2vecΛར༻ͨ͠ຒΊࠐΈੳͱ SWEMΛ༻͍ͨൺֱ࣮ݧ Takanobu Nozawa 2021.02.18 atmaCup#9 ΦϯαΠτσʔλίϯϖৼΓฦΓճ
ࣗݾհ XPSEWFDͱ XPSEWFDΛJUFNʹԠ༻ 48&.Λ༻͍ͯൺֱ࣮ݧ ·ͱΊ ΞδΣϯμ
ࣗݾհ
໊લɿᖒরʢ/P[BXB5BLBOPCVʣ ॴଐɿίωώτגࣜձࣾ ɹɹɿ!UBLBQZ w ػցֶशʢ/-1ɺਪનγεςϜʣΛϝΠϯʹΓͭͭ"84ͱٔΕ͍ͯ·͢ w σʔλੳίϯϖͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺɹɹɹɹɹ ٿͨ͠Γɺϥʔϝϯ৯ͨΓ͍ͯ͠·͢ w ࠷ۙϙουΩϟετ🎙
͡Ί·ͨ͠ˠ!HFG@GNʢIUUQTUXJUUFSDPNHFG@GNʣ ࣗݾհ
ࠓճͷBUNB$VQҐͰͨ͠ʢਫ਼ਐ͠·͢ʣ ࣗݾհ
XPSEWFDͱ
˞IUUQTBSYJWPSHBCT XPSEWFDͱ w ʹ(PPHMFͷݚڀऀ͕ൃදͨ͠ख๏ʢ˞ʣ w ಛఆͷ୯ޠͷۙ͘ʹ͋Δ୯ޠ܈Λ༧ଌͰ͖ΔΑ͏ʹ χϡʔϥϧωοτΛֶशͤͯ͞ɺ୯ޠͷࢄදݱΛऔಘͰ͖Δ w ʮ,JOH.BO 8PNBO2VFFOʯ
จ͔ΒҾ༻ʢ˞ʣ
XPSEWFDͱ $#08ͱTLJQHSBNͷͭͷϞσϧ͕͋Δ ɹྫɿZPVTBZHPPECZFBOE*TBZIFMMP ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
XPSEWFDͱ ࠓճ༻͍ͨͷTLJQHSBN ʢଟ͘ͷ߹ɺ୯ޠͷࢄදݱͱ͍͏ʹ͓͍ ͯɺTLJQHSBNͷํ͕ྑ͍݁Ռ͕ಘΒΕΔ͜ ͱ͕ଟ͍ʣ ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
XPSEWFDͱ HFOTJNΛ༻͍Δͱൺֱత༰қʹ࣮Մೳ ʢBUNB$VQͷ%JTDVTTJPOʹ࣮ίʔυ͋͛ͯ·͢☺ ʣ
XPSEWFDΛJUFNʹԠ༻
XPSEWFDΛJUFNʹԠ༻ w εʔύʔجຊతʹಋઢ͕ઃܭ͞Ε͍ͯΔ࣌ܥྻ ੨Ռˠڕˠˠೕˠ͓՛ࢠˠࡊˠύϯˠҿྉʜ w ʢܦݧతʹʣεʔύʔߦͬͨΒجຊతʹಉ͡Α͏ͳͷΛങ͏ʹ ͋Δ w ճͷങ͍ϩάΛͭͷTFOUFODFͱΈͳͤɺͦΕͳΓͷࢄදݱ ͕ܭࢉͰ͖ΔͷͰʁͦΕͰϢʔβʔͷຒΊࠐΈΛܭࢉ͢Ε্ख͘
͍͘ͷͰʁͱ͍͏͜ͱͰ࣮ݧͨ͠
σʔλͷ࡞Γํ
σʔλͷ࡞Γํ w TQFOE@UJNFͷσʔλΛҙਤతʹʮϨδΧʔτىಈʯ ʹͯ͠ܭࢉʹؚΊͨ
σʔλͷ࡞Γํ w TFTTJPOΛTFOUFODFͱΈͳͯ͠DPSQVTΛੜ DPSQVT
JUFNWFDͷֶश݁Ռ
JUFNWFDͷֶश݁Ռ w ͍͔ͭ͘ͷJUFNͰ͍ۙJUFNΛදࣔͯ͠ࢄදݱΛఆੑత ʹ֬ೝ
JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ
JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ ྑͦ͞͏☺
JUFNͷࢄදݱΛಛྔԽ͢Δ
JUFNͷࢄදݱΛಛྔԽ͢Δ w ֤JUFNͷࢄදݱఆੑతʹ֬ೝͯͦ͠ΕͳΓͷ͕ܭࢉ͞Ε͍ͯΔ ͜ͱ͕֬ೝͰ͖ͨ w ͜ΕΛֶशʹ͑Δܗʹམͱ͠ࠐΈ͍ͨ ˠࠓճ48&.ͱ͍͏ख๏ͰϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉ͢Δ
48&.ͱʁ w 4JNQMF8PSE&NCFEEJOHCBTFE.FUIPET w ୯ޠຒΊࠐΈͷΈΛར༻ͯ͠จষຒΊࠐΈΛܭࢉ͢Δํ๏ʢ˞ʣ w จͰԼهͭͷख๏͕ఏҊ͞Ε͍ͯΔ 㾎 48&.BWFSɿ୯ޠͷࢄදݱʹରͯ͠BWFSBHFQPPMJOH͢Δʢίϯϖظؒத࣌ؒͳ͔ ͬͨͷͰ͜Ε͚ͩΛ࣮ݧʣ
㾎 48&.NBYɿ୯ޠͷࢄදݱʹରͯ͠NBYQPPMJOH͢Δ 㾎 48&.DPODBUɿ48&.BWFSͱ48&.NBYͷ݁ՌΛ݁߹͢Δ 㾎 48&.IJFSɿOHSBNͷΑ͏ʹݻఆͷΟϯυͰBWFSBHFQPPMJOHͨ݁͠Ռʹରͯ͠ NBYQPPMJOH͢Δ ˞ɿIUUQTBSYJWPSHBCTW
48&.Ͱݕূ
48&.Ͱݕূ w ༻ͨ͠ಛྔ " Ϣʔβʔͷଐੑใʢྸɾੑผʣ # ങ͍ͷ࣌ؒใʢ݄ɾ࣌ɾ༵ͳͲʣ $ JUFNͷࢄදݱ͔Βܭࢉͨ͠ϢʔβʔຒΊࠐΈϕΫτϧʢ48&.ʣ ˞UFTUʹ͚ͩଘࡏ͢ΔϢʔβʔྸͷฏۉϕΫτϧͰิ
w ͔ͤͬ͘ͳͷͰɺԼهछྨͷಛྔͰൺֱ࣮ݧΛ࣮ࢪ ‣ "#͚ͩͷಛྔʢϕʔεϥΠϯʣ ‣ "#$ͷಛྔʢ$લड़ͨ͠छྨʣ ‣ Ϟσϧ-JHIU(#.GPME 48&.ͷ࣮ίʔυαϯϓϧ(JUIVCϦϙδτϦʹ͋͛·ͨ͠ˠIUUQTHJUIVCDPNUBLBQZHFFL@CMPHCMPCNBTUFSOMQTXFNQZ
ݕূ݁Ռ
ݕূ݁Ռ ࣮ݧ Local Public Private ϕʔεϥΠϯʢ24 featuresʣ 0.6037 0.5652 0.5802
SWEM-averʢ74 featuresʣ 0.8057 0.7476 0.7461 SWEM-maxʢ74 featuresʣ 0.7127 0.6599 0.6633 SWEM-concatʢ124 featuresʣ 0.8057 0.7435 0.7424 SWEM-hierʢ74 featuresʣ 0.8092 0.7484 0.7483
·ͱΊ
·ͱΊ w XPSEWFDΛ༻͍֤ͯJUFNͷࢄදݱΛܭࢉ͠ɺ͔ͦ͜Β48&.Ͱ ϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉͯ͠Έͨ w ൺֱݕূ͢ΔͱɺຊλεΫͰ48&.IJFS͕Ұ൪ྑ͍ਫ਼ͩͬͨ w ࠓճϢʔβʔใΛͲ͏ͬͯಛྔʹམͱ͠ࠐΉ͔͕ͭॏཁͳ ϙΠϯτͩͬͨ48&.Ͱࢉग़ͨ͠ϢʔβʔͷຒΊࠐΈϕΫτϧ ͦͦ͜͜༗༻ͳಛྔʹͳΔ͜ͱ͕͔ͬͨ
w ӡӦͷօ༷ɺָ͍͠ίϯϖΛ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ😆🎉
࠷ޙʹ
.-ΤϯδχΞઈࢍืूதͰ͢ʂ🧑💻 ɾϥΠϑΠϕϯτ ϥΠϑελΠϧͷ՝ղܾΛ͢ΔαʔϏεʹڵຯ͕͋Δํ ɾػցֶशͷࣾձ࣮ ϓϩμΫτ։ൃʹڵຯͷ͋Δํ %.PSͦ͘ΊΜ܅ܦ༝PS8BOUFEMZܦ༝ͳͲ͝࿈བྷ͓͍ͪͯ͠·͢ʂ ΧδϡΞϧ໘ஊͰ͑ΒΕΔൣғͰͳΜͰ͑·͢ʂʢಛʹ४උ͍Γ·ͤΜʣ 5XJUUFSˠIUUQTUXJUUFSDPNUBLBQZ 8F`SF)JSJOH
͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ