Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
word2vecを利用した埋め込み分析とSWEMを用いた比較実験
Search
Takanobu Nozawa
February 27, 2021
Programming
0
2.3k
word2vecを利用した埋め込み分析とSWEMを用いた比較実験
atmaCup#9 オンサイトデータコンペ振り返り回で発表した資料です。
word2vecを利用した埋め込み分析とSWEMを用いた比較実験について述べています。
Takanobu Nozawa
February 27, 2021
Tweet
Share
More Decks by Takanobu Nozawa
See All by Takanobu Nozawa
低コストで実現する社内文書RAG機能を搭載したAIチャットボット開発
takapy
4
4.2k
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
1.3k
NLPを活用したオンボーディング改善とコールドスタート問題への対策
takapy
4
5.2k
自然言語可視化ライブラリ 「nlplot」のご紹介
takapy
3
4.1k
コミュニティサービスにおけるレコメンデーションの変遷とMLパイプラインについて
takapy
2
6.9k
SageMaker StudioとStep Functionsを用いてMLOpsへの一歩を踏み出そう
takapy
0
8.2k
GoogleColabとVSCodeを用いた分析環境運用Tips
takapy
15
14k
トピックモデルを活用したレコメンデーションの実装
takapy
1
6.4k
Streamlitとnlplotを使って自然言語を分析してみた
takapy
4
14k
Other Decks in Programming
See All in Programming
ソフトウェア品質特性、意識してますか?AIの真の力を引き出す活用事例 / ai-and-software-quality
minodriven
19
6.6k
Perlで痩せる
yuukis
1
650
Agent Rules as Domain Parser
yodakeisuke
1
300
バリデーションライブラリ徹底比較
nayuta999999
1
410
Doma で目指す ORM 最適解
nakamura_to
1
160
Cloudflare Realtime と Workers でつくるサーバーレス WebRTC
nekoya3
0
230
がんばりすぎないコーディングルール運用術
tsukakei
1
180
漸進。
ssssota
0
970
Duke on CRaC with Jakarta EE
ivargrimstad
1
700
DevTalks 25 - Create your own AI-infused Java apps with ease
kdubois
2
120
RubyKaigi Hack Space in Tokyo & 函館最速 "予習" 会 / RubyKaigi Hack Space in Tokyo & The Fastest Briefing of RubyKaigi 2026 in Hakodate
moznion
1
120
イベントソーシングとAIの親和性ー物語とLLMに理解できるデータ
tomohisa
1
160
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
The Cult of Friendly URLs
andyhume
78
6.4k
Fontdeck: Realign not Redesign
paulrobertlloyd
84
5.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Six Lessons from altMBA
skipperchong
28
3.8k
Code Reviewing Like a Champion
maltzj
523
40k
Visualization
eitanlees
146
16k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
Statistics for Hackers
jakevdp
799
220k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Speed Design
sergeychernyshev
30
970
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.7k
Transcript
word2vecΛར༻ͨ͠ຒΊࠐΈੳͱ SWEMΛ༻͍ͨൺֱ࣮ݧ Takanobu Nozawa 2021.02.18 atmaCup#9 ΦϯαΠτσʔλίϯϖৼΓฦΓճ
ࣗݾհ XPSEWFDͱ XPSEWFDΛJUFNʹԠ༻ 48&.Λ༻͍ͯൺֱ࣮ݧ ·ͱΊ ΞδΣϯμ
ࣗݾհ
໊લɿᖒরʢ/P[BXB5BLBOPCVʣ ॴଐɿίωώτגࣜձࣾ ɹɹɿ!UBLBQZ w ػցֶशʢ/-1ɺਪનγεςϜʣΛϝΠϯʹΓͭͭ"84ͱٔΕ͍ͯ·͢ w σʔλੳίϯϖͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺɹɹɹɹɹ ٿͨ͠Γɺϥʔϝϯ৯ͨΓ͍ͯ͠·͢ w ࠷ۙϙουΩϟετ🎙
͡Ί·ͨ͠ˠ!HFG@GNʢIUUQTUXJUUFSDPNHFG@GNʣ ࣗݾհ
ࠓճͷBUNB$VQҐͰͨ͠ʢਫ਼ਐ͠·͢ʣ ࣗݾհ
XPSEWFDͱ
˞IUUQTBSYJWPSHBCT XPSEWFDͱ w ʹ(PPHMFͷݚڀऀ͕ൃදͨ͠ख๏ʢ˞ʣ w ಛఆͷ୯ޠͷۙ͘ʹ͋Δ୯ޠ܈Λ༧ଌͰ͖ΔΑ͏ʹ χϡʔϥϧωοτΛֶशͤͯ͞ɺ୯ޠͷࢄදݱΛऔಘͰ͖Δ w ʮ,JOH.BO 8PNBO2VFFOʯ
จ͔ΒҾ༻ʢ˞ʣ
XPSEWFDͱ $#08ͱTLJQHSBNͷͭͷϞσϧ͕͋Δ ɹྫɿZPVTBZHPPECZFBOE*TBZIFMMP ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
XPSEWFDͱ ࠓճ༻͍ͨͷTLJQHSBN ʢଟ͘ͷ߹ɺ୯ޠͷࢄදݱͱ͍͏ʹ͓͍ ͯɺTLJQHSBNͷํ͕ྑ͍݁Ռ͕ಘΒΕΔ͜ ͱ͕ଟ͍ʣ ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
XPSEWFDͱ HFOTJNΛ༻͍Δͱൺֱత༰қʹ࣮Մೳ ʢBUNB$VQͷ%JTDVTTJPOʹ࣮ίʔυ͋͛ͯ·͢☺ ʣ
XPSEWFDΛJUFNʹԠ༻
XPSEWFDΛJUFNʹԠ༻ w εʔύʔجຊతʹಋઢ͕ઃܭ͞Ε͍ͯΔ࣌ܥྻ ੨Ռˠڕˠˠೕˠ͓՛ࢠˠࡊˠύϯˠҿྉʜ w ʢܦݧతʹʣεʔύʔߦͬͨΒجຊతʹಉ͡Α͏ͳͷΛങ͏ʹ ͋Δ w ճͷങ͍ϩάΛͭͷTFOUFODFͱΈͳͤɺͦΕͳΓͷࢄදݱ ͕ܭࢉͰ͖ΔͷͰʁͦΕͰϢʔβʔͷຒΊࠐΈΛܭࢉ͢Ε্ख͘
͍͘ͷͰʁͱ͍͏͜ͱͰ࣮ݧͨ͠
σʔλͷ࡞Γํ
σʔλͷ࡞Γํ w TQFOE@UJNFͷσʔλΛҙਤతʹʮϨδΧʔτىಈʯ ʹͯ͠ܭࢉʹؚΊͨ
σʔλͷ࡞Γํ w TFTTJPOΛTFOUFODFͱΈͳͯ͠DPSQVTΛੜ DPSQVT
JUFNWFDͷֶश݁Ռ
JUFNWFDͷֶश݁Ռ w ͍͔ͭ͘ͷJUFNͰ͍ۙJUFNΛදࣔͯ͠ࢄදݱΛఆੑత ʹ֬ೝ
JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ
JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ ྑͦ͞͏☺
JUFNͷࢄදݱΛಛྔԽ͢Δ
JUFNͷࢄදݱΛಛྔԽ͢Δ w ֤JUFNͷࢄදݱఆੑతʹ֬ೝͯͦ͠ΕͳΓͷ͕ܭࢉ͞Ε͍ͯΔ ͜ͱ͕֬ೝͰ͖ͨ w ͜ΕΛֶशʹ͑Δܗʹམͱ͠ࠐΈ͍ͨ ˠࠓճ48&.ͱ͍͏ख๏ͰϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉ͢Δ
48&.ͱʁ w 4JNQMF8PSE&NCFEEJOHCBTFE.FUIPET w ୯ޠຒΊࠐΈͷΈΛར༻ͯ͠จষຒΊࠐΈΛܭࢉ͢Δํ๏ʢ˞ʣ w จͰԼهͭͷख๏͕ఏҊ͞Ε͍ͯΔ 㾎 48&.BWFSɿ୯ޠͷࢄදݱʹରͯ͠BWFSBHFQPPMJOH͢Δʢίϯϖظؒத࣌ؒͳ͔ ͬͨͷͰ͜Ε͚ͩΛ࣮ݧʣ
㾎 48&.NBYɿ୯ޠͷࢄදݱʹରͯ͠NBYQPPMJOH͢Δ 㾎 48&.DPODBUɿ48&.BWFSͱ48&.NBYͷ݁ՌΛ݁߹͢Δ 㾎 48&.IJFSɿOHSBNͷΑ͏ʹݻఆͷΟϯυͰBWFSBHFQPPMJOHͨ݁͠Ռʹରͯ͠ NBYQPPMJOH͢Δ ˞ɿIUUQTBSYJWPSHBCTW
48&.Ͱݕূ
48&.Ͱݕূ w ༻ͨ͠ಛྔ " Ϣʔβʔͷଐੑใʢྸɾੑผʣ # ങ͍ͷ࣌ؒใʢ݄ɾ࣌ɾ༵ͳͲʣ $ JUFNͷࢄදݱ͔Βܭࢉͨ͠ϢʔβʔຒΊࠐΈϕΫτϧʢ48&.ʣ ˞UFTUʹ͚ͩଘࡏ͢ΔϢʔβʔྸͷฏۉϕΫτϧͰิ
w ͔ͤͬ͘ͳͷͰɺԼهछྨͷಛྔͰൺֱ࣮ݧΛ࣮ࢪ ‣ "#͚ͩͷಛྔʢϕʔεϥΠϯʣ ‣ "#$ͷಛྔʢ$લड़ͨ͠छྨʣ ‣ Ϟσϧ-JHIU(#.GPME 48&.ͷ࣮ίʔυαϯϓϧ(JUIVCϦϙδτϦʹ͋͛·ͨ͠ˠIUUQTHJUIVCDPNUBLBQZHFFL@CMPHCMPCNBTUFSOMQTXFNQZ
ݕূ݁Ռ
ݕূ݁Ռ ࣮ݧ Local Public Private ϕʔεϥΠϯʢ24 featuresʣ 0.6037 0.5652 0.5802
SWEM-averʢ74 featuresʣ 0.8057 0.7476 0.7461 SWEM-maxʢ74 featuresʣ 0.7127 0.6599 0.6633 SWEM-concatʢ124 featuresʣ 0.8057 0.7435 0.7424 SWEM-hierʢ74 featuresʣ 0.8092 0.7484 0.7483
·ͱΊ
·ͱΊ w XPSEWFDΛ༻͍֤ͯJUFNͷࢄදݱΛܭࢉ͠ɺ͔ͦ͜Β48&.Ͱ ϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉͯ͠Έͨ w ൺֱݕূ͢ΔͱɺຊλεΫͰ48&.IJFS͕Ұ൪ྑ͍ਫ਼ͩͬͨ w ࠓճϢʔβʔใΛͲ͏ͬͯಛྔʹམͱ͠ࠐΉ͔͕ͭॏཁͳ ϙΠϯτͩͬͨ48&.Ͱࢉग़ͨ͠ϢʔβʔͷຒΊࠐΈϕΫτϧ ͦͦ͜͜༗༻ͳಛྔʹͳΔ͜ͱ͕͔ͬͨ
w ӡӦͷօ༷ɺָ͍͠ίϯϖΛ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ😆🎉
࠷ޙʹ
.-ΤϯδχΞઈࢍืूதͰ͢ʂ🧑💻 ɾϥΠϑΠϕϯτ ϥΠϑελΠϧͷ՝ղܾΛ͢ΔαʔϏεʹڵຯ͕͋Δํ ɾػցֶशͷࣾձ࣮ ϓϩμΫτ։ൃʹڵຯͷ͋Δํ %.PSͦ͘ΊΜ܅ܦ༝PS8BOUFEMZܦ༝ͳͲ͝࿈བྷ͓͍ͪͯ͠·͢ʂ ΧδϡΞϧ໘ஊͰ͑ΒΕΔൣғͰͳΜͰ͑·͢ʂʢಛʹ४උ͍Γ·ͤΜʣ 5XJUUFSˠIUUQTUXJUUFSDPNUBLBQZ 8F`SF)JSJOH
͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ