word2vecを利用した埋め込み分析とSWEMを用いた比較実験

atmaCup#9 オンサイトデータコンペ振り返り回で発表した資料です。
word2vecを利用した埋め込み分析とSWEMを用いた比較実験について述べています。

Transcript

1. word2vecΛར༻ͨ͠ຒΊࠐΈ෼ੳͱ SWEMΛ༻͍ͨൺֱ࣮ݧ Takanobu Nozawa 2021.02.18 atmaCup#9 ΦϯαΠτσʔλίϯϖৼΓฦΓճ
2. 
   ࣗݾ঺հ
   
   XPSEWFDͱ͸
   
   XPSEWFDΛJUFNʹԠ༻
   
   48&.Λ༻͍ͯൺֱ࣮ݧ
   
   ·ͱΊ ΞδΣϯμ
3. ࣗݾ঺հ
4. ໊લɿ໺ᖒ
   ఩রʢ/P[BXB
   5BLBOPCVʣ
   ॴଐɿίωώτגࣜձࣾ
   ɹɹɿ!UBLBQZ
   w ػցֶशʢ/-1ɺਪનγεςϜʣΛϝΠϯʹ΍Γͭͭ"84ͱٔΕ͍ͯ·͢
   w σʔλ෼ੳίϯϖͨ͠ΓɺϒϩάʢIUUQTXXXUBLBQZXPSLʣॻ͍ͨΓɺɹɹɹɹɹ ໺ٿͨ͠Γɺϥʔϝϯ৯΂ͨΓ͍ͯ͠·͢
   w ࠷ۙϙουΩϟετ🎙 ͸͡Ί·ͨ͠ˠ
   !HFG@GNʢIUUQTUXJUUFSDPNHFG@GNʣ ࣗݾ঺հ
5. ࠓճͷBUNB$VQ͸ҐͰͨ͠ʢਫ਼ਐ͠·͢ʣ ࣗݾ঺հ
6. XPSEWFDͱ͸
7. ˞
   IUUQTBSYJWPSHBCT XPSEWFDͱ͸ w ೥ʹ(PPHMFͷݚڀऀ͕ൃදͨ͠ख๏ʢ˞ʣ
   w ಛఆͷ୯ޠͷۙ͘ʹ͋Δ୯ޠ܈Λ༧ଌͰ͖ΔΑ͏ʹ
   χϡʔϥϧωοτΛֶशͤͯ͞ɺ୯ޠͷ෼ࢄදݱΛऔಘͰ͖Δ
   w ʮ,JOH
   
   .BO
   
   8PNBO
   
   2VFFOʯ
   ࿦จ͔ΒҾ༻ʢ˞ʣ
8. XPSEWFDͱ͸ $#08ͱTLJQHSBNͷͭͷϞσϧ͕͋Δ
   ɹྫɿ
   ZPV
   TBZ
   HPPECZF
   BOE
   *
   TBZ
   IFMMP
    ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
9. XPSEWFDͱ͸ ࠓճ༻͍ͨͷ͸TLJQHSBN
   ʢଟ͘ͷ৔߹ɺ୯ޠͷ෼ࢄදݱͱ͍͏఺ʹ͓͍ ͯ͸ɺTLJQHSBNͷํ͕ྑ͍݁Ռ͕ಘΒΕΔ͜ ͱ͕ଟ͍ʣ ࢀߟɿIUUQTXXXUBLBQZXPSLFOUSZ
10. XPSEWFDͱ͸ HFOTJNΛ༻͍Δͱൺֱత༰қʹ࣮૷Մೳ
    ʢBUNB$VQͷ%JTDVTTJPOʹ࣮૷ίʔυ͋͛ͯ·͢☺ ʣ
11. XPSEWFDΛJUFNʹԠ༻
12. XPSEWFDΛJUFNʹԠ༻ w εʔύʔ͸جຊతʹಋઢ͕ઃܭ͞Ε͍ͯΔ
    
    ࣌ܥྻ
    ੨Ռˠڕˠ೑ˠೕ੡඼ˠ͓՛ࢠˠ૜ࡊˠύϯˠҿྉʜ
    w ʢܦݧతʹʣεʔύʔߦͬͨΒجຊతʹಉ͡Α͏ͳ΋ͷΛങ͏܏޲ʹ ͋Δ
    w ճͷങ͍෺ϩάΛͭͷTFOUFODFͱΈͳͤ͹ɺͦΕͳΓͷ෼ࢄදݱ ͕ܭࢉͰ͖ΔͷͰ͸ʁͦΕͰϢʔβʔͷຒΊࠐΈΛܭࢉ͢Ε͹্ख͘ ͍͘ͷͰ͸ʁͱ͍͏͜ͱͰ࣮ݧͨ͠
13. σʔλͷ࡞Γํ
14. σʔλͷ࡞Γํ w TQFOE@UJNF
    
    
    ͷσʔλΛҙਤతʹʮϨδΧʔτىಈʯ ʹͯ͠ܭࢉʹؚΊͨ
15. σʔλͷ࡞Γํ w TFTTJPOΛTFOUFODFͱΈͳͯ͠DPSQVTΛੜ੒ DPSQVT
16. JUFNWFDͷֶश݁Ռ
17. JUFNWFDͷֶश݁Ռ w ͍͔ͭ͘ͷJUFNͰ͍ۙJUFNΛදࣔͯ͠෼ࢄදݱΛఆੑత ʹ֬ೝ
18. JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ
    ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ࢖͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ
19. JUFNWFDͷֶश݁Ռ w 6."1Ͱ̎࣍ݩѹॖͯ֬͠ೝ
    ʢBEKVTU5FYUͱ͍͏ϥΠϒϥϦΛ࢖͏ͱɺϥϕϧ͕ॏͳΒͳ͍Α͏ʹϓϩοτͰ͖·͢☺ ʣ ྑͦ͞͏☺
20. JUFNͷ෼ࢄදݱΛಛ௃ྔԽ͢Δ
21. JUFNͷ෼ࢄදݱΛಛ௃ྔԽ͢Δ w ֤JUFNͷ෼ࢄදݱ͸ఆੑతʹ֬ೝͯͦ͠ΕͳΓͷ஋͕ܭࢉ͞Ε͍ͯΔ ͜ͱ͕֬ೝͰ͖ͨ
    w ͜ΕΛֶशʹ࢖͑Δܗʹམͱ͠ࠐΈ͍ͨ
    ˠࠓճ͸48&.ͱ͍͏ख๏ͰϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉ͢Δ
22. 48&.ͱ͸ʁ w 4JNQMF
    8PSE&NCFEEJOHCBTFE
    .FUIPET
    w ୯ޠຒΊࠐΈͷΈΛར༻ͯ͠จষຒΊࠐΈΛܭࢉ͢Δํ๏ʢ˞ʣ
    w ࿦จͰ͸Լهͭͷख๏͕ఏҊ͞Ε͍ͯΔ
    㾎 48&.BWFSɿ୯ޠͷ෼ࢄදݱʹରͯ͠BWFSBHF
    QPPMJOH͢Δʢίϯϖظؒத͸࣌ؒ΋ͳ͔ ͬͨͷͰ͜Ε͚ͩΛ࣮ݧʣ
    㾎 48&.NBYɿ୯ޠͷ෼ࢄදݱʹରͯ͠NBY
    QPPMJOH͢Δ
    㾎 48&.DPODBUɿ48&.BWFSͱ48&.NBYͷ݁ՌΛ݁߹͢Δ
    㾎 48&.IJFSɿOHSBNͷΑ͏ʹݻఆ௕ͷ΢Οϯυ΢ͰBWFSBHFQPPMJOHͨ݁͠Ռʹରͯ͠ NBY
    QPPMJOH͢Δ ˞ɿIUUQTBSYJWPSHBCTW
23. 48&.Ͱݕূ
24. 48&.Ͱݕূ w ࢖༻ͨ͠ಛ௃ྔ
    " Ϣʔβʔͷଐੑ৘ใʢ೥ྸɾੑผʣ
    # ങ͍෺ͷ࣌ؒ৘ใʢ೥݄೔ɾ࣌ɾ༵೔ͳͲʣ
    $ JUFNͷ෼ࢄදݱ͔Βܭࢉͨ͠ϢʔβʔຒΊࠐΈϕΫτϧʢ48&.ʣ
    ˞UFTUʹ͚ͩଘࡏ͢ΔϢʔβʔ͸೥ྸͷฏۉϕΫτϧͰิ׬
    w ͔ͤͬ͘ͳͷͰɺԼهछྨͷಛ௃ྔͰൺֱ࣮ݧΛ࣮ࢪ
    ‣ "
    #
    ͚ͩͷಛ௃ྔʢϕʔεϥΠϯʣ
    ‣ "
    #
    $
    ͷಛ௃ྔʢ$͸લड़ͨ͠छྨ෼ʣ
    ‣ Ϟσϧ͸-JHIU(#.
    GPME 48&.ͷ࣮૷ίʔυαϯϓϧ͸(JUIVCϦϙδτϦʹ͋͛·ͨ͠ˠIUUQTHJUIVCDPNUBLBQZHFFL@CMPHCMPCNBTUFSOMQTXFNQZ
25. ݕূ݁Ռ
26. ݕূ݁Ռ ࣮ݧ Local Public Private ϕʔεϥΠϯʢ24 featuresʣ 0.6037 0.5652 0.5802 SWEM-averʢ74 featuresʣ 0.8057 0.7476 0.7461 SWEM-maxʢ74 featuresʣ 0.7127 0.6599 0.6633 SWEM-concatʢ124 featuresʣ 0.8057 0.7435 0.7424 SWEM-hierʢ74 featuresʣ 0.8092 0.7484 0.7483
27. ·ͱΊ
28. ·ͱΊ w XPSEWFDΛ༻͍֤ͯJUFNͷ෼ࢄදݱΛܭࢉ͠ɺ͔ͦ͜Β48&.Ͱ ϢʔβʔͷຒΊࠐΈϕΫτϧΛܭࢉͯ͠Έͨ
    w ൺֱݕূ͢ΔͱɺຊλεΫͰ͸48&.IJFS͕Ұ൪ྑ͍ਫ਼౓ͩͬͨ
    w ࠓճ͸Ϣʔβʔ৘ใΛͲ͏΍ͬͯಛ௃ྔʹམͱ͠ࠐΉ͔͕ͭॏཁͳ ϙΠϯτͩͬͨ
    
    48&.Ͱࢉग़ͨ͠ϢʔβʔͷຒΊࠐΈϕΫτϧ͸ ͦͦ͜͜༗༻ͳಛ௃ྔʹͳΔ͜ͱ͕෼͔ͬͨ
    w ӡӦͷօ༷ɺָ͍͠ίϯϖΛ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ😆🎉
29. ࠷ޙʹ
30. 
    .-ΤϯδχΞઈࢍืूதͰ͢ʂ🧑💻
    ɾϥΠϑΠϕϯτ ϥΠϑελΠϧͷ՝୊ղܾΛ͢ΔαʔϏεʹڵຯ͕͋Δํ
    ɾػցֶशͷࣾձ࣮૷ ϓϩμΫτ։ൃʹڵຯͷ͋Δํ
    %.
    PS
    ͦ͘ΊΜ܅ܦ༝
    PS
    8BOUFEMZܦ༝ͳͲ͝࿈བྷ͓଴͍ͪͯ͠·͢ʂ
    ΧδϡΞϧ໘ஊͰ͸౴͑ΒΕΔൣғͰͳΜͰ΋౴͑·͢ʂʢಛʹ४උ͸͍Γ·ͤΜʣ
    5XJUUFSˠIUUQTUXJUUFSDPNUBLBQZ 8F`SF
    )JSJOH
31. ͓ΘΓ ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ