NLP2025参加報告

こちらのNLP振り返りイベントにおけるLTで使用したスライドです（https://moneyforward.connpass.com/event/344276/）

Transcript

1. NLPௌߨࢀՃใࠂ 4݄11೔ ໊େ ࡫໺ݚڀࣨɹD1 ໼໺ઍߛ
2. ࣗݾ঺հ ໼໺ ઍߛʢ΍ͷ ͪͻΖʣ • ܦྺɿ໊େ ෢ాɾ࡫໺ݚʢम࢜՝ఔʣˠPKSHAʢػցֶशΤϯδχΞʣ
 →໊େ ࡫໺ݚʢത࢜՝ఔʣ • ڵຯؔ৺ɿҙຯ࿦ɺຒΊࠐΈදݱ • ࠷ۙ͸ςΩετຒΊࠐΈָ͕͍͠ • ݕࡧಛԽϞσϧɺͥͻ࢖͍ͬͯͩ͘͞ɿ
 ɹpkshatech/GLuCoSE-base-ja-v2 2 9
   ZBOP@D
3. ςΩετຒΊࠐΈϞσϧͱ͸ • ࣗવݴޠจ·ͨ͸จষΛܭࢉػ͕ཧղՄೳͳදݱʢҰൠʹϕΫτ ϧʣʹΤϯίʔυ͢Δ΋ͷ • ϕΫτϧؒͷྨࣅ౓ΛଌΔ͜ͱͰɺྨࣅ౓ΛଌΔ͜ͱ͕Ͱ͖Δ 3 ࣍ճNLPͷ։࠵஍͸ʁ ෋࢜ࢁ͸೔ຊ࠷ߴๆͷಠཱๆͰ͢ɻ ࢁསݝͱ੩Ԭݝʹލ͍ͬͯ·͢ɻ ೔ຊͰҰ൪ߴ͍ࢁ͸ʁ ྨࣅ౓ɿ௿ ྨࣅ౓ɿߴ Ϟσϧ ʜ ʜ ʜ Ϟσϧ Ϟσϧ 2"λεΫͰͷ૝ఆڍಈ
4. ࠓճͷNLP • ϓϩάϥϜ͔Β”ຒΊࠐΈදݱ”ςʔϚͷফࣦ 😢 • ຒΊࠐΈʹؔ࿈͢Δൃද͕ݮ͍ͬͯΔͷͰ͸ʁ • “ຒΊࠐΈ”͕λΠτϧʹೖͬͨൃදɿ17/499݅ˠ26/777݅ 😊 • ʢׂ߹ʹ͢Δͱ΄ͱΜͲҰఆʣ • “ςΩετ” or ”จ” + “ຒΊࠐΈ”͕λΠτϧʹೖͬͨൃදɿ6݅ˠ6݅ 😊 • “ςΩετຒΊࠐΈ”͕λΠτϧʹೖͬͨൃද͸0 -> 5݅ ※ ͋͘·Ͱද૚ʹجͮ͘౷ܭ஋ 4
5. ”ຒΊࠐΈ”ΛλΠτϧʹؚΉൃදҰཡ 5 Ψ΢εաఔʹΑΔຒΊࠐΈ఺ू߹ͷ࣌ؒભҠͷϞσϧԽ ຒΊࠐΈදݱͷಠཱ੒෼ͷݴޠ಺ɾݴޠؒҰ؏ੑͷ෼ੳ ຒΊࠐΈϕΫτϧΛ༻͍ͨಈࢺͷҙຯͷཻ౓෼ੳͱڞىؔ܎ Lۙ๣ࣄྫʹجͮ͘ຒΊࠐΈදݱͷυϝΠϯదԠͱݕࡧ΁ͷԠ༻ ຒΊࠐΈදݱͷ಺ࡏ࣍ݩΛଌΔ ࿨ՎͷຒΊࠐΈʹجͮ͘ຊՎऔΓͷਪఆ 3VSJ
   ೔ຊޠʹಛԽͨ͠൚༻ςΩετຒΊࠐΈϞσϧ จͷຒΊࠐΈʹޮՌతͳ੩త୯ޠϕΫτϧͷ֫ಘ ର࿩ཤྺͷ
   --.
   ຒΊࠐΈΛ༻͍ͨԻ੠߹੒ͷελΠϧ੍ޚ ܇࿅ෆཁͳ৚݅෇͖ςΩετຒΊࠐΈ ϓϩϯϓτʹجͮ͘ςΩετຒΊࠐΈͷλεΫʹΑΔ৑௕ੑͷҧ͍ খઆձ࿩จͷ຋༁΁޲͚ͨٯ຋༁Λ༻͍ͨ࿩ऀຒΊࠐΈͷ࡞੒ ୯ޠຒΊࠐΈͷಠཱ੒෼෼ੳͷ͕࣠ղऍͰ͖Δཻ౓͸ͲΕ͘Β͍͔ʁ Ϣʔβߦಈϩάʹجͮ͘ΫΤϦཧղͷͨΊͷݕࡧΫΤϦຒΊࠐΈ ςΩετͷຒΊࠐΈදݱʹجͮ͘σʔλ૿ڧΛ༻͍ͨ
   
   9ʢچ
   5XJUUFSʣʹ͓͚Δ೔ຊޠͷൽ೑ݕग़ ςΩετຒΊࠐΈ͔ΒͷςΩετ෮ݩʹ͓͚Δ
   ༧ଌ੍ޚͷԉ༻ͷޮՌݕূ จֶ൷ධ͔Βେن໛ݴޠϞσϧ΁
   ʕ୯ޠຒΊࠐΈͷ૊Έ׵͑ʹΑΔจֶςΫετղऍͷࢼΈ --.ຒΊࠐΈͱભҠ֬཰༧ଌΛར༻ͨ͠
   ࣮ళฮ಺ސ٬ߦಈγϛϡϨʔγϣϯ ಠཱ੒෼෼ੳʹΑΔࣄલֶशࡁΈଟݴޠϞσϧͷ
   ૚Λԣஅͨ͠୯ޠຒΊࠐΈදݱͷ෼ੳ දهΏΕ͕จຒΊࠐΈϞσϧʹٴ΅͢Өڹʹ͍ͭͯͷߟ࡯ -BSHF
   7JTJPO
   -BOHVBHF
   .PEFM΁ͷ
   จॻը૾಺ςΩετຒΊࠐΈͷݕূ จॻຒΊࠐΈͱΫϥελϦϯάΛ૊Έ߹Θͤͨ
   τϐοΫ෼ੳख๏ͷఏҊ --.ࣄલֶशͷޮ཰Խͱੑ࣭վળɿ
   
   ຒΊࠐΈ૚͓Αͼग़ྗ૚ͷύϥϝʔλݻఆʹΑΔ࠶ར༻ ຒΊࠐΈϞσϧϕʔεͷڭࢣͳ͠ΩʔϑϨʔζநग़ʹ͓͚Δ
   ௕จʹର͢Δநग़ਫ਼౓ͷվળ ֦ࢄϞσϧΛ༻͍ͨςΩετੜ੒ʹ͓͚Δ
   ʮ่յ໰୊ʯͱ࣌ࠁຒΊࠐΈͷӨڹ దԠతର࿩γεςϜͷͨΊͷ
   ऴ൫ͷձ࿩Λ༧ଌ͢ΔຒΊࠐΈϞσϧͷߏங ର৅͸༷ʑ👀
6. • ΞϒετϥΫτΛwordcloudʹͯ͠Έͨ ୯ޠ΍ςΩετͷຒ ΊࠐΈ͕ଟͦ͏ ൃදͷ܏޲ 6 ෼ੳ͕ϝΠϯͷݚڀ ΋ଟͦ͏ ୯ޠ΍ςΩετͷຒ ΊࠐΈ͕ଟͦ͏
7. ͍͔ͭ͘঺հ • ϞσϧΛ܇࿅͍ͯ͠Δ࿦จ • Ruri: ೔ຊޠʹಛԽͨ͠൚༻ςΩετຒΊࠐΈϞσϧ [௩ӽΒ] • ΠϯετϥΫγϣϯͱෳ਺λεΫΛར༻ͨ͠೔ຊޠ޲͚෼ࢄදݱϞσϧͷߏ ங [উຢΒ] • Ϣʔβߦಈϩάʹجͮ͘ΫΤϦཧղͷͨΊͷݕࡧΫΤϦຒΊࠐΈ [੢઒Β] • ຒΊࠐΈΛ෼ੳ͍ͯ͠Δ࿦จ • ಠཱ੒෼෼ੳʹΑΔࣄલֶशࡁΈଟݴޠϞσϧͷ૚Λԣஅͨ͠୯ޠຒΊࠐΈ දݱͷ෼ੳ [๺໺Β] • ϓϩϯϓτʹجͮ͘ςΩετຒΊࠐΈͷλεΫʹΑΔ৑௕ੑͷҧ͍ [௩ӽΒ] 7 ˞˞ͱͯ΋ओ؍ͰબΜͰ͍·͢˞˞
   ଞʹ͜Μͳ͓΋Ζ͍࿦จ͋ͬͨΑʂͳͲͷίϝϯτ΋׻ܴͰ͢ʂ
8. Ruri: ೔ຊޠʹಛԽͨ͠൚༻ςΩετຒΊࠐΈϞσϧ • ೔ຊޠ൚༻ςΩετຒΊࠐΈϞσϧɺRuriͷ։ൃɺެ։ • ϞσϧαΠζෳ਺ʢsmallɺbaseɺlargeʣ • ్தͷϞσϧͰ͋ΔRuri-PTɺRuri-Reranker΋ެ։ • ܇࿅༻σʔληοτͷ੔උ • ਓ޻σʔληοτΛ࡞੒ • ෳ਺ͷެ։σʔλΛಉҰϑΥʔϚοτͰ੔උ 8 ೔ຊޠBERT Ruri-PT Ruri-Reranker Ruri ରরࣄલֶश 'JOF5VOJOH ৠཹ ͜͜ʹ͔ͳΓશ͕ͯ͋Γ
 ͋Γ͕͍ͨ
   Πϝʔδ
   
   ࿦จ঺հɿϞσϧߏஙܥ
   
9. ΠϯετϥΫγϣϯͱෳ਺λεΫΛར༻ͨ͠೔ຊޠ޲͚෼ࢄදݱϞσϧͷߏங • ෳ਺λεΫɾݴޠͷ܇࿅σʔλͰͷ܇࿅͕ɺJMTEB (=แׅతͳςΩετ
 ຒΊࠐΈϞσϧͷධՁࢦඪ) ʹରͯ͠༩͑ΔӨڹΛ෼ੳ • ೔ӳࠞ߹ͯ͠܇࿅ͨ͠ํ͕ɺ೔ຊޠͷΈͰ
 Ͱ܇࿅͢ΔΑΓߴ͍ੑೳ • ධՁλεΫʹΑͬͯ༗ޮͳ܇࿅λεΫ͸ҟͳΔ • ೔ӳࠞ߹σʔλͰ܇࿅͠ߏஙͨ͠ϞσϧΛެ։ • retrieva-jp/amber-base, retrieva-jp/amber-large 9
   ࿦จ঺հɿϞσϧߏஙܥ
   
   ܇࿅͔Βআ͘λεΫ
   ධՁλεΫͷੑೳมԽ ྫ) NLIͰͷ܇࿅ɿSTSੑೳ⤴
 ΫϥελϦϯάੑೳ⤵ ˝
   ਤΑΓҾ༻
10. Ϣʔβߦಈϩάʹجͮ͘ΫΤϦཧղͷͨΊͷݕࡧΫΤϦຒΊࠐΈ • ݕࡧΫΤϦ͸௨ৗͷςΩετຒΊࠐΈͰର৅ͱ͞ΕΔࣗવจͱൺֱͯ͠୹͘
 จ຺͕ܽ೗͍ͯ͠Δʢྫɿ௕࡚ͷདྷिͷఱؾ͸Կʁʣ • ϢʔβʔͷߦಈϩάΛར༻ͯ͠ྨࣅҙਤΛ࣋ͭΫΤϦϖΞΛநग़͠܇࿅ʹར༻͢ Δख๏ɺUBIQUEΛఏҊ • ΫϦοΫϩάɿݕࡧ݁Ռ಺ͷಉ͡URLΛΫϦοΫ
 ͨ͠ΫΤϦ • ηογϣϯϩάɿಉ͡ηογϣϯ಺ͰҰఆ࣌ؒ಺ʹ
 ೖྗ͞ΕͨΫΤϦ • → ද૚ʹΑΒͣಉ͡ҙਤͷΫΤϦ͕நग़͞ΕΔ • ಛʹද૚มԽʹؤ݈ͳϞσϧΛߏங 10
    ࿦จ঺հɿϞσϧߏஙܥ
    ˝
    ਤΑΓҾ༻
11. ϓϩϯϓτʹجͮ͘ςΩετຒΊࠐΈͷλεΫʹΑΔ৑௕ੑͷҧ͍ • ϓϩϯϓτʹجͮ͘ςΩετຒΊࠐΈɿ • λεΫݻ༗ͷΠϯετϥΫγϣϯΛ෇༩ͯ͠ຒΊࠐΈΛ࡞Δ • λεΫʹґଘͨ͠৑௕ੑΛ࣋ͭ͜ͱΛࣔͨ͠ 11
    ࿦จ঺հɿ෼ੳܥ
    4096࣍ݩΛ16࣍ݩ·Ͱ࣍ݩ࡟ݮ ͯ͠΋ੑೳྼԽͳ͍ 512࣍ݩ͙Β͍·Ͱ͸ ྼԽগͳ͍ Ҏ߱͸ੑೳྼԽ͕ݦஶ
    ෼ྨλεΫ
    
    ݕࡧλεΫ
    ˝
    ਤΑΓҾ༻ ˝
    ਤΑΓҾ༻
12. ಠཱ੒෼෼ੳʹΑΔࣄલֶशࡁΈଟݴޠϞσϧͷ૚Λԣஅͨ͠୯ޠຒΊࠐΈදݱͷ෼ੳ • ଟݴޠϞσϧ͕૚͝ͱʹ࣋ͭಛ௃Λ
 ಠཱ੒෼෼ੳʢICAʣʹΑ֤ͬͯ࣠ʹ෼཭ • ग़ྗʹ͍ۙ૚΄ͲҙຯʹΑ͕ͬͯ࣠෼཭
 ͢Δ͜ͱΛ໌Β͔ʹͨ͠ • 1૚໨ɿ
 ɹɹɹ࣠͸ද૚ܥʹΑͬͯ෼཭ • 7૚໨΍12૚໨ɿ
 ɹɹɹ࣠͸ҙຯʹΑͬͯ෼཭ 12
    ࿦จ঺հɿ෼ੳܥ
    ˝
    ਤΑΓҾ༻
13. ࢀՃใࠂతͳ಺༰ • ࿦จͷ঺հ͹͔ͬͯ͠͠·ͬͨͷͰ… • 3ճ໨ͷNLPࢀՃͰײͨ͜͡ͱ • ࠃ಺ݚڀք۾ͰͷϗοτͳςʔϚ͕໌ʹͳͬͯษڧʹͳΔ • ྫ͑͹ࣗ෼͸ϞσϧղੳपΓʹ͍ͭͯ׬શʹӜౡଠ࿠ͩͬͨ • ϙελʔ͹͔ͬΓݟ͍ͯΔͷΛࣙΊ͍ͨ • ͱΓ͋͑ͣͰϙελʔձ৔ʹߦͬͯ͠·͏͜ͱ͕ଟ͔͕ͬͨɺޱड़ ʹ΋໘നͦ͏ͳൃද͋ͬͨͳ…ͱؼ୐ޙʹޙչ • ࣗ෼ͷֶͼ͕޿͕Δͱͱ΋ʹɺݟ஌ͬͨ෼໺͕૿ָ͍͑ͯ͠ 13
14. ࠷ޙʹ • օ͞Μͷ͓͢͢ΊNLP࿦จɺͥͻڭ͍͑ͯͩ͘͞🥺 • ͠͹Β͘౦ژʹ͍ΔͷͰɺͳΜͰ΋༠͍ͬͯͩ͘͞ʂ • ʢ໘നͦ͏ͳΠϯλʔϯͳͲɺڭ͍͑ͯͩ͘͞ʣ 14