Share
Embed
ハンドメイド作品を扱うECサイトに特化したBERTを用いた言語モデル構築に向けた取り組み/ipsj-NL250-05
2021.9.28 情報処理学会 第250回自然言語処理研究会(NL研)
https://nl-ipsj.or.jp/2021/09/10/nl250-program/
tossy
September 28, 2021
Transcript
32 slides
-
ञҪහ(GMOϖύϘגࣜձࣾ ϖύϘݚڀॴ/भେֶେֶӃ), ࡾ༔հ(GMOϖύϘגࣜձࣾ ϖύϘݚڀॴ), ܀ྛ݈ଠ(GMOϖύϘגࣜձࣾ ϖύϘݚڀॴ) ൃදऀɿञҪහ / Pepabo
R&D Institute, GMO Pepabo, Inc. / Kyushu University 2021.09.28 ใॲཧֶձ ୈ250ճࣗવݴޠॲཧݚڀձ ϋϯυϝΠυ࡞Λѻ͏ECαΠτʹಛԽͨ͠ BERTΛ༻͍ͨݴޠϞσϧߏஙʹ͚ͨऔΓΈ -
• ֤࡞ʹɺλΠτϧઆ໌จͳͲ ͷςΩετใ͕༩͞Ε͍ͯΔ • ֤छλεΫʹར༻͍ͨ͠ • ࡞ͷΧςΰϦྨ • λΠτϧɾઆ໌จͷࣗಈੜ •
࣭Ԡ ͳͲ 5 ݚڀͷഎܠ(2/3) େখΧςΰϦ ࡞λΠτϧ ࡞આ໌จ ˙࡞ͷྫ -
• ࣗવݴޠॲཧͰɺBERT[1]Λ͏͜ͱ͕ओྲྀʹͳ͖͍ͬͯͯΔ • BERTͰɺࣄલֶशࡁΈϞσϧΛ͏͜ͱͰɺ൚༻తͳࣝΛ࣋ͭݴޠϞσ ϧΛར༻͢Δ͜ͱ͕Ͱ͖Δ • ࣄલֶशࡁΈϞσϧΛɺλεΫʹԠͨ͡গͳ͍ڭࢣ༗ΓσʔλͰ fi ne-tuning͢ Δ͜ͱͰɺߴ͍ੑೳΛಘΔ͜ͱ͕Մೳ(ຊݚڀͰɺBERT+
fi ne-tuningͱݺͿ) • ՃֶशʢBERTͷࣄલֶशࡁΈϞσϧ͔ΒେنͳίʔύεͰ࠶ࣄલֶशʣ Λߦ͏͜ͱͰɺίʔύεʹಛԽͨࣝ֫͠ಘ͕Մೳ [4],[6] 7 BERT [1] %FWMJO + $IBOH .8 -FF ,BOE5PVUBOPWB ,#&351SFUSBJOJOHPG%FFQ#JEJSFDUJPOBM5SBOTGPSNFSTGPS-BOHVBHF6OEFSTUBOEJOH <>-FF + :PPO 8 ,JN 4 ,JN % ,JN 4 4P $)BOE,BOH +#JP#&35BQSFUSBJOFECJPNFEJDBMMBOHVBHFSFQSFTFOUBUJPONPEFMGPSCJPNFEJDBMUFYUNJOJOH #JPJOGPSNBUJDT 7PM /P QQr <>/55 デ ʔλۚ༥ۀք͚ࣗવݴޠॲཧٕज़ͷݕূ։࢝dۚ༥൛#&35Ϟ デ ϧͷ։ൃdɼIUUQTXXXOUUEBUBDPNKQKBOFXTSFMFBTF -
• ʮϋϯυϝΠυ࡞Λѻ͏ECαΠτʯͰͷࣗવݴޠॲཧͷλεΫΛղ͖͍ͨ → BERT+ fi ne-tuningΛ͏͜ͱͰɺ֤՝ΛղܾͰ͖ΔͷͰͳ͍͔ • ࣗવݴޠॲཧͷλεΫͷɺࠓճɺ࡞ͷΧςΰϦྨʹऔΓΉ • ຊݚڀͰɺ࡞ͷΧςΰϦྨʹ͓͍ͯϕʔεϥΠϯख๏ͱBERT+
fi ne- tuningͷϞσϧΛൺֱɾධՁ͢Δɻ݁ՌΛ౿·͑ͯɺࠓޙͷํੑΛܾΊ͍ͨ 8 ຊݚڀͷશମ૾ ˞ϕʔεϥΠϯख๏จॻϕΫτϧԽख๏ɿ5'*%'ɺྨثɿ47.ɺϩδεςΟοΫճؼͱͨ͠ -
• ࡞Λग़͢Δࡍʹɺ࡞Ո͕࡞ͷେ/খΧςΰϦΛొ͍ͯ͠Δ → ొ͢ΔࡍʹɺࣗಈͰେ/খΧςΰϦΛਪଌ͠ɺ࡞Ոఏ͍ࣔͨ͠ ɹɹࣄલʹΧςΰϦΛఏࣔ͢Δ͜ͱͰɺΧςΰϦઃఆޡΓΛࢭ͍ͨ͠
• ͔͠͠ɺ࡞ͷΧςΰϦྨΛӡӦଆ͕ਓखͰߦ͏͜ͱݱ࣮తͰͳ͍ → ՝ᶃʹର͢Δղܾࡦɿػցతʹྨ͢Δ͜ͱ͕ඞཁ 10 ՝ᶃɿਓखͰλεΫΛղ͘ͷࠔ ˙େΧςΰϦͷҰཡ ΞΫηαϦʔ ࢦྠɾϦϯά ϐΞε ɾɾɾ ɾɾɾ ˙େখΧςΰϦͷྫ -
• ʮϋϯυϝΠυ࡞Λѻ͏ECαΠτʯͰ࡞Ո͕࡞ͬͨ࡞Λߪೖऀ͕ߪೖ → ࡞Ո͕ҟͳΔ߹ɺಉ͡࡞ଘࡏ͠ͳ͍ ಉ͡࡞͕ଘࡏ͠ͳ͍͜ͱ͕େ͖ͳಛͰ͋Δ • औΓѻ͏࡞ͷछྨ͕ଟ༷ͱͳΓɺ࡞ΛదͳΧςΰϦྨ͢ΔͨΊʹ ෯͍࡞͕ࣝඞཁͱͳΔ
→ ѻ͏࡞͕ଟ༷Ͱ͋ͬͯɺ࡞ͷಛΛଊ͑ΒΕΔख๏͕ඞཁ 11 ՝ᶄɿʮϋϯυϝΠυ࡞Λѻ͏ECαΠτʯͷ࡞͕ଟ༷ -
• BERTͰɺࣄલֶशࡁΈϞσϧΛར༻͢Δ͜ͱ͕Ͱ͖ɺ൚༻తͳࣝΛ࣋ͭ ݴޠϞσϧͷύϥϝʔλΛར༻Ͱ͖Δ • λεΫʹԠͨ͡গͳ͍ڭࢣ༗ΓσʔλͰ fi ne-tuning͢Δ͜ͱͰɺߴ͍ੑೳΛಘ Δ͜ͱ͕Մೳ • ͞ΒʹɺBERTՃֶशʹΑΓɺଟ༷ͳ࡞ͷࣝ֫ಘظͰ͖Δ
→ BERT(ࣄલֶशࡁΈ or Ճֶश)+ fi ne-tuningʹΑΓɺ ɹ࡞ͷଟ༷ੑΛଊ͑ΒΕΔͱߟ͑Δ 12 ՝ᶄʹର͢Δղܾࡦ -
• ߏతͳมԽͷྫɿΧςΰϦͷ৽ن࡞আɺ౷ഇ߹ͳͲ • ࡞ͷྨΛߦ͏߹ɺ࡞จॻʹରͯ͠ɺจॻϕΫτϧԽख๏ɾલॲཧɾద ͳྨثͷબఆ͕ඞཁʹͳͬͯ͘Δ → ߏతͳมԽ͕ى͖ͨࡍɺߟྀ͠ͳ͚ΕͳΒͣɺै͢Δͷࠔ 13 ՝ᶅɿʮϋϯυϝΠυ࡞Λѻ͏ECαΠτʯͷߏతͳมԽͷै͕ࠔ
จॻϕΫτϧԽख๏ લॲཧ ྨثʹΑΔֶश ࠷దͳจॻϕΫτϧख๏Կʁ ࠷దͳલॲཧԿʁ ࠷దͳྨثԿʁ ه߸Λআ͘ɺ୯ޠස͕ߴස ɺසআ͘ͳͲ 47. ϩδεςΟοΫճؼ ϥϯμϜϑΥϨετ ܾఆͳͲ #P8 5'*%' %PD7FD 48&. 4$%7ɹͳͲ -
• BERTͷ߹ɺ൚༻తͳϞσϧ͔Β fi ne-tuningͷΈΛ࣮ࢪ͢Δ͜ͱͰैՄ ྫʣΧςΰϦͷߏ͕มΘͬͨͱͯ͠ɺมΘͬͨΧςΰϦϥϕϧͷΈΛ fi ne-tuning͢ΕରԠͰ͖Δ 14 ՝ᶅʹର͢Δղܾࡦ
#&35ʢࣄલֶशࡁΈϞσϧʣPS#&35Ճֶश 'JOFUVOJOH จॻϕΫτϧԽख๏ લॲཧ ྨثʹΑΔֶश ه߸Λআ͘ɺ୯ޠස͕ߴස ɺසআ͘ͳͲ 47. ϩδεςΟοΫճؼ ϥϯμϜϑΥϨετ ܾఆͳͲ #P8 5'*%' %PD7FD 48&. 4$%7ɹͳͲ ϙΠϯτᶃɿࣄલʹ൚༻తͳϞσϧΛ࡞Ͱ͖Δ ϙΠϯτᶄɿߏͷมԽ͕ى͖ͨͱͯ͠ɺ fi OFUVOJOHͷΈͰैՄೳ -
• ຊݚڀͰɺ࡞ྨʹ͓͍ͯϕʔεϥΠϯख๏ͱBERT+ fi ne-tuningͷϞσϧ ΛൺֱɾධՁ͢Δɻ • ՝ͱղܾࡦٴͼޮՌͷԾઆΛҎԼʹࣔ͢ 15 ຊݚڀͷ՝ͱղܾࡦͷରԠ ϕʔεϥΠϯख๏˞
#&35 fi OFUVOJOH #&35Ճֶश fi OF UVOJOH ՝ᶃɿਓखͰࠔ ˓ ˓ ˓ ՝ᶄɿ࡞͕ଟ༷ ˚ ˓ ˕ ՝ᶅɿมԽʹै º ˓ ˓ ຌྫɹºɿѱ͍ɹ˓ɿྑ͍ɹ˕ɿ͔ͳΓྑ͍ ˞ϕʔεϥΠϯख๏จॻϕΫτϧԽख๏ɿ5'*%'ɺྨثɿ47.ɺϩδεςΟοΫճؼ ຊݚڀͰऔΓΉൣғ -
• ຊݚڀͷλεΫɺ֤࡞ʹ༩͞Ε͍ͯΔେ/খΧςΰϦΛྨ͢Δ͜ͱͱ ͨ͠ɻ࡞จॻλΠτϧɺઆ໌จΛ༻ͨ͠ɻ • จॻྨੑೳΛҎԼ3छྨͷख๏Ͱൺֱ • ϕʔεϥΠϯख๏ᶃɿ࡞จॻΛTF-IDFʹΑΔϕΫτϧԽɺྨثɿSVM • ϕʔεϥΠϯख๏ᶄɿ࡞จॻΛTF-IDFʹΑΔϕΫτϧԽɺྨثɿϩδε ςΟοΫճؼ
• BERT+ fi ne-tuningख๏ɿࣄલֶशࡁΈBERTΛ fi ne-tuning͢Δ 17 ࣮ݧ֓ཁ(1/2) -
• σʔληοτ֤ΧςΰϦʹ͓͍ͯਫ਼ͷ֬อ͕ेɺ͔ͭɺܭࢉϦιʔεͰֶशՄೳ ͳ݅ΛԾͱͯ͠10ສ݅ͱઃఆ → minneͷ࡞܈͔Β104,161݅Λநग़(20216݄29࣌) • খΧςΰϦͷΫϥε239, େΧςΰϦͷΫϥε19 •
લॲཧͱͯ͠ɺׅހه߸ɺશۭ֯നɺURLΛআ • ֶशσʔλͱςετσʔλͷൺ9:1ͱͨ͠ • ධՁࢦඪAccuracy, Precision, Recall, F1-scoreΛ༻͍ͨ • ຊݚڀͰɺྨੑೳΛ૯߹తʹධՁ͢ΔͨΊɺF1-scoreΛॏࢹ͢Δ 18 ࣮ݧ֓ཁ(2/2) -
• BERTͷࣄલֶशࡁΈϞσϧɺ౦େֶ͕ެ։͍ͯ͠ΔຊޠֶशϞσϧ (Tohoku-BERTͱݺͿ)Λ༻͍ͨ[11] • TokenizerTohoku-BERT(MeCab<10>+NEologd<9>)Λ༻͍ɺ fi ne-tuningʹ BertForSequenceClassi fi cation<3>Λ༻ͨ͠
• ֶशύϥϝʔλɺଛࣦؔަࠩΤϯτϩϐʔޡࠩɺ࠷దԽؔ AdamW<5>ɺֶश2e-5 19 BERT+ fi ne-tuning(1/2) [3] Huggingface, Transformers library, https://huggingface.co/transformers [5] Loshchilov, I. and Hutter, F.: Decoupled weight decay regularization, arXiv preprint arXiv:1711.05101 (2017). [9] Toshinori, S.: Neologism dictionary based on the language resources on the Web for Mecab (2015). [10] ౻ : MeCab, https://taku910.github.io/ [11] ౦େֶެ։ͷຊޠࣄલֶशࡁΈBERT: https://github.com/cl-tohoku/bert-japanese -
• จॻͷ࠷େ͕512Λ͑ͨ߹ɺઆ໌จͷઌ಄ͱඌΛ͢ํࣜΛద༻[8] • fine-tuningͷֶशঢ়گΛ౿·͑ɺࠓճepoch10·Ͱͱͨ͠ɻྨʹF1- score͕Ұ൪ߴ͔ͬͨepochͷϞσϧΛ༻͍ͨ 20 BERT+ fi ne-tuning(2/2) <8>
Sun, C., Qiu, X., Xu, Y. and Huang, X.: How to fine-tune bert for text classification?, China National Conference on Chinese Computational Linguistics, Springer, pp. 194–206 (2019) ਤ1ɹখΧςΰϦྨλεΫʹ͓͚ΔBERT+fine-tuningͷֶशঢ়گ(ೖྗλΠτϧ) ਤɹখΧςΰϦྨλεΫʹ͓͚ΔBERT+fine-tuningͷֶशঢ়گ(ೖྗλΠτϧ આ໌จ) -
• จॻϕΫτϧ࡞ʹ͓͍ͯɺϕʔεϥΠϯख๏ͱͯ͠ɺTF-IDFΛ༻͍ͨʢࢺ ໊ࢺͷΈʣ • ֤࡞จॻΛscikit-learnͷt fi dfvectorizerʹΑΓϕΫτϧԽ ೖྗ͕ʮλΠτϧ+આ໌จʯͷޠኮΛʮλΠτϧʯͱ߹Θͤͨ •
3ׂަࠩݕূͰ࠷దͳϋΠύʔύϥϝʔλΛٻΊͨޙɺςετσʔλΛධՁ 21 ϕʔεϥΠϯख๏ɿTF-IDF -
• ᶃ PrecisionҎ֎ɿ BERT+ fi ne-tuning͕ྑ͍݁Ռ • ᶄ Precisionɿ
TF-IDF, SVM͕ྑ͍݁Ռ • ೖྗจॻʮλΠτϧʯΑΓʮλ Πτϧ+આ໌จʯ͕ྑ͍݁Ռ → આ໌จྨੑೳ্ʹد༩ 23 େΧςΰϦͷྨ݁Ռͱߟ ᶃ ᶃ ᶄ ᶄ ˞֤ࢦඪʹ͓͍ͯҰ൪ੑೳ͕ߴ͍Λଠࣈͱͨ͠ -
• ᶃ PrecisionҎ֎ɿ BERT+ fi ne-tuning͕ྑ͍݁Ռ • ᶄ Precisionɿ
TF-IDF, SVM͕ྑ͍݁Ռ • େΧςΰϦͷྨ݁ՌΑΓશମ తʹੑೳ͕͍ → Ϋϥε͕ଟ͍ͨΊɺશମ͔Β খΧςΰϦΛྨ͢Δ͜ͱࠔ Ͱͳ͍͔ 24 খΧςΰϦͷྨ݁Ռͱߟ ᶃ ᶃ ᶄ ᶄ ˞֤ࢦඪʹ͓͍ͯҰ൪ੑೳ͕ߴ͍Λଠࣈͱͨ͠ -
• BERT+ fi ne-tuningϞσϧͰͷʮλΠ τϧ+આ໌จʯͷྨޡΓ݁Ռ • ಉ͡େΧςΰϦͷখΧςΰϦΛਖ਼ ͘͠ྨͰ͖ͳ͔ͬͨ • ࣮ࡍͷ࡞ςΩετΛࢹͰ֬ೝ
25 খΧςΰϦͷྨޡΓͷ݁Ռ ຌྫ খΧςΰϦ ʢେΧςΰϦʣ -
• ਖ਼ղͷΧςΰϦࣗମ͕ਖ਼͘͠ͳ͍߹͋Γ͏Δ • ྫ͑ɺϔΞΞΫηαϦʔͷΧςΰϦ͕ઌʹ࡞͞ΕɺͦͷޙɺϔΞΰϜͷΧςΰϦ ͕࡞͞Εͨɺͱ͍͏ܦҢ͕͋ΔʢଞͷΧςΰϦͰಉ༷ͷมԽ͕ߟ͑ΒΕΔʣ • ݱঢ়ͷσʔλʹجͮ͘ΧςΰϦߏͷมԽΛݕग़Ͱ͖ΔՄೳੑ͕͋Δ 26 খΧςΰϦͷྨʹ͓͚ΔྨޡΓͷߟᶃ •
ࢹͰ֬ೝ ϔΞΞΫηαϦʔɿ7݅ɺϔΞΰϜɿ64݅ ϔΞΞΫηαϦʔɿ0݅ɺόϨολɾϔΞΫϦοϓ ɿ47݅ όοάɿ12݅ɺτʔτόοάɿ20݅ -
27 খΧςΰϦͷྨʹ͓͚ΔྨޡΓͷߟᶄ • ʮΠϠϦϯάɺϐΞεʯͲͪΒʹͯ·Δ࡞͕ଟ͍ → Ұҙʹྨ͢Δඞཁ͕͋Δ͔Ͳ͏͔ɺݕ౼͕ඞཁ • ҰํɺϐΞεͷΈɾΠϠϦϯάͷΈɺͷ࡞ਖ਼͘͠ྨ͍ͨ͠ •
ࢹͰ֬ೝ ΠϠϦϯάɿ2݅ɺϐΞεɿ13݅ɺ྆ํɿ55݅ ϐΞεɿ2݅ɺΠϠϦϯάɿ10݅ɺ྆ํɿ22݅ɺ ɹͲͪΒͱݴ͑ͳ͍ɿ5݅ -
28 খΧςΰϦͷྨੑೳ্ʹ͚ͨࠓޙͷऔΓΈ • େΧςΰϦΛྨޙʹɺখΧςΰϦΛྨ͢ΔϞσϧΛ࡞Δ • ϝϦοτɹɿখΧςΰϦͷྨੑೳͷ্͕ݟࠐΊΔ • σϝϦοτɿେΧςΰϦ୯ҐͰͷϞσϧߏங͕ඞཁ ɾɾ STEP1:େΧςΰϦΛྨ
˙ࠓޙͷऔΓΈ ˙ݱঢ় STEP2:֤େΧςΰϦ͔ΒখΧςΰϦΛྨ ɺখΧςΰϦΛྨ͍ͯ͠Δ ΞΫηαϦʔ ϑΝογϣϯ ϚεΫ ͓ͪΌ ΞΫηαϦʔ ࢦྠɾϦϯά ϐΞε ɾɾɾ ɾɾɾ খ খ খ খ খ େ -
• BERTՃֶशʹΑΔίʔύεʹಛԽͨࣝ͠ͷڧԽ • খΧςΰϦͷྨʹରͯ͠ɺ2ஈ֊ʢେΧςΰϦˠখΧςΰϦʣͰྨ • ධՁํ๏ͷݕ౼ • ਖ਼ղͷΧςΰϦ͕ਖ਼͘͠ͳ͍ՄೳੑΛ౿·͑ͨධՁͷݕ౼ • ʮΠϠϦϯάorϐΞεʯͷΑ͏ʹɺҰҙʹྨ͢Δ͔Ͳ͏͔ͷݕ౼
• fi ne-tuningʹ༻͍ΔσʔλྔΛ૿͢ 31 ࠓޙͷ՝