Share
Embed
KWJA:汎用言語モデルに基づく日本語解析器 / kyoto-waseda-japanese-analyzer
第253回自然言語処理研究会の発表資料です。
Nobuhiro Ueda
September 29, 2022
Transcript
25 slides
-
,8+"ɿ൚༻ݴޠϞσϧʹجͮ͘ ຊޠղੳث ২ా ெେ େଜ ਖ਼ ࣇۄ وࢤ ਗ਼ؙ Ұ
ଜ ༗ޗ Տݪ େี ࠇڮ ఓ ژେֶ / ૣҴాେֶ 2022/9/29 ୈ253ճࣗવݴޠॲཧݚڀձ@ژେֶ -
͡ΊʹɿFOEUPFOEWTݴޠղੳʢʣ ػց༁Λ͡ΊɺNLPλεΫͰ end-to-end Ϟσϧ͕ओྲྀ 2022/9/29 Kyoto University 2 FOEUPFOEϞσϧ 5SBOTGPSNFS
͋ͳͨೣ͕͖Ͱ͔͢ɻ ࢲใֶΛઐ߈͍ͯ͠·͢ɻ … Do you like cats? I major in informatics. … ػց༁ [Vaswani+, 2017] ରԠੜ [Roller+, 2021] FOEUPFOEϞσϧ 5SBOTGPSNFS I enjoy hard rock. I am starting to get into yoga! … … That’s cool. Do you have a favorite … Yoga is great for the body and mind … … -
͡Ίʹɿैདྷͷݴޠղੳπʔϧ ͜Ε·ͰղੳλεΫ͝ͱʹπʔϧ͕ݸผʹ։ൃ͞Ε͖͕ͯͨɿ • ར༻͕ࠔɿπʔϧ͝ͱʹ͍ํΛཧղ͢Δඞཁ • ϝϯςφϯε͕ࠔɿπʔϧ͝ͱʹ࣮Λཧɾमਖ਼͢Δඞཁ 2022/9/29 Kyoto University 4
形態素解析結果 構⽂解析結果 述語項構造解析結果 談話関係解析結果 タイポ修正結果 TFRTFRʹجͮ͘λΠϙగਖ਼γεςϜ <ాதΒ > +VNBO .F$BC ,/1 $BCP$IB #&35ʹΑΔड़ޠ߲ߏղੳث <6FEB > #&35ʹΑΔஊؔղੳث <,JZPNBSV > ςΩετ -
,8+"ɿ൚༻ݴޠϞσϧʹجͮ͘ຊޠղੳث ൚༻ݴޠϞσϧΛج൫ͱ͠ɺ୯ମͰ͋ΒΏΔݴޠղੳΛ࣮ߦ͢Δ ຊޠͷ౷߹తݴޠղੳثKWJA (Kyoto-Waseda Japanese Analyzer) Λ։ൃ • ར༻͕༰қɿπʔϧ୯ମͰ͋ΒΏΔݴޠղੳ͕Մೳ •
ϝϯςφϯε͕༰қɿ൚༻ݴޠϞσϧʹΑΓڞ௨࣮ͨ͠Λ࣮ݱ 2022/9/29 Kyoto University 5 形態素解析結果 構⽂解析結果 述語項構造解析結果 談話関係解析結果 タイポ修正結果 ,8+" จࣈղੳϞσϧɾ୯ޠղੳϞσϧ ςΩετ -
ؔ࿈ݚڀɿTQB$Z (J/;" • Universal Dependencies (UD) ʹجͮ͘ଟݴޠ౷߹తجૅղੳث • ຊޠϞσϧຊޠ UD
ίʔύε͔ΒֶशՄೳͳݴޠղੳ ʢܗଶૉղੳɺߏจղੳɺݻ༗දݱೝࣝʣΛ࣮ߦ ▶ KWJA は基礎解析の前処理であるタイポ修正から⾼レイヤの⾔語解析 である述語項構造解析・談話関係解析までサポート(ここまで統合的に解 析を⾏う解析器は存在しない) *GiNZAͰܗଶૉղੳʹ Sudachi Λ༻ • ͯ͢ͷݴޠͰ౷Ұతͳํ๏ͰղੳثΛ܇࿅ ▶ ⽇本語特有の現象(省略等)への対応は困難 2022/9/29 Kyoto University 6 -
,8+"ͷղੳϑϩʔ • ܭࢉίετݮͷͨΊՄೳͳݶΓϚϧνλεΫͰղੳΛڞ௨Խ • ڞ௨ԽͰ͖ͳ͍෦ύΠϓϥΠϯॲཧ 1. ೖྗޡΓగਖ਼ɿޡࣈɾࣈͳͲΛగਖ਼ 2. จࣈϨϕϧղੳɿจࣈྻΛਖ਼نԽͭͭ͠୯ޠྻʹׂ 3.
୯ޠϨϕϧղੳɿͦͷଞ୯ޠʹجͮ͘ॲཧ 2022/9/29 Kyoto University 7 ࠓΘΕͩ ͔ͪॻ͖ ୯ޠਖ਼نԽ ܗଶૉղੳ ஊؔղੳ ộ ೖྗޡΓగਖ਼ ࠓΕͩ ࠓ Ε ͩ จࣈྻ จࣈྻ ୯ޠྻ # S-ID:1 kwla:0.1.0 * 1D + 1D <NE:DATE:今⽇><体⾔><時間> 今⽇ 今⽇ 今⽇ 名詞 6 時相名詞 10 * 0 * 0 <基本句-主辞> は は は 助詞 9 副助詞 2 * 0 * 0 * -1D + -1D <rel type=“ガ” target=“今⽇" sid="1" id=”0"/><⽤ ⾔:判><体⾔><時制:⾮過去><節-主辞><節-区切><レベル:C>< 状態述語> 晴れ 晴れ 晴れ 名詞 6 普通名詞 1 * 0 * 0 <基本句-主辞>< ⽤⾔表記先頭><⽤⾔表記末尾> だ だ だ 判定詞 4 * 0 判定詞 25 基本形 2 EOS ղੳ݁Ռ ộ ộ ộ 1. 2. 3. -
,8+"͕࣮ߦ͢Δݴޠղੳ 2022/9/29 Kyoto University 8 処理単位 タスク 定式化 จࣈ ೖྗޡΓగਖ਼
ܥྻϥϕϦϯά ͔ͪॻ͖ ܥྻϥϕϦϯά ୯ޠਖ਼نԽ ܥྻϥϕϦϯά ୯ޠ αϒϫʔυ ܗଶૉղੳ ܥྻϥϕϦϯά ݻ༗දݱೝࣝ ܥྻϥϕϦϯά ݴޠૉੑ༩ ܥྻϥϕϦϯά ߏจղੳ ୯ޠબ ड़ޠ߲ߏղੳ ୯ޠબ ڮ͠রԠղੳ ୯ޠબ ڞࢀরղੳ ୯ޠબ ஊؔղੳ ୯ޠؒؔྨ B-TIME [CLS] … 2001 … 年 … 夏 … 中⽥ … 英 … I-TIME B-PER I-TIME I-PER ##寿 … は … ローマ … I-PER O から … 移籍 … [SEP] … O O B-ORG ݻ༗දݱநग़ʢܥྻϥϕϦϯάʣͷྫ [CLS] … 彼 … だけ … が … 古 … ##びた … 京都 … の … 宿 … に … 泊 … ##まった … らしい … [SEP] … [ROOT] … ソフトマックス関数 !(#! |#" ) & (#! , #" ) 主辞 #" 2.6 0.8 0.7 7.4 2.3 1.5 FFN FFN FFN FFN FFN FFN FFN FFN FFN FFN 2.2 10.3 6.4 0.9 0.00 0.00 0.00 0.05 0.00 0.00 0.00 0.93 0.02 0.00 ߏจղੳʢ୯ޠબʣͷྫ -
ೖྗޡΓగਖ਼ • λεΫɿςΩετதͷೖྗޡΓΛݕɾमਖ਼ • ྫʣޡࣈగਖ਼ɿਓޱೳ → ਓೳ ࣈగਖ਼ɿ༗ྗ͋Δ → ༗ྗͰ͋Δ
ᔤࣈగਖ਼ɿ͓ੈʹʹͳͬͯ → ͓ੈʹͳͬͯ • ղ͖ํɿจࣈ୯ҐܥྻϥϕϦϯά 2022/9/29 Kyoto University 9 I:x લʹxΛૠೖ K ͦͷ·· D আ R:x xͰஔ ਓ ޱ ೳ ͕ ͕ ༗ ྗ ͋ Δ <%VNNZ> <$-4> ൚༻ݴޠϞσϧ I:NULL I:NULL I:NULL I:NULL I:NULL I:NULL I:NULL I:NULL I:Ͱ I:NULL I:NULL K R: K K K D K K K K − -
จࣈ୯ҐλεΫɿ͔ͪॻ͖ɾ୯ޠਖ਼نԽ • ͔ͪॻ͖ɿจࣈྻΛ୯ޠʢܗଶૉʣྻʹׂ • ୯ޠਖ਼نԽɿඇඪ४දهͱ࿈Λਖ਼نԽ • ྫʣඇඪ४දهɿͼΈΐʔʔʔ → ͼΈΐ͏ ࿈ɿ্ւΨχ
→ ্ւΧχ • ղ͖ํɿจࣈ୯ҐܥྻϥϕϦϯά 2022/9/29 Kyoto University 10 B ୯ޠ։࢝Ґஔ I ୯ޠதؒҐஔ K ͦͷ·· D আ P ԻූΛԻʹஔ V ԻΛਗ਼Իʹஔ ộ ộ ͼ Έ ΐ ʔ ʔ ʜ ্ ւ Ψ χ <4&1> <$-4> ൚༻ݴޠϞσϧ B I I I I … B I B I K K K P D … K K V K -
୯ޠ୯ҐλεΫɿܗଶૉղੳʢ∌͔ͪॻ͖ʣ • λεΫɿ୯ޠʢαϒϫʔυʣʹର͠ɺࢺɾࢺࡉྨɾ ׆༻ܕɾ׆༻ܗɾݪܗɾಡΈɾҙຯใΛ༩ • ղ͖ํɿαϒϫʔυ୯ҐܥྻϥϕϦϯά 2022/9/29 Kyoto University 11
ίΠϯ τε Λ ճ ߦ͏ ɻ ද ͕ ʜ <4&1> <$-4> ൚༻ݴޠϞσϧ ໊ࢺ ໊ࢺ ֨ॿࢺ ໊ࢺ ඌࣙ ಈࢺ ಛघ ໊ࢺ ֨ॿࢺ … − − − − − ࢠԻಈࢺϫߦ − − − … ͍͜Μ ͱ͢ Λ ͞Μ ͔͍ ͓͜ͳ͏ ɻ ͓ͯ ͕ … -
୯ޠ୯ҐλεΫɿݻ༗දݱೝࣝ • λεΫɿจதͷݻ༗දݱΛೝࣝ • ྫʣؾிʹΑΔͱҰޕޙ࢛࣌͝ΖɺژࢢͰ͕ൃੜͨ͠ɻ • ղ͖ํɿαϒϫʔυ୯ҐܥྻϥϕϦϯά + CRF 2022/9/29
Kyoto University 12 ORGANIZATION DATE TIME LOCATION ؾ ி ʹ ΑΔ ͱ Ұ ޕޙ ࢛ ʜ <4&1> <$-4> ൚༻ݴޠϞσϧ B:ORG I:ORG O O O B:DATE I:DATE B:TIME I:TIME … $3' -
୯ޠ୯ҐλεΫɿݴޠૉੑ༩ • λεΫɿ୯ޠ͓Αͼجຊ۟ʹݴޠૉੑΛ༩ • ୯ޠૉੑɿجຊ۟ओࣙɺجຊ۟-۠ɺจઅ-۠ɺ༻ݴදهઌ಄ɾඌ • جຊ۟ૉੑɿ༻ݴɺମݴɺঢ়ଶड़ޠɺಈଶड़ޠɺઅ-ओࣙɺઅ-۠ɺ… • ղ͖ํɿαϒϫʔυ୯ҐܥྻϥϕϦϯά 2022/9/29
Kyoto University 13 ίΠϯ τε Λ ճ ߦͬͨ ɻ ද ͕ ʜ <4&1> <$-4> ൚༻ݴޠϞσϧ جຊ۟ओࣙ 1.0 1.0 0.0 1.0 0.0 1.0 0.0 1.0 0.0 … جຊ۟-۠ 1.0 0.0 1.0 0.0 1.0 0.0 1.0 0.0 1.0 … ༻ݴ 0.0 0.0 − 0.0 − 1.0 − 0.0 − … ମݴ 1.0 1.0 − 1.0 − 0.0 − 1.0 − … -
୯ޠ୯ҐλεΫɿߏจղੳ • λεΫɿ୯ޠؒͷΓड͚͓ΑͼΓड͚λΠϓΛղੳ • Γड͚λΠϓɿDʢ௨ৗͷΓड͚ʣɺPʢฒྻʣɺAʢಉ֨ʣɺ Iʢ෦ฒྻʣ • ղ͖ํɿαϒϫʔυ୯Ґ୯ޠબ [ࣲాΒ, 2019]
+ ୯ޠؒؔྨ 2022/9/29 Kyoto University 14 ൴ ͚ͩ ͕ ݹ ͼͨ ژ ͷ ॓ ʹ ʜ <3005> <$-4> ൚༻ݴޠϞσϧ ''/ ''/ ''/ ''/ ''/ ''/ ''/ ''/ ''/ − − − − − D − … − 0.0 0.0 0.0 0.1 0.0 0.9 0.0 … 0.0 -
୯ޠ୯ҐλεΫɿड़ޠ߲ߏɾڮ͠রԠɾڞࢀরղੳ • ड़ޠ߲ߏղੳɿड़ޠʹର͠ɺΨɾϮɾχɾΨ̎֨ͷ߲Λಛఆ • ڮ͠রԠղੳɿ໊ࢺʹର͠ɺඞਢతͳϊ֨ͷ߲Λಛఆ • ڞࢀরղੳɿ໊ࢺʹର͠ɺಉҰͷ࣮ମΛࢦ໊͢ࢺΛಛఆ • ղ͖ํɿαϒϫʔυ୯Ґ୯ޠબ [Ueda+,
2020] 2022/9/29 Kyoto University 15 ൴ ͚ͩ ͕ ݹ ͼͨ ژ ͷ ॓ ʜ <ஶऀ> </6--> <$-4> ൚༻ݴޠϞσϧ ''/ ''/ ''/ ''/ ''/ ''/ ''/ ''/ ''/ ڮ͠ − − − − − − − … − ڞࢀর − − − − − − − … − Ϯ֨ 0.0 0.0 0.0 0.0 0.0 0.1 0.0 … 0.9 Ψ֨ 0.0 0.0 0.0 0.1 0.0 0.9 0.0 … 0.0 -
୯ޠ୯ҐλεΫɿஊؔղੳ • λεΫɿઅؒͷஊؔΛೝࣝ • ྫʣ෩͕ਧ͚ɺԳ͕Ṷ͔Δɻ෩࿊Ṷ͔Δɻ • ղ͖ํɿαϒϫʔυ୯Ґ୯ޠؒؔྨ • ϥϕϧɿݪҼɾཧ༝ɺతɺ݅ɺࠜڌɺରൺɺٯɺ ஊؔͳ͠
2022/9/29 Kyoto University 16 ݅ ݅ ෩ ͕ ਧ ͚ Գ ͕ Ṷ ͔ Δ ʜ <$-4> ൚༻ݴޠϞσϧ ''/ ''/ ''/ ''/ ''/ ''/ ''/ ''/ ''/ − − − − − ݅ − − … -
࣮ݧઃఆ • ࣄલֶशϞσϧ • จࣈ୯ҐɿRoBERTa LARGE WWM (https://huggingface.co/ku-nlp/roberta-large-japanese-char-wwm) • ୯ޠ୯ҐɿRoBERTa
LARGE (https://huggingface.co/nlp-waseda/roberta-large-japanese-seq512) • σʔληοτʢ3छྨΛࠞ߹ͯ͠܇࿅ɺݸผʹධՁʣ • ژେֶςΩετίʔύεʢ৽ฉʣɿ4ສจ • ژେֶΣϒจॻϦʔυίʔύεʢΣϒʣɿ1.5ສจ • ऍ͖ෆຬങऔηϯλʔίʔύεʢϢʔβߘʣɿ1,282จ • ϚϧνλεΫֶशͰ fine-tuning 2022/9/29 Kyoto University 17 -
࣮ݧ݁Ռʢʣ 99.3 98.5 99.1 99.3 95.7 94 95 96 97
98 99 100 ࢺ ࢺࡉྨ ׆༻ܕ ׆༻ܗ ಡΈ ܗଶૉղੳ ʢFʣ KWJA 2022/9/29 Kyoto University 18 92.6 60.3 73.0 79.9 75.4 77.6 0 20 40 60 80 100 ద߹ ࠶ݱ F ೖྗޡΓగਖ਼ KWJA ాதΒ21 98.0 98.7 97 97.5 98 98.5 99 F ͔ͪॻ͖ KWJA Juman++ 0.0 0.8 66.7 0 10 20 30 40 50 60 70 ৽ฉ Σϒ Ϣʔβߘ ୯ޠਖ਼نԽ ʢFʣ KWJA • ೖྗޡΓగਖ਼ΑΓద߹Λॏࢹ • ͔ͪॻ͖Juman++ʹඖఢ • ୯ޠਖ਼نԽ܇࿅σʔλෆʹΑΓ৽ฉɾ Σϒίʔύεͷਫ਼͕΄΅θϩ • ܗଶૉղੳಡΈਪఆʹվળͷ༨͋Γ -
࣮ݧ݁Ռʢʣ 82.4 98.3 89.3 93.5 73.0 63.6 70.1 29.8 92.0
77.4 64.9 67.0 47.7 0 10 20 30 40 50 60 70 80 90 100 ݻ༗දݱೝࣝ ୯ޠૉੑ༩ جຊ۟ૉੑ༩ ߏจղੳ ड़ޠ߲ߏղੳ ڮ͠রԠղੳ ڞࢀরղੳ ஊؔղੳ ୯ޠ୯ҐλεΫղੳਫ਼ ʢߏจղੳɿLASɺͦͷଞɿFʣ KWJA *ࣲాΒ19 Ueda+20 *Kiyomaru+21 2022/9/29 Kyoto University 19 • ߏจղੳBERTʹجͮ͘ઌߦݚڀΛ্ճΔੑೳ • ड़ޠ߲ߏղੳɺஊؔղੳվળͷ༨͋Γ -
ٞɿγϯάϧλεΫͱͷൺֱ • ϚϧνλεΫֶशʹ͓͍ͯλεΫશମͰͷ࠷ద͕ݸʑͷλ εΫͷ࠷దͱݶΒͳ͍ • ਫ਼͕͍ड़ޠ߲ߏղੳɾڮ͠রԠղੳɾڞࢀরղੳɾஊ ؔղੳʹ͍ͭͯγϯάϧλεΫֶशͰ࣮ݧ 2022/9/29 Kyoto University
21 73.0 63.6 70.1 29.8 78.1 64.6 70.8 48.4 0 10 20 30 40 50 60 70 80 90 100 ड़ޠ߲ߏղੳ ڮ͠রԠղੳ ڞࢀরղੳ ஊؔղੳ ϚϧνλεΫ γϯάϧλεΫ ϙΠϯτ্ۙ͘ ղੳثͰγϯάϧλεΫ ϞσϧΛఏڙ ஊؔղੳ -
ٞɿղੳͷݕূ ࣮ݧઃఆ • ղੳσʔλɿຊޠ CC-100 [Wenzek+, 2020] ͔Β1,000จΛແ࡞ҝʹநग़ • ܭࢉࢿݯɿNVIDIA
Tesla V100 32GB GPU 1ຕ • όοναΠζɿ128ʢೖྗޡΓగਖ਼ʣɺ512ʢจࣈ୯Ґղੳʣɺ 2ʢ୯ޠ୯Ґղੳʣ KWJA ͱ Juman++ & KNPͱͷൺֱ • KWJAɿ6.4ʢ1ඵ͋ͨΓ2.6จʣ • Juman++ & KNPɿ3.2ʢ1ඵ͋ͨΓ5.2จʣ 2022/9/29 Kyoto University 22 -
ٞɿೖྗޡΓగਖ਼ͷᮢͱͦͷଞٞ ೖྗޡΓగਖ਼ʹ͓͍ͯగਖ਼ૢ࡞ͷᮢͷௐʹΑΓɺద߹Λ ॏࢹͨ͠อकతͳӡ༻͕Մೳ • ྫʣೖྗ0.0ɿ؍ཡ੮ͷਓΛTVʹөΔ͜ͱ͋Δ ᮢ0.0ɿ؍ཡ੮ͷਓ͕TVʹҠΔ͜ͱ͋Δ ᮢ0.8ɿ؍ཡ੮ͷਓ͕TVʹөΔ͜ͱ͋Δ ͦͷଞٞ • ͔ͪॻ͖ʹ͓͚ΔϢʔβࣙॻͷར༻
• ୯ޠਖ਼نԽʹ͓͚Δϥϕϧෆۉߧ • ݻ༗දݱೝࣝɾݴޠૉੑ༩ʹ͓͚ΔΧςΰϦ͝ͱͷਫ਼ 2022/9/29 Kyoto University 23 ᮢ0.0 ᮢ0.8 ᮢ0.9 0.5 0.6 0.7 0.8 0.9 1 0.5 0.6 0.7 0.8 0.9 1 ద߹ ࠶ݱ -
,8+"Λ͏ʹʁ • ίϚϯυϥΠϯ͔Β • Python ͔Β 2022/9/29 Kyoto University 24
$ pip install --user kwja $ kwja --text “ࠓΕͩɻࢄาʹߦ͜͏ɻ” ݁ՌΛ,/1ϑΥʔϚοτͰग़ྗ $ kwja --file raw.txt > analyzed.knp $ pip install rhoknp from rhoknp import KWJA kwja = KWJA() analyzed_document = kwja.apply(“ࠓΕͩɻࢄาʹߦ͜͏ɻ”) https://github.com/ku-nlp/kwja https://github.com/ku-nlp/rhoknp -
͓ΘΓʹ • ౷߹తຊޠղੳثKWJAΛ։ൃɾҰൠެ։ • ౷ҰతͳΞʔΩςΫνϟͷ࠾༻ʹΑΓɺ৽ͨͳλεΫʹσʔ ληοτ͑͋͞Ε༰қʹద༻Մೳ • Version 2.0 ʹΉ͚ͯ
• ϢʔβࣙॻͷՃʹΑΔॊೈͳ͔ͪॻ͖ • ϚϧνλεΫֶशʹ͓͚Δஊؔղੳͷվળ • पลతͳࣄྫͷରԠ • ෦తͳΞϊςʔγϣϯ 2022/9/29 Kyoto University 25 https://github.com/ku-nlp/kwja