Share
Embed
最先端NLP2021: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
The presentation slides for 最先端NLP2021.
tatHi
September 08, 2021
Transcript
26 slides
-
How Good is Your Tokenizer? On the Monolingual Performance of
Multilingual Language Models Phillip Rust, Jonas Pfeiffer, Ivan Vulić, Sebastian Ruder, Iryna Gurevych ACL2021 Presenter: 平岡 達也 (東⼯⼤岡崎研D3) 2021/9/17 最先端NLP(東⼯⼤:平岡) 1 -
どんな研究? 2021/9/17 最先端NLP(東⼯⼤:平岡) 3 Multilingual vs Monolingual BERT 本当に性能差があるのか? Multilingual
vs Monolingual BERTの性能差は何に由来するのか? 複数⾔語・複数タスクで Monolingualが強い 事前学習のデータ量 Tokenizer ⾔語ごとに適切なTokenizerを使うと Multilingual BERTの性能向上が得られる Monolingualタスクにおいて -
問題意識: Multi < Mono –lingual BERT? 2021/9/17 最先端NLP(東⼯⼤:平岡) 4 Monolingual
BERTの⽅が Multilingual BERTよりも性能が良い Virtanen+ 2019, Antoun+ 2020, Martin+ 2020 -
問題意識: Multi < Mono –lingual BERT? 2021/9/17 最先端NLP(東⼯⼤:平岡) 5 Monolingual
BERTの⽅が Multilingual BERTよりも性能が良い Virtanen+ 2019, Antoun+ 2020, Martin+ 2020 著者ら 語族やタスクが偏った実験 ばかりだからなんとも⾔えない -
問題意識: Multi < Mono –lingual BERT? 2021/9/17 最先端NLP(東⼯⼤:平岡) 6 Monolingual
BERTの⽅が Multilingual BERTよりも性能が良い Virtanen+ 2019, Antoun+ 2020, Martin+ 2020 著者ら 語族やタスクが偏った実験 ばかりだからなんとも⾔えない Monolingualが強い理由は何? -
問題意識: Multi < Mono –lingual BERT? 2021/9/17 最先端NLP(東⼯⼤:平岡) 7 Monolingual
BERTの⽅が Multilingual BERTよりも性能が良い Virtanen+ 2019, Antoun+ 2020, Martin+ 2020 著者ら 語族やタスクが偏った実験 ばかりだからなんとも⾔えない Monolingualが強い理由は何? →複数⾔語・タスクで実験 -
検証① Multi < Monoなのか? 2021/9/17 最先端NLP(東⼯⼤:平岡) 8 82 84 86
88 90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT アフロアジア 印欧 印欧 チュルク ウラル オーストロ ネシア ⽇琉 朝鮮 シナ チベット • 語族・タスクに関わらずMonolingual BERTの性能が良い • IDはMonolingual BERTがそもそも弱いっぽい ←multilingual (例外) -
検証① Multi < Monoなのか? 2021/9/17 最先端NLP(東⼯⼤:平岡) 9 82 84 86
88 90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT アフロアジア 印欧 印欧 チュルク ウラル オーストロ ネシア ⽇琉 朝鮮 シナ チベット • 語族・タスクに関わらずMonolingual BERTの性能が良い • IDはMonolingual BERTがそもそも弱いっぽい ←multilingual (例外) Monolingual BERT Multilingual BERT -
検証① Multi < Monoなのか? 2021/9/17 最先端NLP(東⼯⼤:平岡) 10 82 84 86
88 90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT アフロアジア 印欧 印欧 チュルク ウラル オーストロ ネシア ⽇琉 朝鮮 シナ チベット • 語族・タスクに関わらずMonolingual BERTの性能が良い • IDはMonolingual BERTがそもそも弱いっぽい ←multilingual (例外) Monolingualが強い理由は何? 著者ら -
82 84 86 88 90 92 AR EN FI ID
JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT Tokenizer 検証②’ 事前学習のデータ量の差が原因? 2021/9/17 最先端NLP(東⼯⼤:平岡) 12 事前学習のデータ量 • 仮説 • 事前学習のデータ量の差と 後段タスクの性能差に関係がある • 検証⽅法 • Multi/Mono BERTの学習に使⽤した データ量を⽐較 • 実際に⾒⽐べると • AR, FI, KO, RU, TRは関係がありそう -
Tokenizer 検証②’ 事前学習のデータ量の差が原因? 2021/9/17 最先端NLP(東⼯⼤:平岡) 13 82 84 86 88
90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT 事前学習のデータ量 データ量と性能に関係がありそう • 仮説 • 事前学習のデータ量の差と 後段タスクの性能差に関係がある • 検証⽅法 • Multi/Mono BERTの学習に使⽤した データ量を⽐較 • 実際に⾒⽐べると • AR, FI, KO, RU, TRは関係がありそう -
事前学習のデータ量 検証②” Tokenizerが原因? 2021/9/17 最先端NLP(東⼯⼤:平岡) 14 82 84 86 88
90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT Tokenizer ※値が⼤きいほどOver Tokenizationが起きている • 仮説 • Multilingual BERTのトークナイザーは 対象⾔語に適していない →Over Tokenizationが起きている • 検証⽅法 • Subword Fertilityを⽐較 • 単語がいくつのサブワードに分割されるか • Hello → 1.0,He ##llo → 2.0 • 結果 • AR, EN, FI, KO, RU, TRは関係ありそう -
事前学習のデータ量 検証②” Tokenizerが原因? 2021/9/17 最先端NLP(東⼯⼤:平岡) 15 82 84 86 88
90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT Tokenizer Tokenizerと性能に関係がありそう ※値が⼤きいほどOver Tokenizationが起きている • 仮説 • Multilingual BERTのトークナイザーは 対象⾔語に適していない →Over Tokenizationが起きている • 検証⽅法 • Subword Fertilityを⽐較 • 単語がいくつのサブワードに分割されるか • Hello → 1.0,He ##llo → 2.0 • 結果 • AR, EN, FI, KO, RU, TRは関係ありそう -
データ量とTokenizerの両方が性能に関係してそう 2021/9/17 最先端NLP(東⼯⼤:平岡) 16 82 84 86 88 90 92
AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT Tokenizerと性能に関係がありそう 82 84 86 88 90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT データ量と性能に関係がありそう ※値が⼤きいほどOver Tokenizationが起きている -
データ量とTokenizerの両方が性能に関係してそう 2021/9/17 最先端NLP(東⼯⼤:平岡) 17 82 84 86 88 90 92
AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT Tokenizerと性能に関係がありそう 82 84 86 88 90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT データ量と性能に関係がありそう ※値が⼤きいほどOver Tokenizationが起きている Tokenizerの影響 だけを調べたいな -
データ量とTokenizerの両方が性能に関係してそう 2021/9/17 最先端NLP(東⼯⼤:平岡) 18 82 84 86 88 90 92
AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT Tokenizerと性能に関係がありそう 82 84 86 88 90 92 AR EN FI ID JA KO RU TR ZH NER, SA, QA, UDP, POSのスコア平均 Monolingual mBERT データ量と性能に関係がありそう ※値が⼤きいほどOver Tokenizationが起きている Tokenizerの影響 だけを調べたいな Mono/Multi Tokenizer でBERTを学習し直せば ええやん! -
検証③ Tokenizerの影響 (Mono-BERT) • 同じデータで2つのMonolingual BERTを作り直す • Monolingual BERTのTokenizerを使ったもの •
mBERTのTokenizerを使ったもの 2021/9/17 最先端NLP(東⼯⼤:平岡) 19 Transformer Layers Embedding Monolingual Tokenizer Transformer Layers Embedding mBERTʼs Tokenizer Monolingual Wikipedia Corpus Tokenizerによって 性能が変わるはず BERT BERT -
検証③ Tokenizerの影響 (Mono-BERT) • 同じデータで2つのMonolingual BERTを作り直す • Monolingual BERTのTokenizerを使ったもの •
mBERTのTokenizerを使ったもの 2021/9/17 最先端NLP(東⼯⼤:平岡) 20 Tokenizerによって 性能が変わるはず →Tokenizerの質が後段タスクの性能に影響 82 84 86 88 90 92 AR FI ID KO TR NER, SA, QA, UDP, POSのスコア平均 Mono (Original) Mono-Mono_tknzr Mono-mBERT_tknzr • Monolingual Tokenizer ( ) > mBERTʼs Tokenizer ( ) -
検証③ Tokenizerの影響 (Mono-BERT) • 同じデータで2つのMonolingual BERTを作り直す • Monolingual BERTのTokenizerを使ったもの •
mBERTのTokenizerを使ったもの 2021/9/17 最先端NLP(東⼯⼤:平岡) 21 Tokenizerによって 性能が変わるはず →Tokenizerの質が後段タスクの性能に影響 82 84 86 88 90 92 AR FI ID KO TR NER, SA, QA, UDP, POSのスコア平均 Mono (Original) Mono-Mono_tknzr Mono-mBERT_tknzr • Monolingual Tokenizer ( ) > mBERTʼs Tokenizer ( ) -
検証③ Tokenizerの影響 (Mono-BERT) • 同じデータで2つのMonolingual BERTを作り直す • Monolingual BERTのTokenizerを使ったもの •
mBERTのTokenizerを使ったもの 2021/9/17 最先端NLP(東⼯⼤:平岡) 22 Tokenizerによって 性能が変わるはず →Tokenizerの質が後段タスクの性能に影響 82 84 86 88 90 92 AR FI ID KO TR NER, SA, QA, UDP, POSのスコア平均 Mono (Original) Mono-Mono_tknzr Mono-mBERT_tknzr • Monolingual Tokenizer ( ) > mBERTʼs Tokenizer ( ) もしかしてmBERTも Tokenizerを挿げ替えれば 性能が向上する? -
BERT BERT 検証③’ Tokenizerの影響 (mBERT) • 同じデータで2つのmBERTのEmbeddingを再学習 • Monolingual BERTのTokenizerを使ったもの
• mBERTのTokenizerを使ったもの 2021/9/17 最先端NLP(東⼯⼤:平岡) 23 mBERTʼs Transformer Layers New Embedding Monolingual Tokenizer mBERTʼs Transformer Layers New Embedding mBERTʼs Tokenizer Monolingual Wikipedia Corpus Tokenizerによって 性能が変わるはず Frozen Frozen -
検証③’ Tokenizerの影響 (mBERT) • 同じデータで2つのmBERTのEmbeddingを再学習 • Monolingual BERTのTokenizerを使ったもの • mBERTのTokenizerを使ったもの
2021/9/17 最先端NLP(東⼯⼤:平岡) 24 Tokenizerによって 性能が変わるはず 82 84 86 88 90 92 AR FI ID KO TR NER, SA, QA, UDP, POSのスコア平均 mBERT (Original) mBERT-Mono_tknzr mBERT-mBERT_tknzr • Mono-Tokenizer ( ) > mBERT-Tokenizer ( ) > Original mBERT ( ) →Monolingual Tokenizerを使うと既存のmBERTの性能向上が可能 -
検証③’ Tokenizerの影響 (mBERT) • 同じデータで2つのmBERTのEmbeddingを再学習 • Monolingual BERTのTokenizerを使ったもの • mBERTのTokenizerを使ったもの
2021/9/17 最先端NLP(東⼯⼤:平岡) 25 Tokenizerによって 性能が変わるはず 82 84 86 88 90 92 AR FI ID KO TR NER, SA, QA, UDP, POSのスコア平均 mBERT (Original) mBERT-Mono_tknzr mBERT-mBERT_tknzr • Mono-Tokenizer ( ) > mBERT-Tokenizer ( ) > Original mBERT ( ) →Monolingual Tokenizerを使うと既存のmBERTの性能向上が可能 -
話をまとめると 2021/9/17 最先端NLP(東⼯⼤:平岡) 26 Multilingual vs Monolingual BERT 本当に性能差があるのか? Multilingual
vs Monolingual BERTの性能差は何に由来するのか? 複数⾔語・複数タスクで 性能差あり 事前学習のデータ量 Tokenizer ひ ら お か TokenizerというよりVocab Sizeの問題では? →各⾔語の語彙の規模をバランスした 多⾔語BERTを作ると良い感じになる? ⾔語ごとに適切なTokenizerを使うと Multilingual BERTの性能向上が得られる Monolingualタスクにおいて