Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
Search
tatHi
March 17, 2022
Research
1
920
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
NLP2022の招待論文枠での発表で使用したスライドです.
tatHi
March 17, 2022
Tweet
Share
More Decks by tatHi
See All by tatHi
SNLP2023: From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding
tathi
0
440
最長一致法のためのサブワード正則化手法(MaxMatch-Dropout)とその周辺の話
tathi
1
670
最先端NLP2022: Rare Tokens Degenerate All Tokens: Improving Neural Text Generation via Adaptive Gradient Gating for Rare Token Embeddings
tathi
1
650
要点を聞いてもらえるプレゼンを作ろう
tathi
14
6.6k
Task-Oriented Word Segmentation (Presentation for Doctoral Dissertation)
tathi
3
620
論文紹介: Fast WordPiece Tokenization
tathi
0
560
最先端NLP2021: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
tathi
0
670
文系的な興味を理系的な達成目標に変換する
tathi
7
4.7k
最先端NLP2020: Dice Loss for Data-imbalanced NLP Tasks
tathi
0
1.9k
Other Decks in Research
See All in Research
20250502_ABEJA_論文読み会_スライド
flatton
0
200
Vision and LanguageからのEmbodied AIとAI for Science
yushiku
PRO
1
520
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
18k
Generative Models 2025
takahashihiroshi
24
13k
カスタマーサクセスの視点からAWS Summitの展示を考える~製品開発で活用できる勘所~
masakiokuda
2
190
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
7.6k
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
140
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
2
1.3k
2025/7/5 応用音響研究会招待講演@北海道大学
takuma_okamoto
1
180
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
4.2k
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
3.1k
能動適応的実験計画
masakat0
2
800
Featured
See All Featured
Side Projects
sachag
455
43k
How to Ace a Technical Interview
jacobian
279
23k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Into the Great Unknown - MozCon
thekraken
40
2k
GraphQLとの向き合い方2022年版
quramy
49
14k
Visualization
eitanlees
147
16k
A Tale of Four Properties
chriscoyier
160
23k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.5k
4 Signs Your Business is Dying
shpigford
184
22k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Transcript
テキストベクトルの重みづけを⽤いた タスクに対する単語分割の最適化 平岡 達也1,⾼瀬 翔1 ,内海 慶2,欅 惇志2,岡崎 直観1 1東京⼯業⼤学
2デンソーITラボラトリ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 1
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 2 単語分割をタスクに応じて最適化する話
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 3 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 4 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 5 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存 前処理 前処理として単語分割を 決定しなければいけない
どんな話? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 6 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 適切な単語分割で性能向上 →後段タスク/モデルに依存 GAP 前処理 前処理として単語分割を 決定しなければいけない
コアアイディア 2022/3/17 年次⼤会(平岡達也 @7a7hi) 7 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 後段モデルと同時に単語分割器を学習
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 8 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 9 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい 今回の研究では⽂書分類に限定
コアアイディア 2022/3/17 年次⼤会(平岡達也 @7a7hi) 10 単語分割をタスクに応じて最適化する話 単語分割器 後段モデル (トピック予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ ⾷品 トピック 後段モデルと同時に単語分割器を学習
後段の学習 2022/3/17 年次⼤会(平岡達也 @7a7hi) 11 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新
後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 12 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい
後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 13 単語分割器 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂
⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい 単語分割器と後段モデルを 繋がないといけない
単語分割器と後段モデルを 繋がないといけない 後段の学習に単語分割器を組み込みたい 2022/3/17 年次⼤会(平岡達也 @7a7hi) 14 単語分割器 外国⼈参政権 ⽣⽂
外国/⼈参/政権 分割済み⽂ ⾷品 トピック 政治 正解 後段モデル (トピック予測) 誤差逆伝播で更新 単語分割器も 誤差逆伝播で更新したい ここをどうにか⼯夫しないと…
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 15 単語分割器 外国⼈参政権 ⽣⽂ ⾷品 トピック
外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 16 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 17 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国/⼈参/政権 𝑣 分 類 器 後段モデル ⽂ベクトル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 意味深な空⽩
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 18 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 分 類 器 後段モデル ① N-best分割 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 19 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! 𝑣" 𝑣# 分 類 器 後段モデル ① N-best分割 ② エンコード 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 20 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ ① N-best分割 ② エンコード ③ 単語分割の 確率で重み付け つながった!
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 21 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ ④ ⽂ベクトルの 重み付き和で分類 ① N-best分割 ② エンコード ③ 単語分割の 確率で重み付け つながった!
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 22 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 政治 正解
後段の学習に単語分割器を組み込む 2022/3/17 年次⼤会(平岡達也 @7a7hi) 23 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ ⾷品 トピック 外国⼈/参/政権 外国/⼈参/政権 外国/⼈/参政権 𝑣! × 𝑝 外国⼈/参/政権 𝑍 𝑣" × 𝑝 外国/⼈参/政権 𝑍 𝑣# × 𝑝 外国/⼈/参政権 𝑍 Σ 分 類 器 後段モデル 単語分割の確率を単語確率の積で計算 𝑝 外国/⼈参/政権 = 𝑝 外国 𝑝 ⼈参 𝑝 政権 単語確率が学習可能パラメータ 政治 正解 適切な単語分割の 確率が⾼くなるように更新 (後段モデルの性能が⾼くなるような単語分割)
推論時は1-best分割 2022/3/17 年次⼤会(平岡達也 @7a7hi) 24 Neural Unigram LM (単語分割器) 外国⼈参政権
⽣⽂ 政治 トピック 外国/⼈/参政権 𝑣 分 類 器 後段モデル 学習済み 獲得された 「良い」単語分割
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 25 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 26 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 27 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 28 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 29 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
文書分類タスクで性能向上 タスク ⾔語 単語分割の 最適化なし 単語分割の 最適化あり 感情分析 中 92.79
92.93 ⽇ 86.51 87.39 英 77.31 79.04 レビューのジャンル予測 中 47.95 48.22 ⽇ 47.86 50.21 英 71.19 71.88 レビューのレート予測 中 49.41 49.63 ⽇ 52.30 53.19 英 67.53 67.68 SNLI 英 76.75 77.04 2022/3/17 年次⼤会(平岡達也 @7a7hi) 30 F1値(%),5回試⾏の平均,下線: ベースラインと有意差 (McNemar検定p<0.05) Weibo, Twitter JD.com, 楽天市場, Amazon JD.com, 楽天市場, Amazon ⼊⼒が2⽂ • ⽂書分類モデルのエンコーダーはBiLSTM
単語分割の更新のみでも性能が向上? 2022/3/17 年次⼤会(平岡達也 @7a7hi) 31 設定 単語分割器 後段モデル (感情予測) 外国⼈参政権
⽣⽂ 外国/⼈参/政権 分割済み⽂ Positive 感情 固定 更新
単語分割の更新のみでも性能が向上 2022/3/17 年次⼤会(平岡達也 @7a7hi) 32 単語分割の更新のみで 検証データの性能が向上 単語分割の更新のみで 学習データの損失が低下 設定
単語分割器 後段モデル (感情予測) 外国⼈参政権 ⽣⽂ 外国/⼈参/政権 分割済み⽂ Positive 感情 固定 更新
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 33 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 34 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 35 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す ⻑くなってない?
タスクに応じた単語分割を獲得 ⼿法 単語分割 最適化なし ⾹りは すき だけど 、 痛 んだ
髪に は全然 効果なし 。 ジャンル予測タスクに最適化(正解:美容・コスメ・⾹⽔) 最適化あり ⾹り は すき だけど 、 痛 んだ 髪 に は全然 効果 なし 。 レート予測タスクに最適化(正解:2/5) 最適化あり ⾹りは すき だけど 、 痛 んだ 髪に は 全然 効果なし 。 2022/3/17 年次⼤会(平岡達也 @7a7hi) 36 ジャンル予測:商品のジャンルに関わる単語を切り出す レート予測 :品質や印象に関わる単語を切り出す 10 tokens 13 tokens 11 tokens x 1.3 x 1.1 ⻑くなってない?
提案手法で系列長が長くなる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 37 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
タスクごとに単語分割の系列長が異なる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 38 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
言語ごとに単語分割の系列長が異なる 最適化後の系列⻑ ⾔語 タスク 最適化前の系列⻑ 中 ジャンル予測 1.5405 レート予測 1.4249
⽇ ジャンル予測 1.5205 レート予測 1.3224 英 ジャンル予測 1.0620 レート予測 1.0415 2022/3/17 年次⼤会(平岡達也 @7a7hi) 39 • 全体的に提案⼿法によって系列⻑が⻑くなる • レート予測よりジャンル予測のほうが系列⻑が⻑くなる • 英語の単語分割の系列⻑は⼤きく変わらない 何倍⻑くなったか
嬉しさ 2022/3/17 年次⼤会(平岡達也 @7a7hi) 40 単語分割をタスクに応じて最適化する話 ① タスクの性能が上がると嬉しい ② タスクに適切な単語分割が
得られると嬉しい
その後の話 2022/3/17 年次⼤会(平岡達也 @7a7hi) 41 • Optimizing Word Segmentation for
Downstream Task • Findings of EMNLP 2020 • テキストベクトルの重みづけを⽤いたタスクに対する単語分割の最適化 • ⾃然⾔語処理 28-2 • 後段モデルの損失値を⽤いた単語分割のタスクへの最適化 • 第27回年次⼤会(短い+⽇本語なのでおすすめ) • Joint Optimization of Tokenization and Downstream Model • Findings of ACL 2021 • 単語分割と後段モデルの損失値を⽤いた同時最適化 • ⾃然⾔語処理 29-1 (先⽇公開!) 今回の話(⽂書分類に限定) 続きの話(⽂書分類+機械翻訳) • Task-Oriented Word Segmentation • 博論(スライドはTwitter @7a7hi から探せます) まとめた話