Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Learning To Split and Rephrase From Wikip...
Search
Yumeto Inaoka
November 21, 2018
Research
0
150
文献紹介: Learning To Split and Rephrase From Wikipedia Edit History
2018/11/21の文献紹介で発表
Yumeto Inaoka
November 21, 2018
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
120
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
160
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
120
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
120
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
89
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
210
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
270
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
180
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
170
Other Decks in Research
See All in Research
ニューラルネットワークの損失地形
joisino
PRO
31
13k
[第62回NLPコロキウム]「なりきり」を促すHCI設計:対話型接客ロボットの遠隔操作者へのリアルタイム変換音声フィードバックの適用
nami_ogawa
0
280
20240710_熊本県議会・熊本市議会_都市交通勉強会
trafficbrain
0
730
SNLP2024:Planning Like Human: A Dual-process Framework for Dialogue Planning
yukizenimoto
1
270
秘伝:脆弱性診断をうまく活用してセキュリティを確保するには
okdt
PRO
2
700
Isotropy, Clusters, and Classifiers
hpprc
3
540
アジャイルコミュニティが、宗教ポイと云われるのは何故なのか?
fujiihideo
0
390
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
haraduka
2
570
Introducing Research Units of Matsuo-Iwasawa Laboratory
matsuolab
0
270
大規模言語モデル (LLM) の技術と最新動向
ikuyamada
33
19k
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
7
2.9k
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
chemical_tree
1
230
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
93
13k
Agile that works and the tools we love
rasmusluckow
327
21k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Ruby is Unlike a Banana
tanoku
96
11k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
105
48k
Typedesign – Prime Four
hannesfritz
39
2.3k
The Invisible Customer
myddelton
119
13k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
4
99
Web development in the modern age
philhawksworth
205
10k
We Have a Design System, Now What?
morganepeng
49
7.1k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
30
2.6k
Transcript
Learning To Split and Rephrase From Wikipedia Edit History 文献紹介
( 2018/11/21 ) 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature • Learning To Split and Rephrase From Wikipedia Edit
History • Jan A. Botha, Manaal Faruqui, John Alex, Jason Baldridge, Dipanjan Das (Google AI Language) • Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. 2
Split and Rephrase 複雑な文章を複数の平易な文章に書き換える操作 3 removing adding
Related Works Split and Rephrase [Narayan et al. 2017] •
新しい平易化タスク“Split and Rephrase”を提案 • ベンチマーク WebSplit を作成 • 既存のモデルを適用してタスクの難易度を調査 4
Related Works Split and Rephrase: Better Evaluation and a Stronger
Baseline [Aharoni, Goldberg. 2018] • WebSplit内のデータの重複を削減 • Copy mechanismを用いても性能が不十分 5
Contributions • Wikipediaの編集履歴 (Wikipedia Edits)から split-and-rephraseの書き換えを抽出する手法 • 英語のWikiSplitデータセットの公開 • WebSplitと比較してBLEUが倍増
(30.5 → 62.4) 6
WebSplit • 文の分割と書き換えを評価する基準を提供 • サイズが小さく反復性がある → 適用範囲が制限される • モデル評価のベンチマークには使えるが 訓練には使えない
→ WikiSplitコーパスを作成 7
Mining Wikipedia Edits • 記事からマークアップを除去 • splitta [Gillick. 2009] で文を分割
• 時間的に隣接するスナップショットを比較し 文分割を含む編集を特定 • 分割候補から高品質の分割のみを抽出 8
Mining Wikipedia Edits • Full sentence: C Candidate split: S =
(S 1 , S 2 ) • CとS 1 の接頭辞、CとS 2 の接尾辞が同じtri-gram • S 1 とS 2 の接尾辞が異なるtri-gram • BLEU(C, S 1 )とBLEU(C, S 2 )がδより小さい 9
Mining Wikipedia Edits 例: C 0 = I am a
cat who has no name as yet. S 1 = I am a cat. S 2 = I have no name as yet. BLEU(C, S 1 ) > δ < BLEU(C, S 2 ) 10 removing adding
Corpus Statistics and Quality コーパスサイズと 品質はトレードオフ ランダムな100文を 使ってδを選定 δ=0.2が最適と判断 11
Corpus Statistics and Quality • Correct/Unsupp./Miss. = 168/35/4 (δ =
0.2) → 68%は完璧で、32%はノイズを含む • このデータを訓練データとして使用 • 評価においてノイズやバイアスを含む不完全な 信号であることを受け入れる 12
Comparison to WebSplit 13
Comparison to WebSplit • WikiSplitの方がより多様でスパース → より難しいタスクとなる • WikiSplitは一様に1度の分割のみを行う →
より簡単なタスクとなる 14
Comparison to WebSplit • WikiSplitはヒューリスティックな手法による 抽出を用いて構築されている • WebSplitは複数のReferenceを提供 → WebSplitの方が評価に適したデータセット
15
Experiments • WebSplitのみ、WikiSplitのみ、両方で実験 • Text-to-textとみなし、BLEU, S-BLEUで評価 • モデルは [Aharoni, Goldberg.
2018] で最高の 結果を出した“Copy512”を使用 16
Results • WebSplitはドメイン外で 非常に低い • WikiSplitはドメイン外で も高い • 両方を使用するとさらに 向上
17 SOURCE : 入力をそのまま出力 SPLITHALF : 半分に分割し、ピリオドを追加
Results 18
Results BOTHにおいて学習にない3文の出力ができている 19
Results BOTHにおいて正確な出力が95%であることを 人手評価によって確認 20
Conclusion and Outlook • ノイズを含む大規模で多様なデータが split-and-rephraseにおいて好影響 • 今後、他のデータ源の発見により改善が できることを示唆 •
理想的には、自然な文による評価データや タスクに適した評価指標が必要 21