Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
文献紹介: Learning To Split and Rephrase From Wikip...
Search
Yumeto Inaoka
November 21, 2018
Research
230
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
文献紹介: Learning To Split and Rephrase From Wikipedia Edit History
2018/11/21の文献紹介で発表
Yumeto Inaoka
November 21, 2018
Transcript
21 slides
Learning To Split and Rephrase From Wikipedia Edit History 文献紹介
( 2018/11/21 ) 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature • Learning To Split and Rephrase From Wikipedia Edit
History • Jan A. Botha, Manaal Faruqui, John Alex, Jason Baldridge, Dipanjan Das (Google AI Language) • Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. 2
Split and Rephrase 複雑な文章を複数の平易な文章に書き換える操作 3 removing adding
Related Works Split and Rephrase [Narayan et al. 2017] •
新しい平易化タスク“Split and Rephrase”を提案 • ベンチマーク WebSplit を作成 • 既存のモデルを適用してタスクの難易度を調査 4
Related Works Split and Rephrase: Better Evaluation and a Stronger
Baseline [Aharoni, Goldberg. 2018] • WebSplit内のデータの重複を削減 • Copy mechanismを用いても性能が不十分 5
Contributions • Wikipediaの編集履歴 (Wikipedia Edits)から split-and-rephraseの書き換えを抽出する手法 • 英語のWikiSplitデータセットの公開 • WebSplitと比較してBLEUが倍増
(30.5 → 62.4) 6
WebSplit • 文の分割と書き換えを評価する基準を提供 • サイズが小さく反復性がある → 適用範囲が制限される • モデル評価のベンチマークには使えるが 訓練には使えない
→ WikiSplitコーパスを作成 7
Mining Wikipedia Edits • 記事からマークアップを除去 • splitta [Gillick. 2009] で文を分割
• 時間的に隣接するスナップショットを比較し 文分割を含む編集を特定 • 分割候補から高品質の分割のみを抽出 8
Mining Wikipedia Edits • Full sentence: C Candidate split: S =
(S 1 , S 2 ) • CとS 1 の接頭辞、CとS 2 の接尾辞が同じtri-gram • S 1 とS 2 の接尾辞が異なるtri-gram • BLEU(C, S 1 )とBLEU(C, S 2 )がδより小さい 9
Mining Wikipedia Edits 例: C 0 = I am a
cat who has no name as yet. S 1 = I am a cat. S 2 = I have no name as yet. BLEU(C, S 1 ) > δ < BLEU(C, S 2 ) 10 removing adding
Corpus Statistics and Quality コーパスサイズと 品質はトレードオフ ランダムな100文を 使ってδを選定 δ=0.2が最適と判断 11
Corpus Statistics and Quality • Correct/Unsupp./Miss. = 168/35/4 (δ =
0.2) → 68%は完璧で、32%はノイズを含む • このデータを訓練データとして使用 • 評価においてノイズやバイアスを含む不完全な 信号であることを受け入れる 12
Comparison to WebSplit 13
Comparison to WebSplit • WikiSplitの方がより多様でスパース → より難しいタスクとなる • WikiSplitは一様に1度の分割のみを行う →
より簡単なタスクとなる 14
Comparison to WebSplit • WikiSplitはヒューリスティックな手法による 抽出を用いて構築されている • WebSplitは複数のReferenceを提供 → WebSplitの方が評価に適したデータセット
15
Experiments • WebSplitのみ、WikiSplitのみ、両方で実験 • Text-to-textとみなし、BLEU, S-BLEUで評価 • モデルは [Aharoni, Goldberg.
2018] で最高の 結果を出した“Copy512”を使用 16
Results • WebSplitはドメイン外で 非常に低い • WikiSplitはドメイン外で も高い • 両方を使用するとさらに 向上
17 SOURCE : 入力をそのまま出力 SPLITHALF : 半分に分割し、ピリオドを追加
Results 18
Results BOTHにおいて学習にない3文の出力ができている 19
Results BOTHにおいて正確な出力が95%であることを 人手評価によって確認 20
Conclusion and Outlook • ノイズを含む大規模で多様なデータが split-and-rephraseにおいて好影響 • 今後、他のデータ源の発見により改善が できることを示唆 •
理想的には、自然な文による評価データや タスクに適した評価指標が必要 21
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
230
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
300
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
200
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
220
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
250
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
340
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
440
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
260
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
310
Other Decks in Research
See All in Research
SAM3を用いたコマ・吹き出しの 領域検出と分割構造からの読み順推定
kzmssk
0
230
Local Development Companies Network - National Conference 2026
ldcn
0
180
Des solutions pour pâturer davantage en hiver
institutdelelevage
PRO
0
140
[SNLP2026] Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach
wataruuuuu
0
370
生成AI時代の開発方法論と、メールサーバー運用の新しいかたち
hirachan
0
240
[Research Paper Analysis] Deep Learning - SigLIP2
auranightsky
0
170
J-STAGEの現況と全文XML登載必須化について
xspa2012
0
410
実例から見るLLMのマンガ理解:実務VQAタスクによる長期的文脈と視覚情報の定性評価
kzmssk
0
230
Who’s Behind the Divide?
sirmatrixpage
1
1.6k
Physical AIでモデリングはどう変わるか/How Physical AI Will Change Modeling
stktu
0
350
JPA2026_NetworkTutorial_JunKashihara
junkashihara
0
280
Top 4セキュリティ会議に一通り論文が採択されるまでの道のりと展望 / Top 4 Security Grand Slam
takaomurakami
0
1.1k
Featured
See All Featured
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.7k
How STYLIGHT went responsive
nonsquared
100
6.4k
Designing Experiences People Love
moore
143
24k
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
3
1.5k
VelocityConf: Rendering Performance Case Studies
addyosmani
331
25k
sira's awesome portfolio website redesign presentation
elsirapls
0
510
Mind Mapping
helmedeiros
1
440
Statistics for Hackers
jakevdp
799
230k
Reflections from 52 weeks, 52 projects
jeffersonlam
356
22k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
aleyda
1
2.3k
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
68
60k
Redefining SEO in the New Era of Traffic Generation
szymonslowik
1
530