Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Bag-of-Words as Target for Neural Machine...
Search
Yumeto Inaoka
January 22, 2019
Research
0
190
文献紹介: Bag-of-Words as Target for Neural Machine Translation
2019/1/22の文献紹介で発表
Yumeto Inaoka
January 22, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
190
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
240
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
160
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
170
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
160
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
280
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
340
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
230
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
230
Other Decks in Research
See All in Research
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
240
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
2.8k
CVPR2025論文紹介:Unboxed
murakawatakuya
0
150
Stealing LUKS Keys via TPM and UUID Spoofing in 10 Minutes - BSides 2025
anykeyshik
0
110
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
7
4k
EcoWikiRS: Learning Ecological Representation of Satellite Images from Weak Supervision with Species Observation and Wikipedia
satai
3
130
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
270
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
1.1k
Language Models Are Implicitly Continuous
eumesy
PRO
0
230
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
300
近似動的計画入門
mickey_kubo
4
1k
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
990
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
A better future with KSS
kneath
239
17k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Agile that works and the tools we love
rasmusluckow
330
21k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
KATA
mclloyd
32
14k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
The Language of Interfaces
destraynor
161
25k
Transcript
1 Bag-of-Words as Target for Neural Machine Translation 文献紹介 2019/1/22
長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature • Bag-of-Words as Target for Neural Machine Translation •
Shuming Ma, Xu SUN, Yizhong Wang, Junyang Lin • Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 332-338, 2018. 2
Abstract 翻訳において正解はひとつじゃない 既存のNMTではひとつのみを正解として使用 → 他の正解は誤りとして学習される 正解同士は似たBag-of-Words (BoW)
を共有する → BoWによって正解とそれ以外を区別できる 学習セットにない正解を考慮するためにBoWを利用 → 中国語-英語の翻訳において優位性を確認 3
Introduction NMTは首尾一貫の妥当な翻訳の生成ができる 現在のNeural Machine Translation (NMT)の 多くはSequence-to-Sequence モデル(Seq2Seq)に
基づいている 4
Seq2Seq (Overview) 5 私 は 元気だ <BOS> I am fine
<EOS> 入力文 出力文 Encoder Decoder
Seq2Seq (Encoder) 6 私 は 元気だ One-hot vector Embedding layer
Recurrent layer 入力文
Seq2Seq (Decoder) 7 I <BOS> I am fine am fine
<EOS> One-hot vector Embedding layer Recurrent layer One-hot vector Output layer 出力文
Introduction NMTではひとつの正解のみを 学習に用いる 他の正解は誤った翻訳と学習 → 悪影響を与える可能性 8
Introduction 正しい翻訳は似たBoWを共有 → 正しい翻訳と誤った翻訳は BoWで区別できる 文とBoWの両方を対象とする 手法を提案 →
T.2よりT.1を優遇 9
Bag-of-Words Generation マルチラベル分類問題のようにBoWを生成 Decoderの出力である単語レベルのスコアベクトル を 合計して、文レベルのスコアベクトルを得る 文レベルのスコアベクトルは、文中の任意の位置に
対応する単語が出現する確率を表す 10
Notation データセットに含まれるサンプル数:N i番目のサンプル:(, ) (x: source, y: target)
= 1 , 2 , … , = 1 , 2 , … , = 1 , 2 , … , はのBoWを表す 11
Bag-of-Words Generation 12 = softmax = �
Targets and Loss Function 文の翻訳とBoWの生成でそれぞれ損失関数(1 , 2 )を定義
重み で2つの損失を足し合わせる() (𝑖𝑖 : epoch , k, : fixed-value) 1 = − � =1 log l2 = − � =1 log = 1 + 2 = min(, + 𝛼𝛼) 13 𝑖𝑖
Experiments LDCコーパス(1.25M)で学習、NIST翻訳タスクで評価 語彙サイズを英中それぞれ5万語に設定 BLEUで評価 14
Results 15 4.55 BLEU points↑
Results 16 4.55 BLEU points↑
Results 17
Conclusions 正解訳とBoWの両方を考慮する手法を提案 提案手法が強力なベースラインに対して優位である結果 Morphologically-rich language*や低資源言語において どのように適用するかについて今後の課題とする *
文法的関係が相対位置や助詞ではなく単語の変化で 決まるような言語 18