Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Bag-of-Words as Target for Neural Machine...
Search
Yumeto Inaoka
January 22, 2019
Research
0
170
文献紹介: Bag-of-Words as Target for Neural Machine Translation
2019/1/22の文献紹介で発表
Yumeto Inaoka
January 22, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
160
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
210
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
140
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
150
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
130
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
250
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
310
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
210
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
210
Other Decks in Research
See All in Research
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
2.1k
DeepSeek を利用する上でのリスクと安全性の考え方
schroneko
3
1.2k
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
1
360
PetiteSRE_GenAIEraにおけるインフラのあり方観察
ichichi
0
290
Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping
satai
3
190
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
470
Weekly AI Agents News! 2月号 アーカイブ
masatoto
1
110
ラムダ計算の拡張に基づく 音楽プログラミング言語mimium とそのVMの実装
tomoyanonymous
0
440
請求書仕分け自動化での物体検知モデル活用 / Utilization of Object Detection Models in Automated Invoice Sorting
sansan_randd
0
140
地理空間情報と自然言語処理:「地球の歩き方旅行記データセット」の高付加価値化を通じて
hiroki13
1
220
20250226 NLP colloquium: "SoftMatcha: 10億単語規模コーパス検索のための柔らかくも高速なパターンマッチャー"
de9uch1
0
250
20241226_くまもと公共交通新時代シンポジウム
trafficbrain
0
480
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.4k
Git: the NoSQL Database
bkeepers
PRO
429
65k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
177
52k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
GraphQLの誤解/rethinking-graphql
sonatard
70
10k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Typedesign – Prime Four
hannesfritz
41
2.6k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.6k
It's Worth the Effort
3n
184
28k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
102
18k
Done Done
chrislema
183
16k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Transcript
1 Bag-of-Words as Target for Neural Machine Translation 文献紹介 2019/1/22
長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature • Bag-of-Words as Target for Neural Machine Translation •
Shuming Ma, Xu SUN, Yizhong Wang, Junyang Lin • Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 332-338, 2018. 2
Abstract 翻訳において正解はひとつじゃない 既存のNMTではひとつのみを正解として使用 → 他の正解は誤りとして学習される 正解同士は似たBag-of-Words (BoW)
を共有する → BoWによって正解とそれ以外を区別できる 学習セットにない正解を考慮するためにBoWを利用 → 中国語-英語の翻訳において優位性を確認 3
Introduction NMTは首尾一貫の妥当な翻訳の生成ができる 現在のNeural Machine Translation (NMT)の 多くはSequence-to-Sequence モデル(Seq2Seq)に
基づいている 4
Seq2Seq (Overview) 5 私 は 元気だ <BOS> I am fine
<EOS> 入力文 出力文 Encoder Decoder
Seq2Seq (Encoder) 6 私 は 元気だ One-hot vector Embedding layer
Recurrent layer 入力文
Seq2Seq (Decoder) 7 I <BOS> I am fine am fine
<EOS> One-hot vector Embedding layer Recurrent layer One-hot vector Output layer 出力文
Introduction NMTではひとつの正解のみを 学習に用いる 他の正解は誤った翻訳と学習 → 悪影響を与える可能性 8
Introduction 正しい翻訳は似たBoWを共有 → 正しい翻訳と誤った翻訳は BoWで区別できる 文とBoWの両方を対象とする 手法を提案 →
T.2よりT.1を優遇 9
Bag-of-Words Generation マルチラベル分類問題のようにBoWを生成 Decoderの出力である単語レベルのスコアベクトル を 合計して、文レベルのスコアベクトルを得る 文レベルのスコアベクトルは、文中の任意の位置に
対応する単語が出現する確率を表す 10
Notation データセットに含まれるサンプル数:N i番目のサンプル:(, ) (x: source, y: target)
= 1 , 2 , … , = 1 , 2 , … , = 1 , 2 , … , はのBoWを表す 11
Bag-of-Words Generation 12 = softmax = �
Targets and Loss Function 文の翻訳とBoWの生成でそれぞれ損失関数(1 , 2 )を定義
重み で2つの損失を足し合わせる() (𝑖𝑖 : epoch , k, : fixed-value) 1 = − � =1 log l2 = − � =1 log = 1 + 2 = min(, + 𝛼𝛼) 13 𝑖𝑖
Experiments LDCコーパス(1.25M)で学習、NIST翻訳タスクで評価 語彙サイズを英中それぞれ5万語に設定 BLEUで評価 14
Results 15 4.55 BLEU points↑
Results 16 4.55 BLEU points↑
Results 17
Conclusions 正解訳とBoWの両方を考慮する手法を提案 提案手法が強力なベースラインに対して優位である結果 Morphologically-rich language*や低資源言語において どのように適用するかについて今後の課題とする *
文法的関係が相対位置や助詞ではなく単語の変化で 決まるような言語 18