Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
言語処理学会第25回年次大会参加報告
Search
Yumeto Inaoka
March 19, 2019
Research
1
95
言語処理学会第25回年次大会参加報告
2019/03/19の年次大会報告会で発表
Yumeto Inaoka
March 19, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
160
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
210
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
140
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
150
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
130
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
250
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
310
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
210
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
210
Other Decks in Research
See All in Research
[輪講] Transformer Layers as Painters
nk35jk
4
750
インドネシアのQA事情を紹介するの
yujijs
0
180
知識強化言語モデルLUKE @ LUKEミートアップ
ikuyamada
0
380
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
150
한국어 오픈소스 거대 언어 모델의 가능성: 새로운 시대의 언어 이해와 생성
inureyes
PRO
0
300
Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment
satai
3
390
NeurIPS 2024 参加報告 & 論文紹介 (SACPO, Ctrl-G)
reisato12345
0
420
CARMUI-NET:自動運転車遠隔監視のためのバーチャル都市プラットフォームにおける通信品質変動機能の開発と評価 / UBI85
yumulab
0
160
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
450
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
640
eAI (Engineerable AI) プロジェクトの全体像 / Overview of eAI Project
ishikawafyu
0
440
[論文紹介] iTransformer: Inverted Transformers Are Effective for Time Series Forecasting
shiba4839
0
130
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.4k
Building Applications with DynamoDB
mza
94
6.3k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
30k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Six Lessons from altMBA
skipperchong
27
3.7k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Automating Front-end Workflow
addyosmani
1369
200k
Scaling GitHub
holman
459
140k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Transcript
言語処理学会 第25回年次大会 参加報告 2019/03/19 長岡技術科学大学 自然言語処理研究室 修士課程 稲岡 夢人
発表内容 • タイトル 日本語文法平易化コーパスの構築 • 概要 在留外国人数の増加に伴って「やさしい日本語」の考え方が重 要性を増している。一方で言語処理においては、自動平易化を 対象とした研究が行われている。本研究では、やさしい日本語 のための文法平易化に用いることを想定したコーパスをクラウ
ドソーシングによって構築した。またコーパスで見られる書き 換えの現象について分析を行った。
質疑応答 (1/3) • 日本語学校では「みんなの日本語」を教材として用いているが、 そのような教材を参考にして作られているのか? → 本研究は日本語学校に通っていない(通えない)方を対象に 含めているので、そのような教材より初歩的と考えている • 中国語を母語とする方にとっては和語より漢語の方が分かる
(「市役所の開く時間」より「開庁時間」の方がわかる) → 本研究は特定の母語を想定していないが、どんな日本語表現 が易しいかは母語によって変化するというのは意識できてい なかった
質疑応答 (2/3) • 用途を考えると、田中コーパスではなく外国人が読むような テキストを含むコーパスを元に作成するべきなのでは? → 本研究室で過去に構築した平易化コーパスとの対応を取り たかったので田中コーパスを利用したが、今後拡張を行う のであればそれも視野に入れたいと考えている •
書き換えによって主語が無くなっているが、主語がない日本語 表現は外国人にとって難しいのでは? → 指摘の通りであるが、現状では考慮できていないので、 今後の課題とさせていただきたい
質疑応答 (3/3) • ブラジル人の多い群馬県大泉町や、インド人の多い東京都葛西 の自治体なら詳しいかもしれない • 機械翻訳の前処理に使えば翻訳性能を向上させられないか? → 日本語ではないが、過去にそのような研究は行われており、 効果があることが示されているので、期待できると考える
他にも多くのご指摘、アドバイス等をありがとうございます
発表の紹介 • P6-10 藤井 真, 新納 浩幸, 古宮 嘉那子 「文の持つ情報量を用いたニューラル機械翻訳の訳抜け検出」
• P5-12 安井 豪, 鶴岡 慶雅, 永田 昌明 「意味的類似性を報酬とした強化学習による文生成」
文の持つ情報量を用いたニューラル 機械翻訳の訳抜け検出 • 翻訳前と翻訳後の情報量を比較し、半分以下に低下していた 場合に訳抜けとして検出する手法 • Google NMTの結果に対して適合率を計算して評価している • モデル自体を変化させず、また内部状態を使用していないので、
あらゆるニューラル機械翻訳に対して適用できる • 目的言語を全く知らない人が機械翻訳を使用する際に有用
意味的類似性を報酬とした強化学習に よる文生成 • ニューラル生成では損失関数にCross-entropyが使われる → 単語の並べ替えや文構造の変化が損失に大きく影響を与える • BERT*を意味的類似性でFine-tuningしたものを使用して、 意味的類似性を報酬として、生成モデルを強化学習する →
意味を考慮した学習が行える • De → EnのBLEUで効果を確認 *Jacob Devlin et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT (arXiv:1810.04805 [cs]) 2019.
BERTに関する発表 • 原稿に「BERT」を含む発表:21件 (約5.3%) • 今後、Pre-trained Embeddingsと同じ立ち位置になる? 50% 45% 5%
関連研究・今後の課題 使用 BERTの改善