Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: A Document Descriptor using Covariance of...
Search
Yumeto Inaoka
February 27, 2019
Research
1
230
文献紹介: A Document Descriptor using Covariance of Word Vectors
2019/02/27の文献紹介で発表
Yumeto Inaoka
February 27, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
160
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
210
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
140
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
150
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
130
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
250
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
310
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
210
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
210
Other Decks in Research
See All in Research
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
330
PetiteSRE_GenAIEraにおけるインフラのあり方観察
ichichi
0
290
SpectralMamba: Efficient Mamba for Hyperspectral Image Classification
satai
3
200
メタヒューリスティクスに基づく汎用線形整数計画ソルバーの開発
snowberryfield
3
820
請求書仕分け自動化での物体検知モデル活用 / Utilization of Object Detection Models in Automated Invoice Sorting
sansan_randd
0
140
ノンパラメトリック分布表現を用いた位置尤度場周辺化によるRTK-GNSSの整数アンビギュイティ推定
aoki_nosse
0
220
3D Gaussian Splattingによる高効率な新規視点合成技術とその応用
muskie82
0
230
Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment
satai
3
180
チュートリアル:Mamba, Vision Mamba (Vim)
hf149
6
3.2k
リモートワークにおけるパッシブ疲労
matsumoto_r
PRO
6
5k
Mathematics in the Age of AI and the 4 Generation University
hachama
0
140
大規模日本語VLM Asagi-VLMにおける合成データセットの構築とモデル実装
kuehara
5
1.7k
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
Making Projects Easy
brettharned
116
6.1k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
470
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
30
1.1k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
KATA
mclloyd
29
14k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
135
33k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.4k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
A Document Descriptor using Covariance of Word Vectors 文献紹介 2019/02/27
長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2 Title A Document Descriptor using Covariance of Word
Vectors Author Marwan Torki Volume Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 527-532, 2018.
Abstract 単語ベクトルを用いた固定長の文書表現を提案 (Document-Covariance Descriptor; DoCoV) → Supervised, Unsupervisedのアプリケーションで 簡単に利用できる
様々なタスクでSoTAに匹敵する性能 3
Introduction ベクトルを利用した文書検索には長い歴史がある ← Bag-of-Words, Latent Semantic Indexing(LSI) 近年はニューラル言語モデルで単語埋め込みを学習
単語ではなく文, 段落, 文書の分散表現も注目されている 4
vs. DoCoV doc2vecやFastSentは 単語と共通の空間 共分散は単語の密度の 形状を符号化 5
vs. DoCoV doc2vecやFastSentは学習に時間がかかる DoCoV(共分散)の計算は並列性が高く高速に行える 6
DoCoV Document Observation Matrix d次元の単語埋め込みとn単語の文書において ∈ ×と定義 (行は単語、列は埋め込みの各次元) 7
DoCoV Covariance Matrix 8
DoCoV Vectorized representation 9
Evaluation IMDB movie reviewsの分類性能によって 単語ベクトルによる変化を評価 ベクトルを線形SVMで分類 1つのレビューは複数の文で構成される
Train/Test/Unlabeled : 25K/25K/50K 事前学習済みのword2vec, GloVeと、 TrainとUnlabeledで学習したword2vecで比較 10
Result 11
Result 12
Result 13
Result 14
Evaluation 文の意味関連性データセットSICK, STS 2014で 文書ベクトルを評価 事前学習済みの単語埋め込みを使用 (dim=300)
Pearson correlationとSpearman correlationで評価 15
Result 学習が必要な他手法と匹敵するような結果 16
Evaluation Google newsで事前学習済みの単語埋め込みを使用 Movie Reviews(MR), Subjectivity(Subj), Customer Reviews(CR),
TREC Question(TREC)を データセットとして使用 17
Result 18
Result 19
Result 20
Result 21
Conclusions 文、段落、文書の新たなベクトル表現方法を提案 他手法のような反復の学習を必要としない Supervised, Unsupervisedのタスクにおいて その有用性を確認 22