Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Bayesian Optimization of Text Representations
Search
Atom
April 08, 2019
Technology
0
120
文献紹介:Bayesian Optimization of Text Representations
長岡技術科学大学
自然言語処理研究室
吉澤亜斗武
Atom
April 08, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
80
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
82
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
50
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.8k
Graph Convolutional Networks
roraidolaurent
0
220
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
62
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
93
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
100
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
200
Other Decks in Technology
See All in Technology
Road to SRE NEXT@仙台 IVRyの組織の形とSLO運用の現状
abnoumaru
0
380
Keynote - KCD Brazil - Platform Engineering on K8s (portuguese)
salaboy
0
120
Riverpod & Riverpod Generatorを利用して状態管理部分の処理を書き換えてみる簡単な事例紹介
fumiyasac0921
0
100
Dapr For Java Developers SouJava 25
salaboy
1
130
30代エンジニアが考える、エンジニア生存戦略~~セキュリティを添えて~~
masakiokuda
4
2k
Symfony in 2025: Scaling to 0
fabpot
2
170
DevOps文化を育むQA 〜カルチャーバブルを生み出す戦略〜 / 20250317 Atsushi Funahashi
shift_evolve
1
110
20250328_OpenAI製DeepResearchは既に一種のAGIだと思う話
doradora09
PRO
0
150
製造業の会計システムをDDDで開発した話
caddi_eng
3
930
ClineにNext.jsのプロジェクト改善をお願いしてみた / 20250321_reacttokyo_LT
optim
1
1.3k
移行できそうでやりきれなかった 10年超えのシステムを葬るための戦略
ryu955
2
200
17年のQA経験が導いたスクラムマスターへの道 / 17 Years in QA to Scrum Master
toma_sm
0
380
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
223
9.5k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.5k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Automating Front-end Workflow
addyosmani
1369
200k
Docker and Python
trallard
44
3.3k
Making Projects Easy
brettharned
116
6.1k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Side Projects
sachag
452
42k
BBQ
matthewcrist
88
9.5k
Stop Working from a Prison Cell
hatefulcrawdad
268
20k
Optimising Largest Contentful Paint
csswizardry
35
3.2k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
51
2.4k
Transcript
Bayesian Optimization of Text Representations Dani Yogatama, Lingpeng Kong, Noah
A.Smith 文献紹介 2019/4/8 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武 Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 2100–2105, Lisbon, Portugal, 17-21 September 2015.
Abstract ・機械学習の手法において,入力するテキストの表現方法を 逐次的最適化によって自動決定する方法を提案 ・標準的な線形モデルがニューラルネットワークなどの 非線形モデルに迫る性能を発揮 ・特に,トピック分類や感情分析において有効 2
1. Introduction ・機械学習の入力にテキストを入れる際,複数のテキスト 表現があり,その比較実験に時間がかかることが多い. 例)stop words を取り除くか,否か? 単語の重みづけは二値か,あるいは TF-IDF か?
・これらの組み合わせの決定は,パフォーマンスに重要 ・ハイパーパラメータの最適化と同様に扱えるのでは? ・sequential model based optimization (SMBO) を適応する. 3
2. Problem Formulation and Notation ・訓練データ: = . 1 ,
, 1 , ⋯ , . 𝑛𝑛 , , 𝑛𝑛 . 𝑛𝑛 : 番目の入力文書 , 𝑛𝑛 :出力空間(分類先) ・開発データを用いて,適当な指標(分類精度,尤度,F値)を 用いてハイパーパラメータを調整する. ・入力のベクトル表現: ・ = () 4
3. Bayesian Optimization 5
3. Bayesian Optimization 6 Tree-structured Parzen estimator (TPE)
3. Bayesian Optimization 7
4. Experiments 8 ・本手法をロジスティック 回帰に適用した. ・Hyperparameterの推定の 試行は30回行った. ・ベースラインと同じ訓練/ テストを行い,開発データは 訓練データのうち2割を使う.
4. Experiments 9 ・Amazonの家電製品の レビュー ・IMDB の映画のレビュー ・上記の感情の2値分類
4. Experiments 10 ・米国議会の議論のデータセット(賛成,反対の投票の予測)
4. Experiments 11 ・20のトピック分類(20Newsgroups)
4. Experiments 12
5. Discussion 13
6. Conclusion 14 ・ベイズ最適化によってさまざまな分類問題に対して テキスト表現に関する選択の最適化を行った. ・トピック分類と感情分析において標準的な線形モデル (ロジスティック回帰)が既存の最高精度に迫ることを示した.