Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Bayesian Optimization of Text Representations
Search
Atom
April 08, 2019
Technology
0
130
文献紹介:Bayesian Optimization of Text Representations
長岡技術科学大学
自然言語処理研究室
吉澤亜斗武
Atom
April 08, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
89
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
93
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
55
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.8k
Graph Convolutional Networks
roraidolaurent
0
230
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
68
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
100
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
120
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
210
Other Decks in Technology
See All in Technology
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
1
580
Maintainer Meetupで「生の声」を聞く ~講演だけじゃないKubeCon
logica0419
0
110
ClaudeCode_vs_GeminiCLI_Terraformで比較してみた
tkikuchi
1
940
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
3
1.9k
セキュアなAI活用のためのLiteLLMの可能性
tk3fftk
1
330
Transformerを用いたアイテム間の 相互影響を考慮したレコメンドリスト生成
recruitengineers
PRO
2
430
LLM拡張解体新書/llm-extension-deep-dive
oracle4engineer
PRO
23
6.2k
Amplify Gen2から知るAWS CDK Toolkit Libraryの使い方/How to use the AWS CDK Toolkit Library as known from Amplify Gen2
fossamagna
1
350
組織内、組織間の資産保護に必要なアイデンティティ基盤と関連技術の最新動向
fujie
0
270
ロールが細分化された組織でSREは何をするか?
tgidgd
1
420
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
5
750
Contract One Engineering Unit 紹介資料
sansan33
PRO
0
6.9k
Featured
See All Featured
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
It's Worth the Effort
3n
185
28k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
21k
How GitHub (no longer) Works
holman
314
140k
Site-Speed That Sticks
csswizardry
10
700
Measuring & Analyzing Core Web Vitals
bluesmoon
7
520
Transcript
Bayesian Optimization of Text Representations Dani Yogatama, Lingpeng Kong, Noah
A.Smith 文献紹介 2019/4/8 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武 Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 2100–2105, Lisbon, Portugal, 17-21 September 2015.
Abstract ・機械学習の手法において,入力するテキストの表現方法を 逐次的最適化によって自動決定する方法を提案 ・標準的な線形モデルがニューラルネットワークなどの 非線形モデルに迫る性能を発揮 ・特に,トピック分類や感情分析において有効 2
1. Introduction ・機械学習の入力にテキストを入れる際,複数のテキスト 表現があり,その比較実験に時間がかかることが多い. 例)stop words を取り除くか,否か? 単語の重みづけは二値か,あるいは TF-IDF か?
・これらの組み合わせの決定は,パフォーマンスに重要 ・ハイパーパラメータの最適化と同様に扱えるのでは? ・sequential model based optimization (SMBO) を適応する. 3
2. Problem Formulation and Notation ・訓練データ: = . 1 ,
, 1 , ⋯ , . 𝑛𝑛 , , 𝑛𝑛 . 𝑛𝑛 : 番目の入力文書 , 𝑛𝑛 :出力空間(分類先) ・開発データを用いて,適当な指標(分類精度,尤度,F値)を 用いてハイパーパラメータを調整する. ・入力のベクトル表現: ・ = () 4
3. Bayesian Optimization 5
3. Bayesian Optimization 6 Tree-structured Parzen estimator (TPE)
3. Bayesian Optimization 7
4. Experiments 8 ・本手法をロジスティック 回帰に適用した. ・Hyperparameterの推定の 試行は30回行った. ・ベースラインと同じ訓練/ テストを行い,開発データは 訓練データのうち2割を使う.
4. Experiments 9 ・Amazonの家電製品の レビュー ・IMDB の映画のレビュー ・上記の感情の2値分類
4. Experiments 10 ・米国議会の議論のデータセット(賛成,反対の投票の予測)
4. Experiments 11 ・20のトピック分類(20Newsgroups)
4. Experiments 12
5. Discussion 13
6. Conclusion 14 ・ベイズ最適化によってさまざまな分類問題に対して テキスト表現に関する選択の最適化を行った. ・トピック分類と感情分析において標準的な線形モデル (ロジスティック回帰)が既存の最高精度に迫ることを示した.