Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[卒論着手発表] Autoencoderによる半教師あり学習と中間表現の分析
Search
Qiushi Pan
June 12, 2019
Research
1
330
[卒論着手発表] Autoencoderによる半教師あり学習と中間表現の分析
システム主専攻 着手発表スライド。
Auto-encoderによるsemi-supervised learningの実現と、supervised learningとの比較による中間表現の分析を行う
Qiushi Pan
June 12, 2019
Tweet
Share
More Decks by Qiushi Pan
See All by Qiushi Pan
応答例を見ながらの キャラ性格チューニング
qqpann
0
66
[ICCE2021] Prior Knowledge on the Dynamics of Skill Acquisition Improves Deep Knowledge Tracing
qqpann
1
59
卒業研究最終発表
qqpann
1
53
[卒論中間発表] Encoder-Decoder DKTと中間表現の分析
qqpann
0
66
Reduceを使った定理証明 〜 グレブナー基底を添えて 〜
qqpann
0
140
Other Decks in Research
See All in Research
バスのサービスレベル向上と運賃策による熊本都市圏の渋滞緩和効果推計 ~公共交通への公的投資に向けた感度と集計QVに基づく迅速なシナリオ検討~
trafficbrain
0
120
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
760
MLtraq: Track your AI experiments at hyperspeed
micheda
1
150
自然言語とVision&Language
kuehara
19
4k
SSII2024 [TS1] 生成AIと3次元ビジョン ~3次元生成AIの最先端の理論~
ssii
PRO
1
840
#SRE論文紹介 Detection is Better Than Cure: A Cloud Incidents Perspective V. Ganatra et. al., ESEC/FSE’23
yuukit
1
810
SSII2024 [OS1] 画像認識におけるモデル・データの共進化
ssii
PRO
0
340
SSII2024 [PD] 30周年記念特別企画SSII 技術マップ / LLMサーベイ
ssii
PRO
0
530
Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift
nanofi
3
190
-SSII技術マップを通して見る過去・現在,そして未来-
hf149
1
410
SSII2024 [OS1] 現場の課題を解決する ロボットラーニング
ssii
PRO
0
380
DiscordにおけるキャラクターIPを活用したUGCコンテンツ生成サービスの ラピッドプロトタイピング ~国際ハッカソンでの事例研究
o_ob
0
130
Featured
See All Featured
The Cult of Friendly URLs
andyhume
74
5.8k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
How GitHub (no longer) Works
holman
305
140k
Rebuilding a faster, lazier Slack
samanthasiow
75
8.4k
KATA
mclloyd
18
12k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
120
18k
Atom: Resistance is Futile
akmur
260
25k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.2k
Docker and Python
trallard
36
2.8k
Typedesign – Prime Four
hannesfritz
36
2.2k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.2k
A Philosophy of Restraint
colly
199
16k
Transcript
システム主専攻 着手発表 深層学習における中間表現の分析 潘 秋実 1
Autoencoder Autoencoderとは 教師なし学習の一種。 データの特徴を獲得するためのネットワーク Encoder: Xが得られた状態で、Xを生み出したZを推論 Decoder: 潜在変数Zから高次元データXを生成 Zを中間表現と呼ぶこととする 2
Semi‑supervised learning with Autoencoder Autoencoderによる教師なし学習で獲得したZを、Yを予測する教師あり 学習に利用 Zによって効率が改善する場合があると考えられる 課題意識 → Zを教師ありで行う既存タスクで、Zを教師なしで学習しても精度を出
せないか 3
画像の転移学習におけるAutoencoder 図:中間表現を可視化したもの[1] 画像の輪郭の特徴を抽出 転移学習で学習を効率化 4
SequenceデータにおけるAutoencoder Semantic Parsing with Semi‑Supervised Sequential Autoencoders[2] Logical formsを半教師あり学習で行う研究 xの正解ラベルがないデータではyの教師なし学習
xの正解ラベルがあるデータでは追加でxを学習 5
関連研究: Speech synthesis from neural decoding of spoken sentences (1)
脳の活動から発話をデコードするタスク[3][4] 6
関連研究: Speech synthesis from neural decoding of spoken sentences (2)
RNN+RNNを構成して、一度口の筋肉の動きを予測することで、発話予 測を改善した 7
研究計画 Speech synthesis from neural decoding of spoken sentences の追実験
著者に問い合わせを行い、データを入手できたら再現実験を試みる 筋肉の動きの正解データを用いずに、発話を予測できるようになら ないか 中間表現を使う場合とそうでない場合を比較して効果の分析 画像または自然言語処理などのタスクのサーベイ このタスクに限らず、「中間表現」を経て精度が向上するタスクは あるはず。中間表現の正解ラベルがなくても同等の効果を得られた ら意義があるのではないか 一般的に中間表現を教師なしで代替できないか 8
参考文献 [1] Computer Science Department, Stanford University. "Autoencoders". UFLDL Tutorial.
http://ufldl.stanford.edu/tutorial/unsupervised/Autoencoders/, (Accessed 2019‑06‑11). [2] Tomas Kocisky et al. "Semantic Parsing with Semi‑Supervised Sequential Autoencoders". CoRR. 2016. (Accessed 2019‑06‑11) [3] Anumanchipalli et al. "Speech synthesis from neural decoding of spoken sentences". Nature. 2019. https://www.nature.com/articles/s41586‑019‑1119‑1, (Accessed 2019‑06‑11). [4] Pandarinath, Ali. "Brain implants that let you speak your mind". Nature news & views. https://www.nature.com/articles/d41586‑019‑ 01181‑y, (Accessed 2019‑06‑11). 9