Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゼロつく2 輪読会 3.1-3.3
Search
keitaro2002
February 21, 2024
Technology
0
15
ゼロつく2 輪読会 3.1-3.3
keitaro2002
February 21, 2024
Tweet
Share
More Decks by keitaro2002
See All by keitaro2002
ゼロつく2 輪読会 3.4-3.6
keitaro2002
0
20
Other Decks in Technology
See All in Technology
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
360
リスクから学ぶKubernetesコンテナセキュリティ/k8s-risk-and-security
mochizuki875
1
260
VS CodeでF1〜12キーつかってますか? / Do you use the F1-12 keys in VS Code?
74th
1
260
【shownet.conf_】革新と伝統を融合したファシリティ
shownet
PRO
0
240
Making Linux sucks less
ennael
PRO
0
480
Renovate ではじめる運用レスなライブラリ更新 / 令和最新版 他人に自慢したいヤバいCI/CD LT会 @ yabaibuki.dev #2
ponkio_o
PRO
1
130
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
300
RAGの性能を評価しよう
kurahara
1
270
つよつよリーダーが 抜けたらどうする? 〜ナビタイムのAgile⽀援組織の変遷〜
navitimejapan
PRO
22
13k
ドメインと向き合う - 旅行予約編
hidenorigoto
4
510
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
270
Interfacing Kernel C APIs from Rust
ennael
PRO
0
210
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
509
110k
Building an army of robots
kneath
302
42k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
29
1.7k
The Language of Interfaces
destraynor
154
24k
How STYLIGHT went responsive
nonsquared
94
5.1k
Designing the Hi-DPI Web
ddemaree
279
34k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.5k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
KATA
mclloyd
27
13k
Optimizing for Happiness
mojombo
375
69k
Creatively Recalculating Your Daily Design Routine
revolveconf
217
12k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
92
16k
Transcript
ゼロつく2 輪読会 Part3 3.1~3.3 2024年 2⽉22⽇
‣ これ以降の図は以下より引⽤ 斎藤 康毅 「ゼロから作るDeep Learning ❷―⾃然⾔語処理編」 はじめに
‣ 前回の復習 ‣ カウントベースから推論ベースへ ‣ word2vec ‣ 次回に向けて ⽬次
前回の復習
‣ コサイン類似度→(⾃⼰)相互情報量 PMI ‣ 値が⼤きいほど共起(⼀緒に出現)しやすい ‣ SVD(特異値分解)による次元削減 前回の復習
カウントベースから推論ベー スへ
‣ ⼤規模なコーパスを扱いきれない. ‣ SVDまで⾏うと𝑂(𝑛!)の計算コストがかかる. ‣ 学習時に全てのデータを⽤いて1回の処理で分散表現を 獲得 カウントベースの問題点
‣ 推論ベース ‣ ミニバッチで学習 推論ベースの登場
‣ 周囲の単語から「?」に⼊る単語を推測する. ‣ 単語の出現確率を学習 推論ベースの概要
‣ one-hotベクトル 単語の処理
word2vec
‣ word2vecで提案されているモデルの1つ ‣ コンテキストからターゲットを推測するNN (学習の詳細は次回) CBOW(countinuous bag-of-word)
モデルの具体例 コンテキストとしてN個の単語 →⼊⼒層はN個 CrossEntropyLoss
‣ 3つの選択肢 1. ⼊⼒側の重み(𝑊"# )だけ 2. 出⼒側の重み(𝑊$%& )だけ 3. 2つの重みを両⽅
‣ 1.⼊⼒側の重みだけが最もポピュラー 単語の分散表現
次回に向けて
‣ 使⽤するコーパス ‣ 「You say goodbye and I say hello.」
学習データの準備
コンテキストとターゲット
ベクトルに変換
one-hotベクトル