Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゼロつく2 輪読会 3.1-3.3
Search
keitaro2002
February 21, 2024
Technology
0
24
ゼロつく2 輪読会 3.1-3.3
keitaro2002
February 21, 2024
Tweet
Share
More Decks by keitaro2002
See All by keitaro2002
ゼロつく2 輪読会 3.4-3.6
keitaro2002
0
38
Other Decks in Technology
See All in Technology
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
740
AIオンボーディングとAIプロセスマイニング
nrryuya
5
1.3k
iOS/Androidで無限循環Carousel表現を考えてみる
fumiyasac0921
0
130
GitHub Coding Agent 概要
kkamegawa
1
1.7k
Babylon.jsでゲームを作ってみよう
limes2018
0
100
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
8
65k
S3 Tables を図解でやさしくおさらい~基本から QuickSight 連携まで/s3-tables-illustrated-basics-quicksight
emiki
1
330
Introduction to Bill One Development Engineer
sansan33
PRO
0
240
Digitization部 紹介資料
sansan33
PRO
1
3.8k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
2
7.2k
OTel meets Wasm: プラグイン機構としてのWebAssemblyから見る次世代のObservability
lycorptech_jp
PRO
1
300
SmartHRの複数のチームにおけるMCPサーバーの活用事例と課題
yukisnow1823
2
1.2k
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
123
52k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Code Review Best Practice
trishagee
68
18k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
How to train your dragon (web standard)
notwaldorf
92
6k
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.7k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Git: the NoSQL Database
bkeepers
PRO
430
65k
How to Ace a Technical Interview
jacobian
276
23k
Building a Modern Day E-commerce SEO Strategy
aleyda
40
7.3k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
The Language of Interfaces
destraynor
158
25k
Transcript
ゼロつく2 輪読会 Part3 3.1~3.3 2024年 2⽉22⽇
‣ これ以降の図は以下より引⽤ 斎藤 康毅 「ゼロから作るDeep Learning ❷―⾃然⾔語処理編」 はじめに
‣ 前回の復習 ‣ カウントベースから推論ベースへ ‣ word2vec ‣ 次回に向けて ⽬次
前回の復習
‣ コサイン類似度→(⾃⼰)相互情報量 PMI ‣ 値が⼤きいほど共起(⼀緒に出現)しやすい ‣ SVD(特異値分解)による次元削減 前回の復習
カウントベースから推論ベー スへ
‣ ⼤規模なコーパスを扱いきれない. ‣ SVDまで⾏うと𝑂(𝑛!)の計算コストがかかる. ‣ 学習時に全てのデータを⽤いて1回の処理で分散表現を 獲得 カウントベースの問題点
‣ 推論ベース ‣ ミニバッチで学習 推論ベースの登場
‣ 周囲の単語から「?」に⼊る単語を推測する. ‣ 単語の出現確率を学習 推論ベースの概要
‣ one-hotベクトル 単語の処理
word2vec
‣ word2vecで提案されているモデルの1つ ‣ コンテキストからターゲットを推測するNN (学習の詳細は次回) CBOW(countinuous bag-of-word)
モデルの具体例 コンテキストとしてN個の単語 →⼊⼒層はN個 CrossEntropyLoss
‣ 3つの選択肢 1. ⼊⼒側の重み(𝑊"# )だけ 2. 出⼒側の重み(𝑊$%& )だけ 3. 2つの重みを両⽅
‣ 1.⼊⼒側の重みだけが最もポピュラー 単語の分散表現
次回に向けて
‣ 使⽤するコーパス ‣ 「You say goodbye and I say hello.」
学習データの準備
コンテキストとターゲット
ベクトルに変換
one-hotベクトル