ゼロつく2 輪読会 3.4-3.6

Transcript

1. ゼロつく2 輪読会 Part4 3.4~3.6 2024年 3⽉10⽇
2. ‣ これ以降の図は以下より引⽤ 斎藤 康毅 「ゼロから作るDeep Learning ❷―⾃然⾔語処理編」 はじめに
3. ‣ 前回の復習 ‣ CBOWモデルの実装 ‣ word2vecに関する補⾜ ⽬次
4. 前回の復習
5. ‣ カウントベース→推論ベース ‣ ミニバッチ学習 ‣ 周囲のコンテキストから出現確率を推測 ‣ one-hotベクトル処理 ‣ CBOW(Continuous Bag-Of-Word) ‣ ⼊⼒層 = (B,N,L) (B: バッチサイズ，N: コンテキスト 数，L: コーパスの⻑さ) 前回の復習
6. CBOWの実装
7. 学習 モデルアーキテクチャ 逆伝播の様⼦ optimizer : Adam
8. 学習 loss推移 分散表現 コサイン類似度
9. word2vecの補⾜
10. ‣ CBOWモデルを数式で考えてみる． ‣ 損失関数 ‣ 教師ラベル𝑡! は𝑤" に対応する箇所が1でその他は0 →𝑃(𝑤" |𝑤"#$ , 𝑤"%$ )のみが残る． ‣ コーパス全体 CBOWモデルと確率
11. ‣ ターゲットからコンテキストを推測する． ‣ 損失関数 skip-gramモデル
12. ‣ 推論ベース ‣ 語彙に新しい単語→学習済み重みを初期値として，パラ メータの再学習が可能 ‣ より複雑な単語間のパターンも捉えられる． ‣ 実際は単語の類似性に関する定量評価では優劣が つけられない カウントベースvs推論ベース
13. Appendix
14. ソースコード 概要 ch3 simple_cbow.py train.py common layers.py optimizer.py trainer.py util.py functions.py
15. ‣ softmax ‣ cross_entropy_error functions.py
16. ‣ MatMul ‣ init ‣params, grads ‣x (backwardで使⽤) ‣ forward ‣paramsとxを⾏列計算 ‣xを保持 ‣ backward ‣dx,dWを計算 ‣ SoftmaxWithLoss ‣ init ‣params, grads ‣y (softmaxの出⼒) ‣t (教師ラベル) ‣ forward ‣softmax ‣cross_entropy_error ‣ backward ‣dx layers.py
17. ‣ Adam ‣ init ‣lr (学習率) optimizer.py
18. ‣ init ‣ fit ‣ plot trainer.py
19. util.py