DeepNLP_BackPropagation_Rnn_and_Cnn

深層学習による自然言語処理　2.5から2.9まで

1. 5 . 1 2
2. • : D !(#) 1 ∇!(#) • L 1 ) ) ( 1 S G G 1 & '()*+, = .(/ 012 .(⋯ .(/ 2 '()*+, + 5(2)))) 62 67 68 69 /(:) ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ;2 ;7 /(:<2) = − 1 = = + 1
3. . . ! ℎ($) ℎ(&) ℎ(') (($) ((&) ((') ℎ(')= ( ' ( & ( $ ! *+(,) *- = *+(,) *.(/) 0 *.(/) *.(1) 0 *.(1) *- •  
    
4. . . 
    ! ℎ($) ℎ(&) '($) '(&)
5. . .
   
7. (
8. .( )
9.  
   
   
   
10. ( )
11. 2'+   )NN  2 #) 0%&1&-" (3*, ) .( 
    !/$→    → Residual Connection, Batch Nomalization(
     )  ! Loss func ! Loss func
12.  : Residual Connection –
    – F(x) (→-!()) F(x) + x  →
    & " - Identity Mapping  ' :
    -*&%
    ,+' ./$  # Identity – [1] He, Kaiming, et al. "Identity mappings in deep residual networks." European Conference on Computer Vision. Springer, Cham, 2016. . .
13. . . (2.33) (2.34) 
    
14. 0 1 . 2 C2 2 " 3 2 3 2 ) 2 2 ( 3 23 2 !"#$ !" %"&$ %"#$ %" %"&$ '() '() '() '*+, '*+, -"#$ = /(!"#$ ) -" -"&$ %" !" M I NR 2 '*+, O L '() : input P / L !" = '*+, 2 !"#$ + '() %" ,, L
15. 2 . 3 !" #$% &% !" #$' !" #$( !% #$% !% #$' !% #$( !' #$% !' #$' !' #$( !( #$% !( #$' !( #$( &' &( )% )' )(
16. 2 . 3 !" #$% &% !" #$' !" #$( !% #$% !% #$' !% #$( !' #$% !' #$' !' #$( !( #$% !( #$' !( #$( &' &( )% )' )(
17. 2 . 3 !" #$% &% !" #$' !" #$( !% #$% !% #$' !% #$( !' #$% !' #$' !' #$( !( #$% !( #$' !( #$( &' &( )% )' )(
18. 2 . 3 !" #$% &% !" #$' !" #$( !% #$% !% #$' !% #$( !' #$% !' #$' !' #$( !( #$% !( #$' !( #$( &' &( )% )' )( • 23 !* # 1
19.  : !"#$ !%&
    '( )( … … )* '* ………… ………… +( +* !"#$ (-) !%& (-) '% …… '/ )/ +/ 
20. . - • 
       
21. 
    
    
22. ) (
23. 8 99 2 :9.8 9 9 6 5 3 2 2 5 2 28 79 8 3 9 1 56 2 59 7 /0-
24. -5 1 02 1 25 58 8 ./ 8 .2 0 8
25. 22/1 444 1 1 - 2 3--.-.3-. 11
26. http://deeplearning.stanford.edu/wiki/index .php/Feature_extraction_using_convolution
27. /885 6 0: 6. 5 5
28. 
    
29. RNN
       Vanishing/Exploding Gradient  : !"#$ !%& 
     '( )( … … )* '* ………… ………… +( +* !"#$ (-) !%& (-) '% …… '/ )/ +/