hessian-based-analysis.pdf

11/11にDLHacksで発表した内容です。
GIthubにソースコードもUPしています。
https://github.com/mtkwT/Hessian-based-analysis-tensorflow

1. ஜ೾େֶେֶӃ
   ਤॻؗ৘ใϝσΟΞݚڀՊ
   म࢜೥
   ຊ઒఩࠸ 1 %-)BDLT࣮૷ൃද
   )FTTJBOCBTFE
   "OBMZTZT
   PG
   -BSHF
   #BUDI
   5SBJOJOH
   BOE
   3PCVTUOFTT
   UP
   "EWFSTBSJBMT
2. 2 ͸͡Ίʹ
3. ॻࢽ৘ใ w λΠτϧ
   )FTTJBOCBTFE
   "OBMZTZT
   PG
   -BSHF
   #BUDI
   5SBJOJOH
   BOE
   3PCVTUOFTT
   UP
   "EWFSTBSJBMT
   w ஶऀ
   ;IFXFJ
   :BP
   "NJS
   (IPMBNJ
   2J
   -FJ
   ,VSU
   ,FVU[FS
   .JDIBFM
   8
   .BIPOFZ
   w BS9JW
   IUUQTBSYJWPSHBCT
   
   w ձٞ
   /FVS*14` 3
4. ΞδΣϯμ w ࿦จ֓ཁ
   w എܠ
   w ϔοηߦྻ
   w )FTTJBOCBTFE
   "OBMZTJTͱ͸
   w TIBSQ
   NJOJNVN
   WT
   qBU
   NJOJNVN
   w ࣮ݧ
   w ࣮ݧઃఆ
   w ࣮૷
   w ߟ࡯ 4
5. ֓ཁ w χϡʔϥϧωοτͷֶशʹ͓͍ͯόοναΠζΛେ͖͘͢Δͱਫ਼౓͕Լ͕Δ͕ɼ ͦͷݪҼղ໌͸͞Ε͍ͯͳ͍
   w ͜ͷ໰୊ʹରͯ͠ϔοηߦྻͷݻ༗஋Λར༻͢Δ͜ͱͰɼύϥϝʔλ্ۭؒͰͷ ଛࣦؔ਺ͷہॴతͳߏ଄͕Ͳ͏ͳ͍ͬͯΔ͔Λ෼ੳ
   w ·ͨऩଋઌͷϔοηߦྻͷݻ༗஋෼෍͕େ͖͍ύϥϝʔλ͸ɼఢରతྫ୊ ʢ"&Tʣʹରͯ͠΋ऑ͍ʢʹϩόετੑ͕௿͍ʣ͜ͱΛ࣮ݧతʹࣔͨ͠ 5
6. ࠓճͷओ࣠ w ͜ͷ໰୊ʹରͯ͠ϔοηߦྻͷݻ༗஋Λར༻͢Δ͜ͱͰɼύϥϝʔλ্ۭؒͰͷ ଛࣦؔ਺ͷہॴతͳߏ଄͕Ͳ͏ͳ͍ͬͯΔ͔Λ෼ੳ
   6
7. 7 എܠ
8. ϔοηߦྻ w ଛࣦؔ਺ʹ͓͚Δೋ֊ඍ෼શମͰߏ੒͞ΕΔߦྻ
   w ݻ༗஋ͷූ߸ɾେ͖͞ʹΑͬͯہॴೋ࣍ۙࣅͨ͠ͱ͖ͷܗঢ়͕Θ͔Δ
   w χϡʔϥϧωοτͰ͸ޯ഑ಉ༷
   ޡࠩٯ఻೻๏ͰٻΊΔ͜ͱ͕Մೳʢ13.-ষʣ
   8 ݻ༗஋͕શͯਖ਼ɿۃখ஋
   ݻ༗஋͕શͯෛɿۃେ஋
   ݻ༗஋ʹਖ਼ෛͲͪΒ΋͋ΔɿҌ఺
   ݻ༗஋ʹؚ͕·ΕΔɿ൑அෆೳʢϓϥτʔʁʣ
   IUUQXXXUIPUIDIJMESFODPNDIBQUFSCDGGFG
9. )FTTJBOCBTFE
   "OBMZTJTͱ͸ w χϡʔϥϧωοτʹ͓͚ΔֶशͷڍಈΛϔοηߦྻͷݻ༗஋Λ༻͍ͯ෼ੳ͢Δख๏
   w ݹ͘͸-V$VO ʹΑͬͯݴٴ
   w 9 ֶशޙͷଛࣦؔ਺ʹ͓͚Δϔοηߦྻͷݻ༗஋෼෍ ʢ)FTTJBO
   TQFDUSVNʣ
   ΄ͱΜͲͷݻ༗஋͸ʹ͍ۙ஋ΛऔΔ͕ɼҰ෦ͷඇৗʹେ͖ͳ ݻ༗஋͕ଘࡏ͢Δ
   ֶशޙͷύϥϝʔλۭؒͰ͸ɼ΄ͱΜͲͷ࣍ݩͰฏୱͳ஍ܗɼ গ਺ͷ࣍ݩ͕ٸफ़ʹۂ͕͍ͬͯΔ IUUQZBOOMFDVODPNFYECQVCMJTQEGMFDVOCQEG
10. TIBSQ
    NJOJNVN
    WT
    qBU
    NJOJNVN • sharp minimumΑΓ΋flat minimumͷํ͕൚Խੑೳ͕ߴ͍ʢHochreiter+ 1997ʣ • 10 ύϥϝʔλͷઁಈʹରͯ͠ϩόετ
11. :BP ͷओு • sharp minimumΑΓ΋flat minimumͷํ͕൚Խੑೳ͕ߴ͍ʢHochreiter+ 1997ʣ • 11 ϔοηߦྻͷݻ༗஋͕খ͍͞
    όοναΠζ͕খ͍࣌͞ʹ౸ୡ ϔοηߦྻͷݻ༗஋͕େ͖͍
    όοναΠζ͕େ͖͍࣌ʹ౸ୡ
12. 12 ࣮ݧ
13. ࣮ݧઃఆ w σʔληοτ
    $*'"3
    w Ϟσϧ
    ࿦จ಺ͷ$
    w ࿦จͷ࣮ݧ
    ೖྗʹؔ͢Δϔοηߦྻͷݻ༗஋෼ੳ
    w ࠓճͷ࣮ݧ
    ॏΈʹؔ͢Δϔοηߦྻͷݻ༗஋෼ੳ
    w શͯͷॏΈύϥϝʔλʹؔ͢Δϔοηߦྻ͸ڊେ
    w ͦ͜Ͱࠓճ͸࠷ऴ૚ͷॏΈʹؔ͢ΔϔοηߦྻͷΈར༻ʢޡࠩٯ఻೻๏ͷܭࢉ͕࠷΋ܰྔʣ
    w όοναΠζ
    
    
    Ͱ࣮ݧ
    w .PNFOUVN
    4(%
    MS
    NPNFOUVN
    FQPDI 13
14. ࣮ݧઃఆʢ:BP ʣ 14 1 2 i-1 i k-1 k ɾɾɾ X Y ଛࣦؔ਺ ೖྗͰͷ ϔοηߦྻ ݻ༗஋ ɾɾɾ ɾɾɾ
15. ࣮ݧઃఆʢࠓճʣ 15 1 2 i-1 i k-1 k ɾɾɾ X Y ଛࣦؔ਺ ࠷ऴ૚Ͱͷ ϔοηߦྻ ݻ༗஋ ɾɾɾ ɾɾɾ
16. ஶऀ࣮૷ w IUUQTHJUIVCDPNBNJSHIPMBNJ)FTTJBO'MPX
    w 5FOTPSqPXͰ͸ͳ͘1ZUPSDI 16
17. ݁Ռʢ:BP ʣ 17
18. ࣮૷ w ϔοηߦྻ͸UGIFTTJBOTͰ؆୯ʹऔಘՄೳ
    w ϕΫτϧͷTIBQFͰग़ྗ͞ΕΔͷͰߦྻͷTIBQFʹ௚͢ 18
19. ࣮૷ w ݻ༗஋ͷܭࢉ
    w TDJQZMJOBMHFJHIͰ্ҐL݅ͷݻ༗஋ɾݻ༗ϕΫτϧͷΈΛൈ͖ग़͢͜ͱ͕Մೳ 19
20. ࣮૷ w ՄࢹԽͷͨΊʹऩଋઌͷύϥϝʔλ෇ۙͰͷMPTTΛܭࢉ͢Δ
    w ऩଋઌͰ࠷ऴ૚ͷॏΈϕΫτϧʹݻ༗ϕΫτϧΛ଍ͯͦ͜͠ͰͷMPTTΛٻΊͯɼҾ͍ͯऩଋઌʹ ໭͢Λ܁Γฦ͢ʢ໭࣌͢ʹ਺஋ޡ͕ࠩൃੜͯ͠͠·͏͕ՄࢹԽʹ͸ͦ͜·ͰӨڹ͠ͳ͍ʜ͸ ͣʣ 20
21. ࣮૷ w ιʔείʔυ͸(JUIVCʹ্͛·ͨ͠
    w IUUQTHJUIVCDPNNULX5)FTTJBOCBTFEBOBMZTJTUFOTPSqPX 21
22. ࣮ݧ݁Ռ 22 όοναΠζ͕େ͖͘ͳΔ΄ͲTIBSQ
    NJOJNVN
23. ·ͱΊ w ॏΈʹؔ͢ΔϔοηߦྻͰ΋όοναΠζʹΑΔӨڹ͸େ͖͍
    w খ͍͞όοναΠζ͸ॏΈͷઁಈʹରͯ͠ϩόετͳύϥϝʔλʹ౸ୡ͢Δ 23
24. ؔ࿈࿦จϦετ w )PDISFJUFS
    'MBU
    NJOJNB
    /FVSBM
    $PNQVUBUJPO
    
    IUUQ XXXCJPJOGKLVBUQVCMJDBUJPOTPMEFSQEG
    
    w -V$VO
    &⒏DJFOU
    #BDLQSPQ
    /FVSBM
    OFUXPSLT
    5SJDLT
    PG
    UIF
    USBEF
    
    IUUQZBOOMFDVODPNFYECQVCMJTQEGMFDVOCQEG
    
    w ,FTLBS
    0O
    -BSHF#BUDI
    5SBJOJOH
    GPS
    %FFQ
    -FBSOJOH
    (FOFSBMJ[BUJPO
    (BQ
    BOE
    4IBSQ
    .JOJNB
    
    *$-3
    IUUQTBSYJWPSHBCT
    
    w 4BHVO
    &NQJSJDBM
    "OBMZTJT
    PG
    UIF
    )FTTJBO
    PG
    0WFS1BSBNFUSJ[FE
    /FVSBM
    /FUXPSLT
    
    *$-3
    IUUQTBSYJWPSHBCT
     24