ソーイAI勉強会 第２回：深層学習の計算

Transcript

1. ୈճɿਂ૚ֶशͷܭࢉ
2. ਂ૚ֶशͷ෮श
3. ਂ૚ֶशͰ͸Ͳ͏ݴͬͨ͜ͱΛ͍ͯ͘͠ͷ͔ʁ ਓؒͷ೴Λߟ͑Δ ਆܦࡉ๔ʢχϡʔϩϯʣͷܨ͕Γ Λ਺ཧϞσϧԽ
4. ೖྗ૚ தؒ૚ʢӅΕ૚ʣ ग़ྗ૚
5. ೖྗ૚ தؒ૚ʢӅΕ૚ʣ ग़ྗ૚ தؒ૚ͷ਺͕ଟ͍
   ˠ
   ਂ૚ֶशͱݺͿ
6. Ͱ͸தؒ૚ͰͲͷΑ͏ͳܭࢉΛߦ͏ͷ͔ʁ ࠓ೔ͷϝΠϯʂ
7. ׆ੑԽؔ਺ͱ͸Կ͔ʁ
8. தؒ૚ͰͷܭࢉͷྲྀΕ ॏΈͷֻ͚ࢉ χϡʔϩϯͷ଍͠ࢉ ׆ੑԽؔ਺ͷม׵
9. தؒ૚ͰͷܭࢉͷྲྀΕ ॏΈͷֻ͚ࢉ χϡʔϩϯͷ଍͠ࢉ ׆ੑԽؔ਺ͷม׵ ೖྗ஋ͷॏཁੑΛ਺஋Խͨ͠΋ͷɻ
   ॏΈΛௐ੔͢Δ͜ͱͰɺਖ਼֬ͳ༧ଌΛՄೳʹ͢Δɻ 
10. Y
    
    X
    
    
    
    Y
    
    X
    
    
    
    B     ˞
    ॏΈ͸ҎԼͷΑ͏ʹ࢖͏ X
    
    X
    ɿॏΈ
    Y
    Yɿೖྗ஋ ྫʣ΋͠Y
    ͷೖྗ͕ॏཁͰͳͯ͘ɺY
    ͷೖྗ͕ॏཁͩͬͨ৔߹ Y
    
    
    
    Y
    
    
    B   ͷΑ͏ʹ࢖͏ɻ ˠ
    ೖྗ৴߸ͷ࿨
    B
    ʹ͍ͨͯ͠ɺΑΓY
    ͷ஋͕൓ө͞Ε͍ͯΔɻ
11. தؒ૚ͰͷܭࢉͷྲྀΕ ॏΈͷֻ͚ࢉ χϡʔϩϯͷ଍͠ࢉ ׆ੑԽؔ਺ͷม׵ ೖྗ৴߸͔Βͷ৘ใ͕શͯඞཁͳΘ͚Ͱ͸ͳ͍ɻ
    ׆ੑԽؔ਺Λ௨͢͜ͱͰʮͲͷΑ͏ͳ৘ใΛ఻͑Δͷ͔ʯΛܾΊΔɻ ೖྗ஋ͷॏཁੑΛ਺஋Խͨ͠΋ͷ
12. Y Y    C X X Z   ɿॏΈ X  X  CɿόΠΞε Yɿೖྗ৴߸ Zɿग़ྗ৴߸ χϡʔϥϧωοτϫʔΫͷܭࢉͷਤࣜԽ χϡʔϩϯͷ଍͠ࢉΛ ʮZ
    ʹม׵ʯͯ͠ग़ྗ
13. Y Y    C X X Z   ɿॏΈ X  X  CɿόΠΞε χϡʔϥϧωοτϫʔΫͷܭࢉͷਤࣜԽ ग़ྗ ॏΈ͚ͩͰ͸දݱͰ͖ͳ͍෦෼ ΛόΠΞεͰิڧɻ
14. BɿZʹૹΒΕͯ͘Δೖྗ৴߸ͷ૯࿨ C
    
    Y
    
    X
    
    
    
    Y
    
    X
    
    
    
    B     
    ॏΈͷֻ͚ࢉ 
    χϡʔϩϯͷ଍͠ࢉ Z
    
    I
    
    B
    
    
15. BɿZʹૹΒΕͯ͘Δೖྗ৴߸ͷ૯࿨ C
    
    Y
    
    X
    
    
    
    Y
    
    X
    
    
    
    B     Z
    
    I
    
    B
    
    ׆ੑԽؔ਺ͷม׵ ೖྗ৴߸ ୅ೖʂʂ ग़ྗ৴߸ ͜ͷ
    I
    Λ׆ੑԽؔ਺ͱ͍͏
    ೖྗ஋Λग़ྗ஋ʹม׵ʂʂ
16. Y Y    C X X B   χϡʔϥϧωοτϫʔΫͷܭࢉͷਤࣜԽʢΑΓৄࡉʹʣ Zͱͯ͠ग़ྗ Z I
    
    B
    
17. ׆ੑԽؔ਺ͷछྨ γάϞΠυؔ਺ ߃౳ؔ਺ εςοϓؔ਺ 3FMVؔ਺ ਂ૚ֶशͰ͸ ࢖ΘΕͳ͍ ݱࡏͰ΋࢖Θ Ε͍ͯΔ ݱࡏओྲྀ ೖྗΛͦͷ· ·ฦ͢ʢճؼ ໰୊Ͱ࢖༻ʣ
18. ޯ഑๏ͱ͸Կ͔ʁ
19. ػցֶशͷྲྀΕʢ͓͞Β͍ʣ ֶशʢ܇࿅ʣɿ
    σʔλΛ͏·͘આ໌Ͱ͖ͦ͏ͳϞσϧΛબͼɺͦͷϞσϧ Λσʔλʹ߹͏Α͏ʹௐ੔͢Δ͜ͱɻ ਪ࿦ɿ
    ֶशͨ͠ϞσϧΛ͔ͭͬͯɺະ஌ͷσʔλΛ༧૝͢Δ͜ͱɻ ˞ʮֶशʹ͓͚Δਖ਼౴཰ʯͱʮਪ࿦ʹ͓͚Δਖ਼౴཰ʯ͕͍ۙͱ͖ɺ
    ֶश͕͏·͍͍ͬͯ͘Δɻ
20. ਂ૚ֶशͰ͸ɺ
    ͲͷΑ͏ʹਖ਼౴཰Λ্͍͛ͯ͘ͷ͔ʁ
21. ଛࣦؔ਺ʢϩεؔ਺ʣΛ༻͍Δ ਂ૚ֶशͰ͸ɺ
22. ଛࣦʢϩεʣؔ਺ɿ
    ʮͲΕ͘Β͍ਖ਼ղσʔλͱҟͳΔ͔ʯΛදؔ͢਺ ଛࣦؔ਺ͱ͸ ͭ·Γਖ਼౴཰Λ্͛Δʹ͸ɺଛࣦؔ਺͸
    খ͍͞
    ํ͕͍͍ʂʂ
23. ޯ഑๏ͱ͸ɺ
    ͜ͷଛࣦؔ਺Λখ͍ͯ͘͘͞͠ख๏Λࢦ͢
24. ͦ΋ͦ΋ޯ഑ͱ͸ʁ ଛࣦؔ਺ʹର͢ΔॏΈͷඍ෼஋ ∂E ∂w = [ ∂E ∂w1 ⋯ ∂E ∂wn ] Ͱද͞ΕΔ XʢॏΈʣ
    Λม͑ͨ࣌ʹɺ&ʢଛࣦؔ਺ʣ͕ͲΕ͘Β͍มΘΔ͔
25. ʮޯ഑๏ʯͷΠϝʔδ ॏΈ ଛࣦؔ਺ ଛࣦؔ਺͕ݮগ͢Δํ޲ʹ ύϥϝʔλʢॏΈʣΛߋ৽ ˠଛࣦؔ਺ΛͰ͖Δ͚ͩখ͘͢͞Δɻ
26. ʮޯ഑๏ʯͷ਺ࣜ wnew = wold − η × ∂E ∂w ʢߋ৽ޙͷॏΈʣ
    ʢߋ৽લͷॏΈʣʢֶश཰ʣº
    ʢޯ഑ʣ ˞
    ֶश཰ʢБʣɿճͷֶशͰͲΕ͘Β͍ύϥϝʔλΛߋ৽͢Δ͔ ޯ഑ํ޲ʹҠಈ͢Δྔ
27. ʮޯ഑๏ʯͷ਺ࣜ͸ͳʹΛද͍ͯ͠Δͷ͔ʁ ॏΈʢXʣ ଛࣦؔ਺ʢ&ʣ ϶X ޯ഑͸ෛ ߋ৽લ ߋ৽ޙ ͲͷΑ͏ʹॏΈ͕ߋ৽͞ΕΔͷ͔ʁ wnew = wold − η × ∂E ∂w ʢྫʣޯ഑͕ෛ
    
    ˠ
    "͸ਖ਼
    
    ˠ
    ߋ৽લͷXʹ"͕଍͞ΕΔ
    ˠ
    X͸ӈʹҠಈʢߋ৽ʣ "ͱ͢Δ
28. ɾޯ഑๏ͱ͸ଛࣦؔ਺Λখ͘͢͞ΔͨΊʹɺॏΈΛߋ৽͍ͯ͘͜͠ͱɻ ޯ഑๏·ͱΊ ɾޯ഑ͱ͸
    ʮXʢॏΈʣ
    Λม͑ͨ࣌ʹɺ&ʢଛࣦؔ਺ʣ͕ͲΕ͘Β͍มΘΔ͔ʯ Λද͢ɻ ɾ ʹΑͬͯॏΈͷߋ৽Λߦ͏ wnew = wold − η × ∂E ∂w
29. ޡࠩٯ఻೻๏ͱ͸Կ͔ʁ
30. wnew = wold − η × ∂E ∂w ˣˣˣॏΈͷܭࢉ͸ɺԼͷࣜͰٻΊ͍͚ͯ͹͍͍ X X X ॏΈͷมԽΛΈΑ͏ʂ
    ˠ
    XΛಈ͔ͯ͠ΈΔ
    ˠ
    XΛΛม͑Δͱͦͷ͋ͱશͯʹӨڹ
    ˠ
    ܭࢉ͕େมʂʂ ॱ఻೻
31. ޡࠩٯ఻೻๏ɿ
    ॏΈύϥϝʔλʹΑΔޯ഑ͷܭࢉΛޮ཰ྑ͘ߦͳ͏ํ๏ɻ
32. ޡࠩٯ఻೻๏ɿ
    ॏΈύϥϝʔλʹΑΔޯ഑ͷܭࢉΛޮ཰ྑ͘ߦͳ͏ํ๏ɻ ▶︎
    ͳʹ͕ٯͳͷ͔ʁ
33. ޡࠩٯ఻೻๏ɿ
    ॏΈύϥϝʔλʹΑΔޯ഑ͷܭࢉΛޮ཰ྑ͘ߦͳ͏ํ๏ɻ ˞
    ॏΈͷߋ৽
    ˠ
    ޯ഑ ▶︎
    ͳʹ͕ٯͳͷ͔ʁ ग़ྗ૚Λελʔτͱͯ͠ɺॏΈͷ ߋ৽Λߟ͑Δ ٯ఻೻
34. ޡࠩٯ఻೻๏Ͱޯ഑ΛٻΊΔͷ͸ܭࢉ͕೉͍͠ͷͰলུ͢Δ͕ɺ ޡࠩٯ఻೻๏Λ࢖͏ͱ
    ʮग़ྗ૚Ͱͷਖ਼ղϥϕϧͱͷޡࠩʯ͕Θ͔Ε͹ શͯͷޯ഑͕Θ͔Δɻ
35. ɾॱ఻೻͸༧ଌ஋Λग़ྗ͢ΔͨΊʹ༻͍Δɻ ޡࠩٯ఻೻๏
    ·ͱΊ ɾॱ఻೻Ͱޯ഑๏Λܭࢉ͢ΔͱɺͰ͖ͳ͍͜ͱ͸ͳ͍͕ɺܭࢉ ίετ͕ߴ͗͢Δɻ ɾޡࠩٯ఻೻ํΛ༻͍Δ͜ͱͰɺ
    
    ʮग़ྗ૚Ͱͷਖ਼ղϥϕϧͱͷޡࠩʯ͕Θ͔Ε͹શͯͷޯ഑͕Θ͔Δɻ
36. ਂ૚ֶशͷֶशͱਪ࿦
    ·ͱΊ
37. ॱ఻೻ʹΑΓ༧ଌ஋Λग़ྗ ਂ૚ֶशͷֶशํ๏ ༧ଌͱਖ਼ղϥϕϧͷζϨΛ ਺஋Խ ͦͷζϨΛ࢖ͬͯҰؾʹޯ഑ Λܭࢉ ֶश཰Λ͔͚ͯॏΈΛम੔ wnew = wold − η × ∂E ∂w ▶︎ ▶︎ ▶︎ ▶︎
38. ਪ࿦͸ͲͷΑ͏ʹߦͳ͏ͷ͔ʁ ώϯτɿਪ࿦Ͱ͸ະ஌ͷσʔλΛ༧ଌ͠ɺϞσϧͷධՁΛߦ͏
39. ॱ఻೻ʹΑΓ༧ଌ஋Λग़ྗ ਂ૚ֶशͷਪ࿦ํ๏ ༧ଌͱਖ਼ղϥϕϧͷζϨΛ ਺஋Խ ͦͷζϨΛ࢖ͬͯҰؾʹޯ഑ Λܭࢉ ֶश཰Λ͔͚ͯॏΈΛम੔ wnew = wold − η × ∂E ∂w ▶︎ ▶︎ ▶︎ ▶︎
40. ॱ఻೻ʹΑΓ༧ଌ஋Λग़ྗ ਂ૚ֶशͷਪ࿦ํ๏ ༧ଌͱਖ਼ղϥϕϧͷζϨΛ ਺஋Խ ▶︎ ˒
    ਪ࿦Ͱ͸ॱ఻೻͔͠ߦΘͳ͍ʂʂ
41. ࣍ճͷ༧ఆ
42. ਖ਼ଇԽ ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ ࣗવݴޠॲཧಋೖ