Reinforcement Learning: An Introduction second edition, Chapter 5 Monte Carlo Methods

Reinforcement Learning: An Introduction second edition
Chapter 5 Monte Carlo Methods

Sutton輪読会
太⽥ 晋
2020-09-25

Transcript

1. . 322/ 9 5 / 2 0 / 2 / 1
2. 
   • 1A E9 -6C A 19E A8D • 1A E9 -6C A 3C98 7E A • 1A E9 -6C A DE 6E A A 7E A 56 9D • 1A E9 -6C A -A ECA • 1A E9 -6C A -A ECA E A E I AC 4E6CED • 2 A 7 3C98 7E A 6 0 ACE6 79 46 • 0 7C9 9 E6 0 9 9 E6E A • 2 A 7 1A E9 -6C A -A ECA • * . D7A E 6 6C9 0 ACE6 79 46 • 39C 897 D A 0 ACE6 79 46 • 4 6C
3. 
    • 1A E9 -6C A 19E A8D • 1A E9 -6C A 3C98 7E A • 1A E9 -6C A DE 6E A A 7E A 56 9D • 1A E9 -6C A -A ECA • 1A E9 -6C A -A ECA E A E I AC 4E6CED • 2 A 7 3C98 7E A 6 0 ACE6 79 46 • 0 7C9 9 E6 0 9 9 E6E A • 2 A 7 1A E9 -6C A -A ECA • * . D7A E 6 6C9 0 ACE6 79 46 • 39C 897 D A 0 ACE6 79 46 • 4 6C
4. 
   • 1A E9 -6C A 19E A8D • 1A E9 -6C A 3C98 7E A • 1A E9 -6C A DE 6E A A 7E A 56 9D • 1A E9 -6C A -A ECA • 1A E9 -6C A -A ECA E A E I AC 4E6CED • 2 A 7 3C98 7E A 6 0 ACE6 79 46 • 0 7C9 9 E6 0 9 9 E6E A • 2 A 7 1A E9 -6C A -A ECA • * . D7A E 6 6C9 0 ACE6 79 46 • 39C 897 D A 0 ACE6 79 46 • 4 6C
5. 
    • w • s l k x d • M u • q tg • C • r a i • c w ( • c ( • eptg ( ) • w ( ( • o ( ( nm q o
6. 
     • y -) . 1. p o m l • a • s a • u a • e • n y p y • u y p • u y p • 9 u y t 9 u • u m i : r ( . -
7. 
      • nl a • . ) . ) • ) • C GPi e 6 • ( • Ms pc . 6 GPi e . • ) • oP . .6 • r GI D Pi e • . • r GI Pi e G m • M . 8 )
8. 
   • 1A E9 -6C A 19E A8D • 1A E9 -6C A 3C98 7E A • 1A E9 -6C A DE 6E A A 7E A 56 9D • 1A E9 -6C A -A ECA • 1A E9 -6C A -A ECA E A E I AC 4E6CED • 2 A 7 3C98 7E A 6 0 ACE6 79 46 • 0 7C9 9 E6 0 9 9 E6E A • 2 A 7 1A E9 -6C A -A ECA • * . D7A E 6 6C9 0 ACE6 79 46 • 39C 897 D A 0 ACE6 79 46 • 4 6C
9. 
    • r x t • r • y 2 ) y u • r • • C : r • mfc n • • 1)) ) • p he s • , ( -1 • s • M i cd • 9 ( -1 • • v o •
10. • • - - - vπ (s)
11. • ) ( u j • st) ( • be c j ( ( • k • • ) r g • l ) • 0,2 p o • a /0 p o • n) j ( ( h a • ig γ=1 / ) 20 . 0 -, 0 1 -.: 0 + 0,
12. 
     • P0 • • • 1 • M p 1 2 • D C 1
13. 
       • P C . D • p D • . D • 5Dp D • Dp p 9 • p • p ) Dp DM 5D . D • p p ( (
14. • : : • EM • ) (
15. 
     • ( ) • d R • R MR c a 4 • x • un v R • • tMR • c a l • o i MR e • p c a • un • o i • un R r ( ( ( ( o i R R • R C R R
16. 
    • 1A E9 -6C A 19E A8D • 1A E9 -6C A 3C98 7E A • 1A E9 -6C A DE 6E A A 7E A 56 9D • 1A E9 -6C A -A ECA • 1A E9 -6C A -A ECA E A E I AC 4E6CED • 2 A 7 3C98 7E A 6 0 ACE6 79 46 • 0 7C9 9 E6 0 9 9 E6E A • 2 A 7 1A E9 -6C A -A ECA • * . D7A E 6 6C9 0 ACE6 79 46 • 39C 897 D A 0 ACE6 79 46 • 4 6C
17. • ul • v a a • • : q* eM • qπ (s, a) • v s p a nπ s ul g x r ) • C v • v C a • o p ( ) - - • C v p • i i C C v i t
18. 
    • 1A E9 -6C A 19E A8D • 1A E9 -6C A 3C98 7E A • 1A E9 -6C A DE 6E A A 7E A 56 9D • 1A E9 -6C A -A ECA • 1A E9 -6C A -A ECA E A E I AC 4E6CED • 2 A 7 3C98 7E A 6 0 ACE6 79 46 • 0 7C9 9 E6 0 9 9 E6E A • 2 A 7 1A E9 -6C A -A ECA • * . D7A E 6 6C9 0 ACE6 79 46 • 39C 897 D A 0 ACE6 79 46 • 4 6C
19. • n m ) • n l ) • n c ( ( ) • n c M • e C n • o a p n i
20. 
     • πk+1 m - ( πk πk • M n t • r -) 2 2 n • e r e M s • o 2 - x • n pv pv • m ac f i g C s l C • o y u 2 - 2
21. ) ( • π
       
    
22. •     •  
      •    
23. 
    • 1A E9 -6C A 19E A8D • 1A E9 -6C A 3C98 7E A • 1A E9 -6C A DE 6E A A 7E A 56 9D • 1A E9 -6C A -A ECA • 1A E9 -6C A -A ECA E A E I AC 4E6CED • 2 A 7 3C98 7E A 6 0 ACE6 79 46 • 0 7C9 9 E6 0 9 9 E6E A • 2 A 7 1A E9 -6C A -A ECA • * . D7A E 6 6C9 0 ACE6 79 46 • 39C 897 D A 0 ACE6 79 46 • 4 6C
24. • OS w y 2 :- : O • O d • • f o E xG l S E • p s O n E • O) P • • E xG Pg l E • • P i a : MC M M • IO s s a I π(a|s) > 0 • e a • ( • c rCI : - / E e c • t Me a
25. • ( ) -
26. 
     • M C L d • l L mp xht • iy b • y Lv h a D • b L P g , ( , ) : ( ( : , ( , ) • MnmL ( , ( , e c k • o r • rfs , ( ,
27. 
     • 1A E9 -6C A 19E A8D • 1A E9 -6C A 3C98 7E A • 1A E9 -6C A DE 6E A A 7E A 56 9D • 1A E9 -6C A -A ECA • 1A E9 -6C A -A ECA E A E I AC 4E6CED • 2 A 7 3C98 7E A 6 0 ACE6 79 46 • 0 7C9 9 E6 0 9 9 E6E A • 2 A 7 1A E9 -6C A -A ECA • * . D7A E 6 6C9 0 ACE6 79 46 • 39C 897 D A 0 ACE6 79 46 • 4 6C
28. 
     • - kg • 6 1 : 9 2 / ( ) 2 0 9 2 2 / 2 C ) % 2 • r t droMme ihMap • fblr M n c S • s • 6 1 : 9 2 / ( ) 2 0 9 2 2 / 2 C • Z • 6 5 6 0 1 : -6/ 5 5.6/ 5 1 : 9 / 5 / 2 1 :/ 16/ •