Reinforcement Learning: An Introduction second edition, Chapter 1 Introduction

Reinforcement Learning: An Introduction second edition
Chapter 1 Introduction

Sutton輪読会
太⽥ 晋
2020-09-25

Transcript

1. . 2 / 13 0
2. 
   • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
3. 
   • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
4. 1 . • d - 4 (4-1 • p d • h A A • d ui • d u r I I • e I (1 54 4-1 1 ( • tm a I • n I l • o I l • d gc 1 )- (4 ) -
5. 
   • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
6. 1 . • • b • n e • i • 2 - ( )22 2 3) 2 • h n ()- )( 2) 2( • d o m ar i • cp • f 12 -) • o 3 - ) ( • l )-( • f o m ar m s
7. 1 . 1 • e k 3) ,1 • Pal m ( 3 , 32 3 , , lc • ,2 ( 32 • bo • M • edr 1, 3 • h k Dn dr • lc k e p i bo
8. . 1 • en ao • 3 ao ) ( ) • en ao ao i • z t r • en ao • 3 x g • p l x g • ao ao
9. . 1 • ( ) ( • • l n ( • ( ) • r • ? • e a t • p o • x i - x i
10. 1 . • • 1 4 • • • • ) ( 45 • 45 •
11. . . 1 • k ( ) • • m no r • r w A • k ) • • to ks dr • k • e • w ga rI • m no rI h
12. 
    • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
13. . 1 • • n • l di • e c • r • ha • b di • e di • • v (-( ) ( • ot
14. 2 . 1 • ae • sy c ae o • l ae f d • l h ) ( • ( )) ) • l f • • • gi n • p r • ae t
15. 
    • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
16. . 1 . . . . 4 34 • ( • ( • ( • ) (
17. 1 . . 1 3 • o ( • c ) l • • p • a e- - • n - • o i
18. 1 . . 1 3 • ( ( ) • • a • l d d • i g n • e d
19. 1 . . 1 3 • ) ( • ) - d • a ( ( d • c •
20. 1 . . 1 3 • c y i )( • 6 y 6 • y • 6 6 a o y • y e a • y 0 n e • r m s d y • yp o m
21. 1 . . 1 3 • ac • ac -( - • r r • o • sm f b e • t ) • o d t • • t ( ) • ni - t • h d ni 8 l
22. 
    • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
23. . . 4 1 • n . ( ) D 7 • i a • • l D M t • . ( ) . ( 3 P D M • s . ( ) . ( g 1 1 nDa • M • • e Da D
24. . . 1 4 • u v • v u • m l i n ae f l v • u • i • t ( ) u • u • d • u • u • u • u • l
25. 
    • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
26. . 1 . - : A 5 • m • a • • • • n • • • i x • x •
27. . 1 . - : 5 • 1 5 • V(St ) • 3 X • 0 5 • O 0 5 • • 0 5 • . O X 1 5 • . O X 1 5 • X 0 5
28. . 1 . - : 5 • x g () r • r t • r t g p • t r g p • d g g a g p • eo g • yo g • g • g a g * ) ) () • o mv t l i
29. . 1 . - 5 • T it • Dm • rd p it c f no • V(St ) ← V(St ) + α [ V(St+1 ) – V(St ) ] • St rd it • St+1 rd it • α m l( ) e • ed • a ) ( 2 • V(St+1 ) – V(St )
30. . 1 . - 5 • i d 8 • e o d • 8 • 8 • • i d • • 8 • l 7 • p • k g l • r 34.24 125 , , n 9 ( w • • 9 )w
31. 
    • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
32. • • • • • • () • () • • ) • ) •
33. 
    • : 3 2 7 : • .47:5 24 4: -41 :7:6 • A1 4 • 4 4: 5 .47:5 24 4: -41 :7:6 • -7 7 1 7 : 1:3 2 4 • : A 4:343 A1 4 72 12 4 • 1 • 1 7 5 .47:5 24 4: -41 :7:6
34. 1 3 1 1 . 3 1 7 • - - 1 1- 3 • • )- 2 (221 1 2 1 l fi b puEi ML - , 1 - 1 - aEt cwht • - • egkt • 1 1 - D 1 - 1 • r s - 3 - 3 s b s b ,- - 1 - 1 , v 1 1- 3 nuEv o myE • 1 - 221 1 1 1 • OC L • 1 - 1 2 1 • d PC
35. 1 3 1 1 . 3 1 7 • • T 3Q • • 3 Q • - Q 3 -Q • • D A C 3
36. • .