AIか何かについて.pdf

Transcript

1. AIか何かについて
 kunou 2019/7/19

2. 今回は
 「強化学習」
 の話をしようと思います

3. 強化学習って何？

4. 強化学習って何？
 強化学習（きょうかがくしゅう、英: Reinforcement learning）とは、ある環境内におけ るエージェントが、現在の状態を観測し、取るべき行動を決定する問題を扱う機械学 習の一種。エージェントは行動を選択することで環境から報酬を得る。強化学習は一 連の行動を通じて報酬が最も多く得られるような方策(policy)を学習する。代表的な 手法としてTD学習やQ学習が知られている。 最も基本的なモデルでは、ここでの環境は、有限状態数のマルコフ決定過程として定 式化される。また、強化学習のアルゴリズムは動的計画法に類似したアルゴリズムで ある。 https://ja.wikipedia.org/wiki/%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92
5. 強化学習って何？
 強化学習（きょうかがくしゅう、英: Reinforcement learning）とは、ある環境内におけ るエージェントが、現在の状態を観測し、取るべき行動を決定する問題を扱う機械学 習の一種。エージェントは行動を選択することで環境から報酬を得る。強化学習は一 連の行動を通じて報酬が最も多く得られるような方策(policy)を学習する。代表的な 手法としてTD学習やQ学習が知られている。 最も基本的なモデルでは、ここでの環境は、有限状態数のマルコフ決定過程として定 式化される。また、強化学習のアルゴリズムは動的計画法に類似したアルゴリズムで ある。 https://ja.wikipedia.org/wiki/%E5%BC%B7%E5%8C%96%E5%AD%A6%E7%BF%92
6. 強化学習って何？
 https://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%AB%E3%82%B3%E3%83 %95%E6%B1%BA%E5%AE%9A%E9%81%8E%E7%A8%8B マルコフ決定過程 ある状態(S0 | S1 | S2 )の時に、ある行動(a0 | a1 )を取ると、 確率的に報酬を得て次の状態に遷移する。 強化学習では、解きたい問題をこのモデルに当てはめ、 得られる報酬が最大になる組み合わせを 自動で探し出し学習する。
7. DEMO
 時間に余裕があるうちにDEMOをします
8. DEMO
 時間に余裕があるうちにDEMOをします 今回はCatcherという非常に単純なゲームを学習させました 画面上部から落ちてくるボールをバーを左 右に動かして受け止めるゲームです。 ボールを受け止められるとスコアが増え、 ボールを落とすとスコアが減ります。 ボールを３回落とすとゲームオーバーになり ます。
9. どうやって行動を決定してるの？

10. どうやって行動を決定してるの？
 今回は ニューラル ネットワーク (学習済み) 0(左) 1(右) 2(入力 なし) 直近4フレームから ※1 実際は回帰問題なので分類問題では 無いのですが、説明を単純にするため便 宜上分類問題のように書いています アクションを決定してい る ※1
11. どうやって行動を決定してるの？
 今回は ニューラル ネットワーク (学習済み) 0(左) 1(右) 2(入力 なし) 直近4フレームから アクションを決定してい る ※1 ※1 実際は回帰問題なので分類問題では 無いのですが、説明を単純にするため便 宜上分類問題のように書いています データとしては、縦、横、フレームの 3 次元配列で表現できる ※2 ※2 この問題の場合は色は重要ではない のでグレースケールとして扱っている
12. どうやって行動を決定してるの？
 今回は ニューラル ネットワーク (学習済み) 0(左) 1(右) 2(入力 なし) 直近4フレームを表す配 列を受け取り アクションに応じた数値 を返す ※1 ※1 実際は回帰問題なので分類問題では 無いのですが、説明を単純にするため便 宜上分類問題のように書いています [ [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], [[256, 128, 192, 192], ...], : ]
13. どうやって学習してるの？

14. どうやって学習してるの？
 今回はQ-learningという手法を使っています。
15. どうやって学習してるの？
 今回はQ-learningという手法を使っています。 概念的にはQTableと呼ばれる表をイメージすると理解しやすいです。
16. どうやって学習してるの？
 QTable(初期状態) 状態\行動 ← → そのまま 0.323 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325 各セルを乱数で 初期化を行う
17. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま 0.323 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325
18. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま 0.323 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325 もしこの状態に 一致するならば…
19. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま 0.323 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325 もしこの状態に 一致するならば… 報酬が最大になる アクションを選択す る
20. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま 0.323 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325 もしこの状態に 一致するならば… 報酬が最大になる アクションを選択す る その結果ボールを 落とす
21. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま -0.123 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325 もしこの状態に 一致するならば… ボールを落としたの で報酬を減らす※ ※1 実際の計算方法については省略
22. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま -0.123 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325 再度この状態に 一致するならば…
23. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま -0.123 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325 再度この状態に 一致するならば… 報酬が最大になる アクションを選択す る
24. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま -0.123 -0.345 0.234 -0.111 0.222 0.333 -0.432 0.543 0.325 再度この状態に 一致するならば… 報酬が最大になる アクションを選択す る その結果、ボール を得られる
25. どうやって学習してるの？
 QTable(学習中) 状態\行動 ← → そのまま -0.123 -0.345 0.534 -0.111 0.222 0.333 -0.432 0.543 0.325 再度この状態に 一致するならば… ボールを得られた ので報酬を増やす
26. どうやって学習してるの？
 以降これを繰り返すことで学習が進んでいきます。
27. どうやって学習してるの？
 以降これを繰り返すことで学習が進んでいきます。 ただし実際のQTableの状態は、256階調のグレースケール画像として、 256の25600(80 x 80 x 4)乗もの とてつもなく膨大な組み合わせ数が存在することになります。 Google先生も匙を 投げる大きさ
28. どうやって学習してるの？
 以降これを繰り返すことで学習が進んでいきます。 ただし実際のQTableの状態は、256階調のグレースケール画像として、 256の25600(80 x 80 x 4)乗もの とてつもなく膨大な組み合わせ数が存在することになります。 そのため、実際には畳み込みニューラルネットワークを利用して 画面の特徴量をニューラルネットワークに学習させることで、状態数が爆発的に増え るのを防いでいます。 Google先生も匙を 投げる大きさ
29. まとまってない まとめ
 ライブラリやドキュメントが整備されてきたため、 個人でも強化学習を簡単に出来るようになってきました。 (ただしマシンパワー必須) AIの用途として画像分類や自然言語解析など 実用性の高いものも面白いですが、 ゲームを操作させるというのはより人工知能らしくて面白いので、 興味がある人はいかがでしょうか。
30. 付録
31. ニューラルネットって何してるの？
 例えば画像分類だと ニューラル ネットワーク (学習済み) 0(猫) 1(犬) ある画像を受け取り 分類に応じたラベルを返 す
32. ニューラルネットって何してるの？
 例えば画像分類だと ニューラル ネットワーク (学習済み) 0(猫) 1(犬) ある画像を受け取り 分類に応じたラベルを返 す データとしては、縦、横、 RGBの3 次元配列で表現できる
33. ニューラルネットって何してるの？
 例えば画像分類だと 関数 0 [ [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], : ] 1 [ [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], [[256, 128, 192], [211, 73, 81], ...], : ] ある配列を受け取り 分類に応じた数値を返 す
34. ニューラルネットって何してるの？
 つまり、ニューラルネットワークとは非常に複雑な関数の実装
35. どうやって学習してるの？

36. どうやって学習してるの？
 時間切れ 気力があったら書きます