Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Towards Understanding Chinese Checkers with Heu...
Search
Masanori YANO
June 07, 2019
Science
0
490
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
論文LT会で作成したChinese Checkers論文の説明資料です。
Masanori YANO
June 07, 2019
Tweet
Share
More Decks by Masanori YANO
See All by Masanori YANO
Novelty Detection Via Blurring
msnr
0
510
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
msnr
0
560
Pyramid-Based Fully Convolutional Networks for Cell Segmentation
msnr
0
550
Free-Form Image Inpainting with Gated Convolution
msnr
0
1k
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection
msnr
0
660
Move Evaluation in Go Using Deep Convolutional Neural Networks
msnr
1
840
AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search
msnr
0
1.2k
SRCNN: Image Super Resolution Using CNN
msnr
0
680
One-Class Convolutional Neural Network
msnr
0
1.3k
Other Decks in Science
See All in Science
MoveItを使った産業用ロボット向け動作作成方法の紹介 / Introduction to creating motion for industrial robots using MoveIt
ry0_ka
0
460
局所保存性・相似変換対称性を満たす機械学習モデルによる数値流体力学
yellowshippo
1
250
トラブルがあったコンペに学ぶデータ分析
tereka114
2
1.6k
07_浮世満理子_アイディア高等学院学院長_一般社団法人全国心理業連合会代表理事_紹介資料.pdf
sip3ristex
0
370
データベース01: データベースを使わない世界
trycycle
PRO
1
620
証明支援系LEANに入門しよう
unaoya
0
1k
機械学習 - K-means & 階層的クラスタリング
trycycle
PRO
0
780
統計学入門講座 第1回スライド
techmathproject
0
320
ほたるのひかり/RayTracingCamp10
kugimasa
1
670
Introd_Img_Process_2_Frequ
hachama
0
550
生成AI による論文執筆サポートの手引き(ワークショップ) / A guide to supporting dissertation writing with generative AI (workshop)
ks91
PRO
0
490
Online Feedback Optimization
floriandoerfler
0
1.4k
Featured
See All Featured
Visualization
eitanlees
146
16k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
15
890
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
180
53k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
Producing Creativity
orderedlist
PRO
346
40k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
34
2.3k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
19
1.3k
The Cost Of JavaScript in 2023
addyosmani
49
8.1k
Code Reviewing Like a Champion
maltzj
523
40k
Transcript
画像処理&機械学習 論文LT会 #3 Towards Understanding Chinese Checkers with Heuristics, Monte
Carlo Tree Search, and Deep Reinforcement Learning 2019年6月7日(金) 矢農 正紀 (Masanori YANO)
論文 2 Towards Understanding Chinese Checkers with Heuristics, Monte Carlo
Tree Search, and Deep Reinforcement Learning 論文のURL: https://arxiv.org/abs/1903.01747 ⇒ Chinese Checkersに、AlphaZeroの手法を適用した論文 著者は、オーストラリアのシドニー大学のメンバー 選んだ理由 ・AlphaZeroの応用に関心があり、arXiv論文を検索 - AlphaGoから3年が経過しても、期待ほど広がらない - CNNによる状態の認識やMCTSは、応用もあると期待 CNN: Convolutional Neural Network(畳み込みニューラルネットワーク) MCTS: Monte-Carlo Tree Search(モンテカルロ木探索)
Google DeepMindメンバーの囲碁研究 3 [0] ICLR 2015の論文: CNNで「KGS Go Server」の打ち手を55%予測 https://arxiv.org/pdf/1412.6564.pdf
[1] AlphaGo Fan: 「KGS Go Server」の棋譜データでプロ棋士に勝利 https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf [2] AlphaGo Lee: トップクラスのプロ棋士に勝利 [3] AlphaGo Master: ネット碁で、プロ棋士に無敗 [4] AlphaGo Zero: 棋譜データを使わずに強く https://deepmind.com/documents/119/agz_unformatted_nature.pdf [5] AlphaZero: 囲碁に加えて、チェスと将棋でも強く https://deepmind.com/documents/260/alphazero_preprint.pdf ⇒ AlphaZeroで、Google DeepMindの「囲碁研究は」終了 論文に関心ある場合は、赤字の論文からが読みやすいかも
Chinese Checkersとは 4 手番ごとにコマを動かすゲームで、中国とは無関係 ・全ての自分のコマを、対岸まで移動させることが目的 ・ふつうの1マス移動に加えて、他のコマ一つを飛び越せる ・飛び越して動かすときは、繰り返し飛び越すことが可能 ・囲碁や将棋やチェッカーと異なり、コマは取られない ・論文では二人対戦に限定し、コマの数も赤と青6個ずつ ・論文では、距離が2以上のコマも飛び越せるルールを採用
論文のChinese Checkersの状態表現 5 7×7×7のテンソルを入力とし、ResNet構造のCNN ・7×7の行列に、コマのID(1~6)を埋め込み ・(赤と青)×3ターン+手番=7枚のチャネル ・AlphaGo ZeroやAlphaZeroと同様に、 CNNは、盤面の価値と打ち手の方策を出力
論文のMCTS(モンテカルロ木探索) 6 MCTSを175回繰り返し、1盤面の価値と方策を取得 [1] 次に探索すべき手を求める(ノイズを加えて、確率的に) [2] まだ探索していない手であれば、新しいLeafを展開 [3] 訪問ルートとLeafのCNN予測値を使って、データを更新 ⇒
180回の対戦で得られたデータを使って、CNNを学習 損失関数は、AlphaGo ZeroやAlphaZeroと同一 交差エントロピーなので「-」が付くはず
論文の結果・まとめ 7 Chinese Checkersに、AlphaZeroの手法を適用 ・ヒューリスティックを入れれば、経験者に100戦中63勝 (探索範囲を制限/最初はGreedyなエージェントで対戦) ・tabula rasa(ゼロから)ではヒューリスティック入りに全敗 ・比較対象のQ学習では、基本的な打ち方しか獲得できず 所感
・GTX 1080一枚のハードウェア環境で経験者超えは凄い ・コマ1個ごとに1チャネルとした方が、学習しやすそう (拡張も踏まえて、チャネル数の増加を嫌った可能性も)