Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Move Evaluation in Go Using Deep Convolutional ...
Search
Masanori YANO
July 22, 2019
Science
1
850
Move Evaluation in Go Using Deep Convolutional Neural Networks
論文LT会で作成した、CNNで囲碁の打ち手を予測する論文の説明資料です。
Masanori YANO
July 22, 2019
Tweet
Share
More Decks by Masanori YANO
See All by Masanori YANO
Novelty Detection Via Blurring
msnr
0
520
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
msnr
0
570
Pyramid-Based Fully Convolutional Networks for Cell Segmentation
msnr
0
570
Free-Form Image Inpainting with Gated Convolution
msnr
0
1k
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection
msnr
0
680
AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search
msnr
0
1.2k
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
msnr
0
500
SRCNN: Image Super Resolution Using CNN
msnr
0
710
One-Class Convolutional Neural Network
msnr
0
1.3k
Other Decks in Science
See All in Science
傾向スコアによる効果検証 / Propensity Score Analysis and Causal Effect Estimation
ikuma_w
0
120
論文紹介 音源分離:SCNET SPARSE COMPRESSION NETWORK FOR MUSIC SOURCE SEPARATION
kenmatsu4
0
290
深層学習を用いた根菜類の個数カウントによる収量推定法の開発
kentaitakura
0
180
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
180
Lean4による汎化誤差評価の形式化
milano0017
1
290
AI(人工知能)の過去・現在・未来 —AIは人間を超えるのか—
tagtag
1
110
01_篠原弘道_SIPガバニングボード座長_ポスコロSIPへの期待.pdf
sip3ristex
0
640
Machine Learning for Materials (Challenge)
aronwalsh
0
320
機械学習 - 授業概要
trycycle
PRO
0
230
統計的因果探索: 背景知識とデータにより因果仮説を探索する
sshimizu2006
4
990
07_浮世満理子_アイディア高等学院学院長_一般社団法人全国心理業連合会代表理事_紹介資料.pdf
sip3ristex
0
580
baseballrによるMLBデータの抽出と階層ベイズモデルによる打率の推定 / TokyoR118
dropout009
1
550
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
We Have a Design System, Now What?
morganepeng
53
7.7k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
The Language of Interfaces
destraynor
160
25k
Imperfection Machines: The Place of Print at Facebook
scottboms
268
13k
Site-Speed That Sticks
csswizardry
10
780
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Transcript
画像処理&機械学習 論文LT会 #5 Move Evaluation in Go Using Deep Convolutional
Neural Networks 2019年7月22日(月) 矢農 正紀 (Masanori YANO)
論文 2 Move Evaluation in Go Using Deep Convolutional Neural
Networks 論文のURL: https://arxiv.org/abs/1412.6564 ⇒ CNNで「KGS Go Server」の打ち手を予測した論文 著者の所属は、トロント大学・Google Brain/DeepMind 選んだ理由 ・AlphaGoやAlphaZeroの手法の応用に関心あり ・CNNへの入力とするための「状態の表現」に関心あり (囲碁や将棋は、基本的なルールを把握している程度)
Google DeepMindメンバーの囲碁研究 3 [0] ICLR 2015の論文: CNNで「KGS Go Server」の打ち手を55%予測 https://arxiv.org/pdf/1412.6564.pdf
[1] AlphaGo Fan: 「KGS Go Server」の棋譜データでプロ棋士に勝利 https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf [2] AlphaGo Lee: トップクラスのプロ棋士に勝利 [3] AlphaGo Master: ネット碁で、プロ棋士に無敗 [4] AlphaGo Zero: 棋譜データを使わずに強く https://deepmind.com/documents/119/agz_unformatted_nature.pdf [5] AlphaZero: 囲碁に加えて、チェスと将棋でも強く https://deepmind.com/documents/260/alphazero_preprint.pdf ⇒ AlphaZeroで、Google DeepMindの「囲碁研究は」終了 論文に関心ある場合は、赤字の論文からが読みやすいかも 今回取り上げる論文
コンピュータ囲碁のアプローチ 4 2006年以降、MCTS(モンテカルロ木探索)が主流 ・現在の状態から、乱数を含めて終局までシミュレーション ・シミュレーションするための評価関数は、MCTSでも重要 ⇒ AlphaGoは、CNN評価関数+強化学習+MCTS CNN評価関数の入力 ・サイズは、囲碁の盤面と同じく19×19 ・チャネルは、現在の状態と、それに関連する特徴量
(例) 現在の局面: 黒/白で2チャネル、空きで1チャネル CNN評価関数の出力 [1] 現在の状態の評価値(その局面が、有利か不利か) [2] 次に取るべき行動(どの手を打つべきか)
本論文のアプローチ 5 現在の状態を「36チャネル×19×19」で表現 [参考] AlphaGoは48チャネルと、13/15チャネル(対戦用) AlphaGo ZeroとAlphaZero(の囲碁)は17チャネル 対象とした「KGS Go Server」参加者のランク:
初段~9段 ⇒ 9チャネルのうち一つの19×19を全て1とし、他を全て0 CNNはゼロパディング+最初だけ5×5で、以降は全て3×3 教師データ数は27.4 millionで、テストデータ数は2 million
本論文の主な結果(1/2) 6 CNNのレイヤー数を変えたときの、棋譜との一致率 ・中間層のチャネル数は128で、比較用に3レイヤーは16も ・横軸のは、CNNの出力のうちtop-(上位の手まで)
本論文の主な結果(2/2) 7 CNNのレイヤー数を変えたときの、一致率と強さ ・中間層のチャネル数は128で、比較用に3レイヤーは16も ⇒ 12レイヤーのCNNの「55.2%」が最高 ・囲碁プログラムのGnuGoと対戦させたときの勝率も評価 ・CNNを使った既存研究や、2014年の「彩」より高い精度 ・KGSで6段の、GnuGoには完勝する打ち手と同等の精度
まとめ 8 本論文は、CNNにより高い精度で人が打つ手を予測 ・テストデータで、最高55%の精度(top-1) ・論文には、CNNの出力だけでMCTSに勝利した棋譜も ・AlphaGoの伏線でCNN+MCTSの評価も 所感 ・この時点では、入力に特徴量も多い ・CNNの最近の手法も、少し効果あるかも (AlphaGo
Zero以降はResNet) ・「画像+特徴情報」の可能性に期待 - PFNのPaintsChainer(初期) 1チャネル+色塗りヒント3チャネル - 筑波大学の飯塚さんのGLCIC 3チャネル+マスク1チャネル