KDD2021読み会

社内で行われたKDD2021読み会で以下の3本の論文の議論を行った資料です

マーケット + 他の株からの相互作用を考慮した株価予測
Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts

多重解像度の過去データを入力にして天候予測
Micro-climate Prediction - Multi Scale Encoder-decoder based Deep Learning Framework

強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る
Globally Optimized Matchmaking in Online Games

Transcript

1. マーケット + 他の株からの相互作用を考慮した株価予測 Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts 多重解像度の過去データを入力にして天候予測 Micro-climate Prediction - Multi Scale Encoder-decoder based Deep Learning Framework 強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る Globally Optimized Matchmaking in Online Games KDD2021読み会
2. Accurate Multivariate Stock Movement Prediction via Data-Axis Transformer with Multi-Level Contexts 一言で: マーケット + 他の株からの相互作用を考慮した株価予測 超シンプルに、 • 過去の市場全体の株 価リストを入力にして • 翌日株価が上がるかど うか を当てる もっとたくさんやられてる問題だと思った
3. 過去の株価変動をLSTMで吸収 マーケット指標モ デルとそれぞれ 結合 銘柄同士の相互作用 上がるか 下がるか
4. 投資シミュレーション 各国のデータを使ってこのシス テムを使った場合の投資シミュ レーション(毎日予測値top3に リバランスするというシンプル なもの) 既存手法は突然大失敗する日 がある -> 株価同士・マーケットとの相 対的な値を見ていないからだ と説明(負けてるときに頑張っ てる株が評価されない？)
5. Micro-climate Prediction - Multi Scale Encoder-decoder based Deep Learning Framework 一言で: 多重解像度の過去データを入力にして天候予測 Microsoft Research Azure Farmbeatsという農業用 センサデータ可視化platformが ある -> このデータを元に局所的な天 候予測
6. 解像度ごとのモデル (ちなみにlong scaleはこの時 点でもLSTMをかませる) 複数レベルのWaveletを用いて 多重解像度の時間周波数画像 を得る
7. 複数時間解像度の混合モデルであることで、バースト的な値にも綺麗に追従
8. Globally Optimized Matchmaking in Online Games 一言で: 強化学習で直接点差が小さくなるオンラインゲームマッチシステムを作る Netease社 Fuxi AI Lab
10. 既存のオンラインマッチは 1. ユーザー単位のElo ratingなど をつける 2. いまいるプレイヤーの中から、 Elo ratingが近いプレイヤーを 分ける感じでgreedyに2チーム にする あくまでもbyユーザーのスコアの上での最適化
11. マッチしてみないといいマッチかわからない報酬が疎な問題 -> 強化学習で解こう
 TeamAとTeamBにすでに選ばれたメンバー
 残りの人から次に誰をTeamAまたはBにいれるか
 ドラフト方式
 マッチ毎に決まるものなら自由だが、例えば点差

12. テクニック プレイヤーの特徴量はもちろんゲームによって異なるし、ドメインエキスパート が設計 リリース時にハチャメチャな挙動をしないように、オフライン事前学習 * 1. すでに行われたマッチ結果を使って疑似報酬関数を作る * (TeamA, TeamB) -> 予想点差モデル * 2. ↑の報酬関数を最大化するように一旦オフラインで強化学習 * 3. 最終的にリリースして実点差を使ってfine-tune
13. 結果 ところで、Netease Fuxi AI LabはよくFeverBasketballを使ってるようで、強化学習で FeverBasketをやるエージェントも公開 してる https://github.com/FuxiRL/FeverBasketball 実環境にデプロイしての効果検証 (100,000試合以上) Original(ゲーム内の実実装)よりも点 差が小さくなった