Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Numerai2024年のアップデートと戦略
Search
Nishimoto
July 18, 2024
Programming
0
270
Numerai2024年のアップデートと戦略
Numerai2024 Tokyoでトーク予定の資料です
Nishimoto
July 18, 2024
Tweet
Share
Other Decks in Programming
See All in Programming
GoのIteratorに詳しくなってしまう
inatonix
1
200
Prolog入門
qnighy
4
990
私のEbitengineの第一歩
qt_luigi
0
440
RAGの回答精度評価用のQAデータセットを生成AIに作らせた話
kurahara
0
240
What we keep in mind when migrating from Serverless Framework to AWS CDK and AWS SAM
kasacchiful
1
140
Swiftコードバトル必勝法
toshi0383
0
150
Rustではじめる負荷試験
skanehira
5
1.2k
エンジニア1年目で複雑なコードの改善に取り組んだ話
mtnmr
3
1.9k
Amazon Neptuneで始める初めてのグラフDB ー グラフDBを使う意味を考える ー
satoshi256kbyte
2
250
オートマトン学習しろ / Do automata learning
makenowjust
3
120
dRuby 入門者によるあなたの身近にあるdRuby 入門
makicamel
4
350
サーバーレスで負荷試験!Step Functions + Lambdaを使ったk6の分散実行
shuntakahashi
6
1.5k
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
78
8.6k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
27
8.9k
10 Git Anti Patterns You Should be Aware of
lemiorhan
653
58k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
109
6.9k
A Modern Web Designer's Workflow
chriscoyier
691
190k
GitHub's CSS Performance
jonrohan
1029
450k
The Cult of Friendly URLs
andyhume
76
6k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.6k
Bash Introduction
62gerente
608
210k
Designing with Data
zakiwarfel
98
5k
How GitHub (no longer) Works
holman
310
140k
Transcript
Updates and Strategy for Numerai in 2024 - v4.3 &
v5.0 data analysis - Numerai Tokyo Meetup 2024/07/20
- Nishimoto - Twitter: @nishimt_general - Kaggle: nishimoto -
ML Engineer at Web service company - NLPやLLMで業務効率化 自己紹介 2
目次 3 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
Numerai Updates from 2023 to 2024 • メジャーなアップデート ◦
評価指標がTCからMMCに (link) ◦ データのアップデート (v4.2 → v4.3 → v5.0; link) • その他アップデート ◦ Model uploads(link) ◦ とても便利 4
https://numer.ai/data/v4.3 特徴量大幅増加(2376 features) もはやメモリで読み込めないデータ量 ベンチマークが使用可能に メジャーアップデート - data update(v4.3) 5
https://numer.ai/data/v5.0 (発表の3日前に公開された) - (たぶん)新しい特徴はない - Universe(ターゲット)が増えた メジャーアップデート - data update(v5.0)
6 Copilot
・MMC(Meta Model Contribution) とCorrelationが評価指標に ・Staking は 0.5corr + 2MMCに ・MMCはローカルで計算可能;
参考 メジャーアップデート - 評価指標の変化 7
目次 8 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
・ベンチマークとは? → Numeraiによりベンチマークの予測結果が配布されている Announcements ・ベンチマークとメタモデルの相関を計算 ・ベンチマークのMMCを算出 V4.3 ベンチマークデータ解析 9
v4.2データ系モデルが Era > 1083以降は強く相関 ベンチマーク vs メタモデルの相関 10
ベンチマーク vs メタモデルの相関 11 最新10Eraでの相関平均値 All benchmark
ベンチマークのMMC値(全ベンチマーク) 12 全体的な動きは似てる...かも?
→ Targetとの相関が高いと、MMCも高くなる ベンチマークのMMC値 13 Correlation between Benchmark vs Target
全Era 最新10 Era X: ベンチマークのTarget値との相関係数 Y: MMC
→ メタモデルと相関が低い方が、MMC値は高くなる しかし、最新10Eraではその傾向は見られない ベンチマークのMMC値(ベンチマーク vs メタモデル) 14 Correlation between
metamodel 全Era 最新10 Era X: ベンチマーク予測値とメタモデル予測値の相関 Y: MMC
・ベンチマークにより検証が簡単に → 「V4.2 rain ensemble」がメタモデルと高い相関(疑似メタモデルとして使用し てもいいかも) ・高MMC取得のために → Targetと高い相関+メタモデルと低い相関が重要
まとめ - v4.3ベンチマーク解析 15
目次 16 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
知りたいこと:各Eraの特徴を知りたい → 各Eraごとに特徴量間の相関係数を全通り計算、相関係数の値を各Eraの特徴とする feat1-feat2 feat1-feat3 feat2-feat3 Era1 0.5 -1
0.5 Era2 1 -1 0.7 Era3 ... ... ... Targetを使わないでEraの特徴を捉える 17 era feat1 feat2 feat3 sample1 1 3 2 1 sample2 1 1 2 2 sample3 2 1 2 2 sample4 2 3 4 1 sample5 ... ... ... ... Numerai data feat vs feat per Era data Era1 vs Era2 correlation: 0.8 Era1 vs Era3 correlation: 0.7.... Use medium(705features) data
古いEraはかなり相関が低い(Era < 106) 逆に、近いEraがかなり相関高い Targetを使わないでEraの特徴を捉える 18 Correlation(Spearman) Latest era
Era
データをよく見てみると、Eraが小さいところではすべての値が同じ列などが散見される Targetを使わないでEraの特徴を捉える 19
Targetを使わないでEraの特徴を捉える - 評価 20 Mean: 0.017, Sharpe: 0.832 Era Era
Mean: 0.017, Sharpe: 0.835 全Era 古いEra除外(Era > 106) Corr → 除外すればうまくいく...わけではない
目次 21 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
https://numer.ai/data/v5.0 (発表の3日前に公開された) - (たぶん)新しい特徴はない - Universe(ターゲット)が増えた - Trainingだと20%くらいターゲットが 増えてる メジャーアップデート
- data update(v5.0) 22 Copilot
V5.0 データ解析 23 v4.3(Mean: 0.0223, Sharpe: 0.8976) v5.0(Mean: 0.0264,
Sharpe: 1.1396) Era Era Correlation とりあえず予測(medium features, target only)
V5.0 データ解析 24 v4.3(Mean: 0.0174, Sharpe: 0.9028) v5.0(Mean: 0.0003,
Sharpe: 0.0237) Era Era Correlation とりあえず予測(medium features, target only, 100% feature neutlization )
Targetを使わないでEraの特徴を捉える(v4.3 & v5.0) 25 v4.3 v5.0 Era Era Correlation 前章の「Targetを使わないでEraの特徴を捉える」を
v4.3 & v5.0 データで実施
まとめ ・評価指標のアプデがあった ・V4.3のベンチマークの解析から - targetとの相関は高く - メタモデルとの相関は低く ・V4.3データのtargetを使わないEra解析より - 特徴量間の関係性が古いデータでは変わっている
- 新規データの方が関係性が保たれている ・V5.0データ解析 - Feature neutralizationいらないかも? - 予測Universeは変わったが、特徴量間の相関の雰囲気は変わってなさそう 26
Links - Analyze benchmark - Non target era features -
Simple prediction 27
Thank you! 28