Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Numerai2024年のアップデートと戦略
Search
Nishimoto
July 18, 2024
Programming
0
540
Numerai2024年のアップデートと戦略
Numerai2024 Tokyoでトーク予定の資料です
Nishimoto
July 18, 2024
Tweet
Share
Other Decks in Programming
See All in Programming
Deoptimization: How YJIT Speeds Up Ruby by Slowing Down / RubyKaigi 2025
k0kubun
2
1.9k
サービスレベルを管理してアジャイルを加速しよう!! / slm-accelerate-agility
tomoyakitaura
1
200
20250426 GDGoC 合同新歓 - GDGoC のススメ
getty708
0
110
Rubyの!メソッドをちゃんと理解する
alstrocrack
1
120
インプロセスQAにおいて大事にしていること / In-process QA Meetup
medley
0
140
Contribute to Comunities | React Tokyo Meetup #4 LT
sasagar
0
590
2025-04-25 GitHub Copilot Agent ライブデモ(スクリプト)
goataka
0
100
SwiftDataのカスタムデータストアを試してみた
1mash0
0
140
個人開発の学生アプリが企業譲渡されるまで
akidon0000
2
1.2k
The New Developer Workflow: How AI Transforms Ideas into Code
danielsogl
0
110
Orleans + Sekiban + SignalR でリアルタイムWeb作ってみた
tomohisa
0
230
Beyond_the_Prompt__Evaluating__Testing__and_Securing_LLM_Applications.pdf
meteatamel
0
110
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
23
1.6k
Optimising Largest Contentful Paint
csswizardry
37
3.2k
Build your cross-platform service in a week with App Engine
jlugia
230
18k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.7k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Side Projects
sachag
453
42k
The Cost Of JavaScript in 2023
addyosmani
49
7.8k
How to Ace a Technical Interview
jacobian
276
23k
Unsuck your backbone
ammeep
671
57k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Transcript
Updates and Strategy for Numerai in 2024 - v4.3 &
v5.0 data analysis - Numerai Tokyo Meetup 2024/07/20
- Nishimoto - Twitter: @nishimt_general - Kaggle: nishimoto -
ML Engineer at Web service company - NLPやLLMで業務効率化 自己紹介 2
目次 3 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
Numerai Updates from 2023 to 2024 • メジャーなアップデート ◦
評価指標がTCからMMCに (link) ◦ データのアップデート (v4.2 → v4.3 → v5.0; link) • その他アップデート ◦ Model uploads(link) ◦ とても便利 4
https://numer.ai/data/v4.3 特徴量大幅増加(2376 features) もはやメモリで読み込めないデータ量 ベンチマークが使用可能に メジャーアップデート - data update(v4.3) 5
https://numer.ai/data/v5.0 (発表の3日前に公開された) - (たぶん)新しい特徴はない - Universe(ターゲット)が増えた メジャーアップデート - data update(v5.0)
6 Copilot
・MMC(Meta Model Contribution) とCorrelationが評価指標に ・Staking は 0.5corr + 2MMCに ・MMCはローカルで計算可能;
参考 メジャーアップデート - 評価指標の変化 7
目次 8 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
・ベンチマークとは? → Numeraiによりベンチマークの予測結果が配布されている Announcements ・ベンチマークとメタモデルの相関を計算 ・ベンチマークのMMCを算出 V4.3 ベンチマークデータ解析 9
v4.2データ系モデルが Era > 1083以降は強く相関 ベンチマーク vs メタモデルの相関 10
ベンチマーク vs メタモデルの相関 11 最新10Eraでの相関平均値 All benchmark
ベンチマークのMMC値(全ベンチマーク) 12 全体的な動きは似てる...かも?
→ Targetとの相関が高いと、MMCも高くなる ベンチマークのMMC値 13 Correlation between Benchmark vs Target
全Era 最新10 Era X: ベンチマークのTarget値との相関係数 Y: MMC
→ メタモデルと相関が低い方が、MMC値は高くなる しかし、最新10Eraではその傾向は見られない ベンチマークのMMC値(ベンチマーク vs メタモデル) 14 Correlation between
metamodel 全Era 最新10 Era X: ベンチマーク予測値とメタモデル予測値の相関 Y: MMC
・ベンチマークにより検証が簡単に → 「V4.2 rain ensemble」がメタモデルと高い相関(疑似メタモデルとして使用し てもいいかも) ・高MMC取得のために → Targetと高い相関+メタモデルと低い相関が重要
まとめ - v4.3ベンチマーク解析 15
目次 16 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
知りたいこと:各Eraの特徴を知りたい → 各Eraごとに特徴量間の相関係数を全通り計算、相関係数の値を各Eraの特徴とする feat1-feat2 feat1-feat3 feat2-feat3 Era1 0.5 -1
0.5 Era2 1 -1 0.7 Era3 ... ... ... Targetを使わないでEraの特徴を捉える 17 era feat1 feat2 feat3 sample1 1 3 2 1 sample2 1 1 2 2 sample3 2 1 2 2 sample4 2 3 4 1 sample5 ... ... ... ... Numerai data feat vs feat per Era data Era1 vs Era2 correlation: 0.8 Era1 vs Era3 correlation: 0.7.... Use medium(705features) data
古いEraはかなり相関が低い(Era < 106) 逆に、近いEraがかなり相関高い Targetを使わないでEraの特徴を捉える 18 Correlation(Spearman) Latest era
Era
データをよく見てみると、Eraが小さいところではすべての値が同じ列などが散見される Targetを使わないでEraの特徴を捉える 19
Targetを使わないでEraの特徴を捉える - 評価 20 Mean: 0.017, Sharpe: 0.832 Era Era
Mean: 0.017, Sharpe: 0.835 全Era 古いEra除外(Era > 106) Corr → 除外すればうまくいく...わけではない
目次 21 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
https://numer.ai/data/v5.0 (発表の3日前に公開された) - (たぶん)新しい特徴はない - Universe(ターゲット)が増えた - Trainingだと20%くらいターゲットが 増えてる メジャーアップデート
- data update(v5.0) 22 Copilot
V5.0 データ解析 23 v4.3(Mean: 0.0223, Sharpe: 0.8976) v5.0(Mean: 0.0264,
Sharpe: 1.1396) Era Era Correlation とりあえず予測(medium features, target only)
V5.0 データ解析 24 v4.3(Mean: 0.0174, Sharpe: 0.9028) v5.0(Mean: 0.0003,
Sharpe: 0.0237) Era Era Correlation とりあえず予測(medium features, target only, 100% feature neutlization )
Targetを使わないでEraの特徴を捉える(v4.3 & v5.0) 25 v4.3 v5.0 Era Era Correlation 前章の「Targetを使わないでEraの特徴を捉える」を
v4.3 & v5.0 データで実施
まとめ ・評価指標のアプデがあった ・V4.3のベンチマークの解析から - targetとの相関は高く - メタモデルとの相関は低く ・V4.3データのtargetを使わないEra解析より - 特徴量間の関係性が古いデータでは変わっている
- 新規データの方が関係性が保たれている ・V5.0データ解析 - Feature neutralizationいらないかも? - 予測Universeは変わったが、特徴量間の相関の雰囲気は変わってなさそう 26
Links - Analyze benchmark - Non target era features -
Simple prediction 27
Thank you! 28