Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Numerai2024年のアップデートと戦略
Search
Nishimoto
July 18, 2024
Programming
0
510
Numerai2024年のアップデートと戦略
Numerai2024 Tokyoでトーク予定の資料です
Nishimoto
July 18, 2024
Tweet
Share
Other Decks in Programming
See All in Programming
AI Coding Agent Enablement - エージェントを自走させよう
yukukotani
13
5.8k
remix + cloudflare workers (DO) docker上でいい感じに開発する
yoshidatomoaki
0
130
AHC 044 混合整数計画ソルバー解法
kiri8128
0
330
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
rkaga
9
4.8k
Qiita Bash
mercury_dev0517
1
190
リストビュー画面UX改善の振り返り
splcywolf
0
130
AIコーディングワークフローの試行 〜AIエージェント×ワークフローでの自動化を目指して〜
rkaga
2
3.4k
SQL Server ベクトル検索
odashinsuke
0
170
ベクトル検索システムの気持ち
monochromegane
31
9.9k
エンジニア未経験が最短で戦力になるためのTips
gokana
0
260
AWSで雰囲気でつくる! VRChatの写真変換ピタゴラスイッチ
anatofuz
0
140
Rollupのビルド時間高速化によるプレビュー表示速度改善とバンドラとASTを駆使したプロダクト開発の難しさ
plaidtech
PRO
1
160
Featured
See All Featured
Building a Modern Day E-commerce SEO Strategy
aleyda
40
7.2k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
Into the Great Unknown - MozCon
thekraken
37
1.7k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
What's in a price? How to price your products and services
michaelherold
245
12k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
104
19k
Faster Mobile Websites
deanohume
306
31k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Done Done
chrislema
183
16k
GraphQLとの向き合い方2022年版
quramy
46
14k
Transcript
Updates and Strategy for Numerai in 2024 - v4.3 &
v5.0 data analysis - Numerai Tokyo Meetup 2024/07/20
- Nishimoto - Twitter: @nishimt_general - Kaggle: nishimoto -
ML Engineer at Web service company - NLPやLLMで業務効率化 自己紹介 2
目次 3 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
Numerai Updates from 2023 to 2024 • メジャーなアップデート ◦
評価指標がTCからMMCに (link) ◦ データのアップデート (v4.2 → v4.3 → v5.0; link) • その他アップデート ◦ Model uploads(link) ◦ とても便利 4
https://numer.ai/data/v4.3 特徴量大幅増加(2376 features) もはやメモリで読み込めないデータ量 ベンチマークが使用可能に メジャーアップデート - data update(v4.3) 5
https://numer.ai/data/v5.0 (発表の3日前に公開された) - (たぶん)新しい特徴はない - Universe(ターゲット)が増えた メジャーアップデート - data update(v5.0)
6 Copilot
・MMC(Meta Model Contribution) とCorrelationが評価指標に ・Staking は 0.5corr + 2MMCに ・MMCはローカルで計算可能;
参考 メジャーアップデート - 評価指標の変化 7
目次 8 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
・ベンチマークとは? → Numeraiによりベンチマークの予測結果が配布されている Announcements ・ベンチマークとメタモデルの相関を計算 ・ベンチマークのMMCを算出 V4.3 ベンチマークデータ解析 9
v4.2データ系モデルが Era > 1083以降は強く相関 ベンチマーク vs メタモデルの相関 10
ベンチマーク vs メタモデルの相関 11 最新10Eraでの相関平均値 All benchmark
ベンチマークのMMC値(全ベンチマーク) 12 全体的な動きは似てる...かも?
→ Targetとの相関が高いと、MMCも高くなる ベンチマークのMMC値 13 Correlation between Benchmark vs Target
全Era 最新10 Era X: ベンチマークのTarget値との相関係数 Y: MMC
→ メタモデルと相関が低い方が、MMC値は高くなる しかし、最新10Eraではその傾向は見られない ベンチマークのMMC値(ベンチマーク vs メタモデル) 14 Correlation between
metamodel 全Era 最新10 Era X: ベンチマーク予測値とメタモデル予測値の相関 Y: MMC
・ベンチマークにより検証が簡単に → 「V4.2 rain ensemble」がメタモデルと高い相関(疑似メタモデルとして使用し てもいいかも) ・高MMC取得のために → Targetと高い相関+メタモデルと低い相関が重要
まとめ - v4.3ベンチマーク解析 15
目次 16 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
知りたいこと:各Eraの特徴を知りたい → 各Eraごとに特徴量間の相関係数を全通り計算、相関係数の値を各Eraの特徴とする feat1-feat2 feat1-feat3 feat2-feat3 Era1 0.5 -1
0.5 Era2 1 -1 0.7 Era3 ... ... ... Targetを使わないでEraの特徴を捉える 17 era feat1 feat2 feat3 sample1 1 3 2 1 sample2 1 1 2 2 sample3 2 1 2 2 sample4 2 3 4 1 sample5 ... ... ... ... Numerai data feat vs feat per Era data Era1 vs Era2 correlation: 0.8 Era1 vs Era3 correlation: 0.7.... Use medium(705features) data
古いEraはかなり相関が低い(Era < 106) 逆に、近いEraがかなり相関高い Targetを使わないでEraの特徴を捉える 18 Correlation(Spearman) Latest era
Era
データをよく見てみると、Eraが小さいところではすべての値が同じ列などが散見される Targetを使わないでEraの特徴を捉える 19
Targetを使わないでEraの特徴を捉える - 評価 20 Mean: 0.017, Sharpe: 0.832 Era Era
Mean: 0.017, Sharpe: 0.835 全Era 古いEra除外(Era > 106) Corr → 除外すればうまくいく...わけではない
目次 21 • Numerai Updates from 2023 to 2024 ◦
データのアップデート ◦ 評価指標がTCからMMCに • Numerai Strategy for 2024 ◦ V4.3 ベンチマークデータ解析 ◦ Targetを使わないでEraの特徴を捉える ◦ V5.0 データ解析 • まとめ
https://numer.ai/data/v5.0 (発表の3日前に公開された) - (たぶん)新しい特徴はない - Universe(ターゲット)が増えた - Trainingだと20%くらいターゲットが 増えてる メジャーアップデート
- data update(v5.0) 22 Copilot
V5.0 データ解析 23 v4.3(Mean: 0.0223, Sharpe: 0.8976) v5.0(Mean: 0.0264,
Sharpe: 1.1396) Era Era Correlation とりあえず予測(medium features, target only)
V5.0 データ解析 24 v4.3(Mean: 0.0174, Sharpe: 0.9028) v5.0(Mean: 0.0003,
Sharpe: 0.0237) Era Era Correlation とりあえず予測(medium features, target only, 100% feature neutlization )
Targetを使わないでEraの特徴を捉える(v4.3 & v5.0) 25 v4.3 v5.0 Era Era Correlation 前章の「Targetを使わないでEraの特徴を捉える」を
v4.3 & v5.0 データで実施
まとめ ・評価指標のアプデがあった ・V4.3のベンチマークの解析から - targetとの相関は高く - メタモデルとの相関は低く ・V4.3データのtargetを使わないEra解析より - 特徴量間の関係性が古いデータでは変わっている
- 新規データの方が関係性が保たれている ・V5.0データ解析 - Feature neutralizationいらないかも? - 予測Universeは変わったが、特徴量間の相関の雰囲気は変わってなさそう 26
Links - Analyze benchmark - Non target era features -
Simple prediction 27
Thank you! 28