Submission with Numerai Compute using GCP Batch

Transcript

1. Submission with Numerai Compute using GCP Batch regonn@Numerai Meetup #8 2024/07/20
2. Self Introduction • @regonn_haizine • Freelancer(AI & Web3 & Metaverse) • Since 2017 • Signals 2022 FNC Master(Top 10)
3. • Data Crunch Since 2021
4. • Yiedl(Rocket Capital) Since 2021 • MUSA Token?
5. I was not aware of Flock.io, but I have previously researched federated learning, and it is a field I am interested in.
6. もくもく作業会 Focused Working Group • 毎週⽔曜⽇に夜 21:00~ • @Numerai Japan Discord • それぞれ、やることを持ち寄って作業 • A session where participants bring their individual tasks and work quietly and independently.
7. GCP Batch • サーバーレスでコードを実⾏できる • 処理時だけサーバーが起動する • Can be executed serverlessly • Numerai Cli だと Google Cloud Run を利⽤する ため、メモリが最⼤ 32G だがそれ以上に増 やせる • GPUも指定できる(AWS Fargate)だとできない? • Has few server resource limitations • Google Storage に学習済みモデルを置いてお いて、そこから学習も可 • Pre-trained models can also be utilized.
8. https://github.com/numerai/numerai-cli GCP Batch
9. 実際のコード • ⼀部のNumeraiのモデルはコードで公開して います • I have made some of my Numerai models public. • 実際に動かさなくても多少Numerai始める時の参 考になるかも • It might be a useful reference when starting with Numerai, even if you don't actually run it. • https://numer.ai/open_model_2 • https://github.com/regonn/numerai-open- models
10. GCP Batchの料⾦ (The cost of GCP Batch) • Daily Submission で毎回10モデル程度 (RAM: 約100GB)動かしていて、⽉額1万 円弱(1モデル 1,000円以下) • Each model costs just under 1000 yen per month.
11. Tips • Batchの処理が失敗に終わる • メモリオーバーの際には処理がそこで終 わって失敗扱いになる • Please be careful of memory overflows. • エラー処理や処理完了通知などはDiscord に通知で送る • Send notifications to Discord • GPUはリソースが空きにくく実⾏されに くいため、時間制限のある Daily Submission はきついかも? • There might not be enough GPU resources available on GCP? • 複数モデルデプロイする場合はリージョ ン毎にCPU数制限があるので、リージョ ンは分散させるか、制限緩和申請が必要 • Deploy models in multiple regions.
12. Thank you. • Discordのもくもく作業会で引き続きオー プンモデル作っているので、何かネタ あったら教えてください • I am continuing to create open models during the Discord focus work sessions, so if you have any ideas, please let me know.