新卒(ほぼ)専業Kagglerという選択肢

第4回関東Kaggler会(2025/8/23)における登壇資料
https://kanto-kaggler.connpass.com/event/362280/

Transcript

1. 新卒(ほぼ)専業Kagglerという選択肢 第4回関東Kaggler会 Ryota Kamino
2. Kaggle Winner Presentation Template 2 自己紹介1/2 神野 亮太 Ryota 経歴 • 2023/3 - 大学を卒業する(農学部) • 2023/4 - (ほぼ)専業Kaggler開始 • 2025/2  Kaggle Grandmaster昇格 • 2025/10 - フルタイム労働開始予定
3. Kaggle Winner Presentation Template 3 自己紹介2/2 出場コンペ テーブル,NLP(deberta時代),1D系列多め
4. Kaggle Winner Presentation Template 4 発表の趣旨 • 直近2年間やっていた(ほぼ)専業Kaggler時代の話 • この期間における失敗談や学んだことを共有します • 最後にお財布事情や就活の話もします
5. Kaggle Winner Presentation Template 1. 専業Kagglerとは? 2. 学生Kaggler時代の話 3. (ほぼ)専業Kaggler時代の失敗談と学び 4. その他トピック(計算リソース,お金,就活) 5. まとめ 5 目次
6. Kaggle Winner Presentation Template 6 専業Kagglerとは？
7. Kaggle Winner Presentation Template 7 専業Kagglerとは？ 先駆者 カレーちゃんさん (https://www.kaggle.com/currypurin) (https://youtu.be/Z0F7e5eidsk?si=VGOXv8cnf7hB1TE3)
8. Kaggle Winner Presentation Template (ほぼ)専業Kaggler 収入は0ではないが、Kaggleのためにフルタイムの職を持たない 、かつ学生ではない人 8 (ほぼ)専業Kagglerとは？ • スタートアップ12社でアルバイトとして働き、生活費を稼ぐ • それ以外の時間は基本的にKaggleをしている • 大体、週1020時間を仕事、週3040時間をKaggleに充てる 私の場合...
9. Kaggle Winner Presentation Template 9 学生Kaggler時代の話
10. Kaggle Winner Presentation Template 学生Kaggler時代(🥇1(solo) 🥈6 🥉2 10 学生Kaggler時代の話1/3 • 2019/9  MLの勉強を始める • 2019/10  Kaggleに登録するも挫折 • 2021/5  Kaggle再開 & 初メダル獲得 • 2021/11  Kaggle Master昇格 • 2022/8 : 専業Kaggler決意 ルールベース99%のソリューションでソロ金
11. Kaggle Winner Presentation Template 挫折から🥈🥉獲得までのギャップ 11 学生Kaggler時代の話2/3 → 圧倒的に手数が足りなかった Do Everything) そもそもの熱量の問題はありつつ... • 手を動かして試行錯誤をするというのができていなかった • 答えを先に理解してからでないと手を動かせられない状態だった 具体的にやったこと • (精度でなくても良いから )自分でベースラインを作ってみる
12. Kaggle Winner Presentation Template 新卒(ほぼ)専業Kagglerという意思決定をするにあたり考えていたこと 12 学生Kaggler時代の話3/3 • 大学院進学のモチベが出ない...周りが行っているというだけ で行きたくない • だけど就活は何もしてない • もうちょっとKaggleやりたい • Grandmasterになれば、しばらくレールを外れても耐える のでは？ • ソロ金持ってるし、1年でいけるはず(確信)
13. Kaggle Winner Presentation Template 13 (ほぼ)専業Kaggler時代の 失敗談と学び
14. Kaggle Winner Presentation Template 14 サマリー • 期間 : 2023/42025/3 • サブをしたコンペ数 : 20 • 獲得したメダル数 : 🥇5 🥈7 🥉1 (累計 : 🥇6 🥈13 🥉3 テーブル,NLP,1D系列がほとんど
15. Kaggle Winner Presentation Template 15 サマリー • 期間 : 2023/42025/3 • サブをしたコンペ数 : 20 • 獲得したメダル数 : 🥇5 🥈7 🥉1 (累計 : 🥇6 🥈13 🥉3 テーブル,NLP,1D系列がほとんど
16. Kaggle Winner Presentation Template 16 振り返って思うこと 目標を達成して嬉しいものの ... • 思ったよりも時間がかかってしまった • もっとうまくやれたのではないか ... ソロ金持ってたけど1年では行けなかった
17. Kaggle Winner Presentation Template 17 失敗談 失敗談① : 無理なスケジュールでコンペをやろうとする 失敗談② : 短期的な結果を追い求める 失敗談③ : 脳筋Do Everything
18. Kaggle Winner Presentation Template 18 失敗談① 無理なスケジュールでコンペをやろうとする 1/4 短期チャレンジからの 🥈量産 2週間チャレンジ 1週間チャレンジ 3週間チャレンジ 2週間チャレンジ 3週間チャレンジ
19. Kaggle Winner Presentation Template 19 失敗談① 無理なスケジュールでコンペをやろうとする 2/4 金を狙うなら 2ヶ月は欲しい 2ヶ月参加 2ヶ月参加 3~4ヶ月参加 時間に余裕があるとチームメイトも見つけやすい
20. Kaggle Winner Presentation Template 20 失敗談① 無理なスケジュールでコンペをやろうとする 3/4 コンペ並走失敗 並走失 敗 並走失 敗 並走失 敗 並走失 敗
21. Kaggle Winner Presentation Template 21 失敗談① 無理なスケジュールでコンペをやろうとする 4/4 • 短期チャレンジやコンペ並走での金メダルはカッコいい • タイパも良い • 実際にできる人もいる • ただし、自身の力量に合わないペースでの参加は遠回りになる
22. Kaggle Winner Presentation Template 22 失敗談② 短期的な成果のみを追い求める 1/2 コンペの復習やインプットをあまりしない状態でコンペに参加し続ける https://x.com/senkin13/status/1885206201325281348 • わかっているができない...早く金メダル欲しい... • 急がば回れの精神で意識的にインプット期間を作る (https://x.com/senkin13/status/1885206201325281348)
23. Kaggle Winner Presentation Template 23 失敗談② 短期的な成果のみを追い求める 2/2 シリーズ系コンペにおいて Private金圏にはどのくらい経験者がいるのか - 経験者=前年までの同シリーズコンペでメダルを獲得している者 - チームの場合はチームに経験者が 1人以上いればカウント 2025 2024 BirdCLEF 7/11 (63.6%) RSNA 11/14 (78.6%) 8/11 (72.7%) IMC 6/11 (54.5%) 8/11 (72.7%) • 単にその分野に強い人が毎年出ている可能性もあるが… • 過去のソリューションもかなり活かされているでは？と推測できる
24. Kaggle Winner Presentation Template 24 失敗談③ 脳筋Do Everything Do Everything • 思いついたアイデアを全て試す 脳筋Do Everything • (脳みそを使わずに )思いついた (クソみたいな )アイデアを全て試す
25. Kaggle Winner Presentation Template 25 失敗談③ 脳筋Do Everything 脳筋Do Everythingの例 • CommonLit2コンペのとある実験 • Mean Pooling,Max PoolingがあるならMin Pooling,Std Poolingも試そう
26. Kaggle Winner Presentation Template 26 失敗談③ 脳筋Do Everything そこまで酷くなくても ... • 脳死で可能な限りの集約特徴量を作る • 特徴量同士の積や商をとりあえず作る • あたりをつけずにGrid Search • 適当にアーキテクチャを変えてEnsemble • etc. やった方がいい場面もなくはないが、これだけでは全く勝てない また闇雲な実験を重ねると Overfitするリスクも高い
27. Kaggle Winner Presentation Template 27 失敗談③ 脳筋Do Everything 脳筋Do Everythingの実態 • 計算機を止めないためだけに質の低いアイデアを量産 • 実験が回っていることに安心して考察を怠る • しかし精度は上がらず、コンペ終盤にかけて疲弊していく
28. Kaggle Winner Presentation Template 28 失敗談③ 脳筋Do Everything 脳筋にならずにすんだ例 : サンタコンぺ2024 • 参加期間2週間強 • ヒューリスティックコンペ未経験 概要を理解したら、さっさとベースラインではなく ... • 最初の1週間はひたすらインプット • その後もとりあえず探索コードを書くのではなく、考察に時間を取る ◦ LB上の)最適解はどのような形状だろうか... ◦ スコアの推移と解の形状を見るに何が起こっているだろうか... • 考察をしても分からなければAHCの解法を見る • 公開情報に助けられた部分はありつつ...あっさりと金メダルが取れた ※ AHC  AtCoder Heuristic Contest ※ 11th解法 : https://www.kaggle.com/competitions/santa-2024/writeups/ryota-11th-place-solution
29. Kaggle Winner Presentation Template 29 失敗談③ 脳筋Do Everything 脳みそを使うために言語化する • データの生成過程はどうなっているのだろうか？ • なぜこの結果になったのだろうか？ • たまたまスコアが上がっているだけの可能性は？ • どういう意図/仮説でこの実験を行うのか？ 脳みそを使っても分からない場合は ...調べる • 過去コンペの解法をまずは見る • 過去コンペに載っていない場合は ,類似の論文を読む • パラメータのチューニングも論文や過去コンペコードなどからあたりをつける 精度が上がらないときは計算機は止めても良いから考えよう
30. Kaggle Winner Presentation Template 30 (ほぼ)専業Kagglerをやって得られたもの • Grandmasterになることができた • 面倒な実装に手を伸ばせるようになり、実装力やコードリーディング力 が上がった • 論文を読むようになった • 考察力が上がった
31. Kaggle Winner Presentation Template 31 その他トピック
32. Kaggle Winner Presentation Template 32 計算リソースとお金 計算リソース • 最初の半年 ◦ バイト先の会社でGoogle Cloud for Startupsを使わせてもらう ◦ T4,P100あたりのインスタンスを1~3台使用 • それ以降 ◦ vast.ai ◦ RTX3090,4090あたりのインスタンスを1台借りる(月34万) ◦ コンペ終盤は複数台使用することもあった (最大月10万) お金 • 毎月若干赤字 • 労働時間の増減 = Kaggleに費やすリソースとしてお金か時間のどちらを優先するか
33. Kaggle Winner Presentation Template 33 就活 最近就活をしていました 2025/47 • メガベンチャーとスタートアップ中心に8社応募 • 5社内定,2社書類落ち,1社選考辞退 • 基本は中途採用枠 1社だけ第二新卒枠)
34. Kaggle Winner Presentation Template 34 就活 Q. Grandmasterになったことの影響は？ - 前提として企業によって影響度合いが異なる - ポジティブな影響がありそうな企業 • Kagglerがそれなりに集まっている • 求人票にKaggleへの言及がある • 社員の方のメダル獲得時にプレスリリースを出している • Kaggler会にスポンサーを出している - 上記のような企業ではかなりポジティブな反応をもらえた - GMまで行くのはすごい - 技術的なレベルは担保されている - 技術面接の予定がGMだからという理由で急遽ケース面接になった企業があった - LinkedInで海外のスタートアップから連絡が来るようになった
35. Kaggle Winner Presentation Template 35 就活 Q. 新卒(ほぼ)専業Kagglerという選択はどう捉えられたか？ - 面接まで進めた企業ではネガティブな捉えられ方はしなかった - 空白期間ではなく挑戦期間として捉えてもらえた - 書類落ちした企業ではネガティブに捉えられたのかもしれない
36. Kaggle Winner Presentation Template 36 就活 Q. 新卒(ほぼ)専業Kagglerはおすすめできるか？ - 本人と労働市場の状況によるが、就活という観点では基本的におすすめしない - それなりに実績(研究,インターン,etc.)がある人と比較した場合、新卒就活1社目)の時点 で狙えるアップサイド(入社企業,年収)は大きくない - リターンがないわけではないが、伴うリスクが大きい - リスクとして考えられるもの • 思うような成果が挙げられない • AI発展の影響による労働市場の変化 - 自分はタイミングが良かっただけかもしれない
37. Kaggle Winner Presentation Template 37 まとめ
38. Kaggle Winner Presentation Template 38 まとめ 失敗談からの学び • 自身の力量を踏まえ、計画性のあるスケジュールでコンペに出る • コンペに出続けるよりも、意識的にインプット期間を設ける • 脳筋Do Everythingはやめろ、脳みそを使え 就活 • 新卒で就職せずに専業Kagglerをしても耐えた • ただし、就活観点でアップサイドを狙ってやるものではない お気持ち • Grandmasterになれて良かった • Kaggleに没頭する時間は純粋に楽しかった
39. Kaggle Winner Presentation Template 39