【第5回】関東Kaggler会「2025年に開催されたkaggleコンペの振り返り」

第5回関東kaggler会のLT資料を公開用に編集したものです．

Transcript

1. 2026/1/17 (土) 第5回 関東kaggler会 LT 2025年に開催されたkaggleコンペの振り返り takaito
2. 1 自己紹介 名前: 高野 海斗（たかいと） 略歴: ～2021年3月: 博士後期課程 修了 (理工学博士) 2021年4月～: 資産運用会社 入社 (クオンツ) 2025年6月～: 大阪公立大 (客員研究員) 専門分野: 自然言語処理 (NLP) × 金融 (Finance) KaggleやatmaCupを中心にコンペに参加する毎日を過ごしています
3. 2 2025年に開催されたkaggleコンペの振り返り 2025年に開催されたコンペを簡単に振り返ることで ① 2026年のこれから開催されるコンペに備える！ ・ 過去コンペから学べることはたくさんある！ ② この後の懇親会で話すきっかけを提供する！ ・ 同じコンペに参加していた人同士でぜひ盛り上がってください！ ※ コンペ数が多いため，詳細な解法などは紹介しているまとめ記事などを参考にしていただけますと幸いです ※ 2025年開催の定義は適当で，2024年にスタートしたコンペや2026年に結果が確定したコンペなども混ざっています
4. 3 Santa 2024 - The Perplexity Permutation Puzzle ✔ 毎年恒例のSantaコンペ（現在はSanta2025が開催中🌲） ✔ Santa2024は，与えられた単語列のperplexityが最小となる単語の並びを探索するコンペでした ✔ 最適解にたどり着くチームが多く，金圏は早い者勝ちでした まとめ記事 Santa2024上位解法MEMO by 2gさん
5. 4 CZII - CryoET Object Identification ✔ 3D細胞画像内のタンパク質複合体を自動的に識別・アノテーションするモデルを開発するコンペでした ✔ トモグラム（3D画像）内の粒子の中心点を特定することが課題でした ✔ 画像コンペで強い人がきちんと上位にランクインしている まとめ記事 CZII - CryoET Object Identification 参加振り返り・解法共有 by yu4uさん & tattakaさん Kaggle CZII コンペ上位解法まとめ by ごうやさん
6. 5 LLMs - You Can't Please Them All ✔ このコンペでは，LLMが評価を行う際の脆弱性や評価のばらつきを誘発させるような文章を提出することが求められ るコンペでした ✔ 3つのLLM間で評価のばらつきを最大化するようなテキストを，与えられたトピックから生成する必要がありました まとめ記事 LLMs - You Can‘t Please Them All コンペにおける評価 スコア向上のために用いたLLM攻撃手法とその解説 by kaminumaさん
7. 6 CIBMTR - Equity in post-HCT Survival Predictions ✔ 移植を受けた患者の生存予測モデルを開発するコンペでした ✔ 最近では珍しいテーブルデータコンペということもあり参加者が多かった印象 ✔ もっと順位がPrivateで荒れると思っていたが，想定よりもshakeは起こらず まとめ記事 CIBMTR上位解法MEMO by 2gさん CIBMTR振り返り＋敗北から学ぶコンペの取り組み方反省 by Naoyaさん Kaggle CIBMTRコンペ1位解法まとめ～感想を添えて～ by きなこさん
8. 7 FIDE & Google Efficient Chess AI Challenge ✔ 非常に計算リソースが限られた環境下で強いChess AIを作るコンペでした まとめ記事 Kaggleに入門しました by Yamaguchiさん kaggle Chess AI Challenge 参加記 by Hikariさん
9. 8 WSDM Cup - Multilingual Chatbot Arena ✔ 入力された二つの生成された文章のどちらがより優れているかを判定する(Pairwise)モデルを開発するコンペでした ✔ 最近の生成AIの文章は，人手で優越をつけることがそもそも 難しく，なかなか難しいコンペでしたが学びはとても多かったです まとめ記事 Kaggle WSDM Cup 参加記録 by Miyazawaさん Kaggle×LLM本の12章 by RihanPiggyさん
10. 9 NeurIPS 2024 - Lux AI Season 3 ✔ エージェント同士が対戦する 1vs1 のシミュレーションゲームの戦略を開発するコンペでした ✔ ゲーム戦略・探索・強化学習・メタ学習など様々な取り組み方が存在しました ✔ 個人的にはUIが凝っていた無印が一番好きです(シーズン1) まとめ記事 kaggle Lux AI Season 3 強化学習ソリューションまとめ＋ 振り返り by くるぴーさん
11. 10 AI Mathematical Olympiad - Progress Prize 2 ✔ 数学オリンピックと同程度の難易度の数学の問題を解くモデルを開発するコンペでした ✔ 通常のコンペよりもリッチなGPU環境が使用可能であるため，手元の開発でそれなりの計算リソースが必要になる ✔ 現在AIMO3が開催中！ まとめ記事 教師あり学習と強化学習で作る 最強の数学特化LLM by kumaさん Kaggle×LLM本の13章 by Inoichanさん，kumaさん，charmqさん
12. 11 March Machine Learning Mania 2025 ✔ 毎年開催されているバスケの対戦結果を予測するモデルを開発するコンペ ✔ 試合数が少なく，対戦結果の予測もかなり難しいため，毎年おみくじコンペ状態になっている ✔ 投入時間と結果が相関しないが，初学者が着手しやすいコンペであり，kaggleの間違った入り口となっている雰 囲気をdiscussionから感じることもあり，そろそろタスクの見直しをしてもらいたい
13. 12 Drawing with LLMs ✔ 評価用の画像モデルが高評価を付けるようなお題に沿った画像を生成するモデルを開発するコンペ ✔ 評価指標が何回もハックされ，その都度，評価方法が変わったこともあり，それを追うのがつらくて自身はリタイア ✔ コンペ自体は評価モデルのハックを含め，とても参考になる知見が多く， 時間に余裕があれば，チーム組んでやりきりたかったコンペの一つ （紹介画像がユニコーンだったので開催当時はユニコーンコンペと呼ばれていた） まとめ記事 Prizeを捉える解法の見つけ方 by espritさん Kaggle Drawing with LLMs 振り返り&上位解法まとめ by ちくわぶさん
14. 13 Image Matching Challenge 2025 ✔ ３次元復元をするための画像マッチング精度を競うコンペでした ✔ IMCは2022年ごろからkaggle上で毎年コンペを開催している(IMCは2019年~から活動) ✔ タスク自体は面白そうなのは解法から伝わってくるが，ベースラインの完成度 がかなり高く，参入障壁は少し高く感じている (一方で過去問があるため，復習が得意な方は挑戦しやすいと思います！) まとめ記事 kaggle IMC2025コンペ 上位解法まとめ by ゆめねこさん Kaggle Image Matching Challenge 2025 紹介 by kawauchiさん Kaggleに入門しました by Yamaguchiさん
15. 14 BYU - Locating Bacterial Flagellar Motors 2025 ✔ 細菌のべん毛モーターを3D画像中から自動で検出・位置推定するモデルを開発するコンペでした まとめ記事より引用 まとめ記事 kaggle BYUコンペ振り返り~kaggle初心者がshake Downした話~ by shibaさん
16. 15 BirdCLEF+ 2025 ✔ 鳥や爬虫類などの鳴き声を分類するモデルを開発するコンペで毎年開催されている (通称: 鳥コンペ) ✔ 提出notebookの実行環境がCPUオンリーかつ時間的な制約も厳しいという特徴がある ✔ タスクの大きな変更は，ここ数年なかったはずなので復習が活きるコンペ まとめ記事 BirdCLEF+2025 Noir 5位解法紹介 by MYSOさん
17. 16 Yale/UNC-CH - Geophysical Waveform Inversion ✔ 地震波形データXから地下構造の速度マップYを予測するモデルを開発するコンペ ✔ YからXを求めることができるため，データ拡張が比較的容易に可能 ✔ 地震波コンペと呼ばれていた ✔ 金圏に1サブチャレンジが3名いたのも衝撃でした まとめ記事 Geophysical Waveform Inversion 上位解法MEMO by 2gさん
18. 17 Jane Street Real-Time Market Data Forecasting ✔ 金融時系列データを対象としたコンペ (データは匿名化されている) ✔ 金融時系列のコンペにしては，運要素が少なく良コンペでした ✔ 日本人は100位以内に2人ほどしか観測できず少し残念 (Ryotaさん(27th) と takaito(41st)) ✔ Jane Streetのインターンの年収は25万ドル (4000万円) らしい
19. 18 Konwinski Prize ✔ GitHubの新規Issueを解決可能なモデルの開発を目指すコンペ ✔ Camaroさんが振り返り会のときに使っていた資料がとても良かったのですが，見つけることができず... ✔ 問題を解くのをミスるとペナルティがあるので，それらをうまくスキップするのも重要なコンペでした
20. 19 CMI - Detect Behavior with Sensor Data ✔ 手首装着型デバイスで取得したセンサーデータを用いて，特定の動作を識別するモデルを開発するコンペでした ✔ デバイスを逆さまにつけてしまった被験者のデータも混ざっていたとのこと ✔ CMIも定期的にコンペを開催しており，時系列データであることが多いイメージ まとめ記事 CMI - Detect Behavior with Sensor Data by ishikeiさん CMI - Detect Behavior with Sensor Data 上位解法MEMO by 2gさん 2025 CMI - Detect Behavior with Sensor Data 大反省備忘録 by humanbeans893さん
21. 20 Make Data Count - Finding Data References ✔ 論文からデータ利用に関する引用部分を抽出し，そのデータがPrimary（その論文のために生成されたもの）か Secondary（既存データの再利用）かを分類するタスクでした ✔ こういったコンペは泥臭い取り組みが効いてくるイメージがあり，当時は時間が確保できず，取り組めませんでし ✔ データ数が少ない場合におけるテクニックなどを上位はかなり採用しており， 復習の価値は高いコンペだと思っています まとめ記事 Kaggleコンペ紹介：Make Data Count - Finding Data References by okumuraさん
22. 21 NeurIPS - Open Polymer Prediction 2025 ✔ ポリマーの化学構造から5つの物性値を予測するモデルを開発するコンペでした ✔ 化学物質を対象としたコンペは，定期的に行われており，言語モデルやGNNでのアプローチなどもあり，学べること は多そう ✔ 一方でドメインシフトでこのようなshakeが起こるようなコンペは参加しづらい.. まとめ記事 Kaggle: NeurIPS - Open Polymer Prediction 2025 コンペ 反省会 by CALPISさん
23. 22 Stanford RNA 3D Folding ✔ RNAの塩基配列から各塩基の3D座標(立体折り畳み構造:folding)を予測するモデルを開発するコンペでした ✔ 現在，タスクの難易度をより難しくしたコンペが開催中です (評価方法も変更あり) まとめ記事 Kaggle - Stanford RNA 3D Folding コンペ 上位解法 by Isaaoさん 【Kaggle】上位３位 Solution（Stanford RNA 3D Folding） by KANJIさん
24. 23 NeurIPS - Ariel Data Challenge 2025 ✔ 恒星の前を惑星が通り過ぎる（系外惑星の日食）ことで，観測機で測定できる明るさが減少するため，その情 報を元に惑星と恒星の面積比wlとその予測の自信度（不確実性）sigmaを予測するモデルを開発するコンペでした ✔ 昨年も開催されており，データの多様性が増えた ⇒ 昨年以上に深層学習の教師学習が刺さった まとめ記事 NeurIPS - Ariel Data Challenge 2025の振り返り by takaito
25. 24 RSNA Intracranial Aneurysm Detection ✔ 脳のMRIやCTの3D画像を対象に血管の部位ごとに脳動脈瘤の存在を判定するモデルを開発するコンペでした ✔ 医療画像コンペは定期的に開催されるため，いろいろと過去コンペの工夫は役立つかと思います まとめ記事 Kaggle 第1回／全3回 RSNA Intracranial Aneurysm Detection：データ&ドメイン理解で“勝ち筋”を先に掴む by persona Kaggle RSNA 2025 金メダルで学んだ 課題を分析して精度を積み上 げる方法 by 田本さん Kaggle RSNA Intracranial Aneurysm Detectionコンペ 反省会 by monnuさん
26. 25 【参考】 ✔ この後紹介する3つのコンペは振り返り会を実施しており，そちらの資料が参考になるかと思います MAP, Jigsaw, Code Golf 振り返り会 by 関東Kaggler会 ✔ スペースの関係でまとめ記事もここにまとめておきます． Kaggleコンペ紹介：MAP - Charting Student Math Misunderstandings by Rickさん Jigsaw - Agile Community Rules Classificationのまとめ by takaito Kaggle | Jigsawコンペ振り返りメモ by hasibirok0さん
27. 26 MAP - Charting Student Math Misunderstandings ✔ 数学の問題に対する生徒の自由記述回答をもとに潜在的な数学的誤解を予測するモデルを開発するコンペでした 「Longer_is_bigger（桁数が多いほど大きい）」という 数学的誤解のラベルを選択できれば◎ (この問題の場合，Correct，Neither，Ignores_zeroes，Longer_is_bigger， Shorter_is_bigger，Whole_numbers_largerの中から)
28. 27 Jigsaw - Agile Community Rules Classification ✔ Reddit(掲示板)のコメントとルールが与えられ，該当コメントが指定されたルールに違反しているかどうかを分類する モデルを開発するコンペでした ⇒ trainで出現するルールは以下の2つ ① No Advertising: Spam, referral links, unsolicited advertising, and promotional content are not allowed. ② No legal advice: Do not offer or request legal advice. (例) There is no jurisdiction I am aware of that would consider this to be self defense. (私が知る限り、これを正当防衛とみなす司法管轄区域は存在しません。) ①のルールには違反しておらず，②のルールでは違反しているため， ①のルールと合わせてコメントが与えられた場合は0に近い値， ②のルールと合わせてコメントが与えられた場合は1に近い値を出力する必要がある
29. 28 NeurIPS 2025 - Google Code Golf Championship ✔ ある規則によって変化している複数の例から，その規則性を見つけ出し，変化させるためのコードをどれだけ短く作 成できるかを競うコンペでした ？
30. 29 ARC Prize 2025 ✔ コードゴルフでは，人間が回答となるコードを作成することもできましたが，こちらのコンペでは左側の情報を元に右 側のoutputを出力させるモデルを開発する必要がありました ？
31. 30 MABe Challenge - Social Action Recognition in Mice ✔ マウスのセンサー情報から行動を分類するモデルを開発するコンペでした まとめ記事 Kaggleコンペティション「MABe Challenge - Social Action Recognition in Mice」振り返り by yu4uさん
32. 31 NFL Big Data Bowl 2026 - Prediction ✔ パス前のアメフト選手のトラッキングデータを用いて，パス後のボールが着地するまでの間の選手の軌跡を予測するモ デルを開発するコンペでした まとめ記事 第5会 関東kaggler会 NFLコンペ 2026 解法紹介 by ohkawa3さん
33. 32 【番外編】 atmaCup#21 with Elith ✔ このコンペでは，LLM に「有害な内容」を出力させる攻撃プロンプトとそれを防ぐ防御プロンプト (フィルター) の両方 を作成し，そのプロンプトの有効性を競うコンペでした ✔ Kaggleでも似たようなコンペはありましたが，あくまでテストデータの入力に対してモデルを用いてプロンプトを生成す ることが求められていましたが，こちらのコンペでは人手でプロンプトを作成することも可能であり，プロンプトのみを提出 すればよいため，参加ハードルが低く設定されていて感動しました ✔ 技術としても非常に重要なテーマであり，大変参考になりました
34. 33 1/17(土)現在で開催中のコンペ ✔ 懇親会でチームメンバーが見つかるかも！ (Private Sharingは注意してください)