ざっくりTabMを知る

Transcript

1. ざっくりTabMを知る Kaggle Competitions Master Ryushi
2. NAME Works Kaggle achievement Ryushi データサイエンティスト Kaggle Competitons Master (2 gold medals) HMS - Harmful Brain Activity Classification | Gold medal UM - Game-Playing Strength of MCTS Variants | Gold medal
3. TabMとは 概要 特徴 精度/速度⽐較 TabMとデータコンペ
4. Gorishniy, Y., Kotelnikov, A., & Babenko, A. (2025). 「TabM: Advancing Tabular Deep Learning with Parameter- Efficient Ensembling」．International Conference on Learning Representations (ICLR) 2025． TabMはシンプルなMLPベースながら“パラメータ効率的アンサンブル”を導⼊した新モデル https://github.com/yandex-research/tabm TabMとは
5. TabNet TabTransformer FT-Transformer TabPFN TabM 2019 2020 2021 2022 2024 主要なモデルと変遷 TabMの位置付け Tabular Deep Learningのなかでは最新の⼿法である
6. TabMの特徴1:パラメータの効率的なアンサンブル BatchEnsembleに類似した⽅式でアンサンブル Wen, Y., Tran, D., & Ba, J. (2020). 「BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning」．International Conference on Learning Representations (ICLR) 2020 同じMLPモデルを何個も独⽴に⽤意し、それぞれ別々に 初期化し、別々の重みで全く独⽴に学習 ⼤部分のパラメータを共通⼟台として共有し、⼀部だけ 別々に枝分かれさせる 通常のensemble BatchEnsemble
7. TabMの特徴1:パラメータの効率的なアンサンブル TabMのアーキテクチャ 1回の⼊⼒でk個の“サブMLP”が並列動作し、それぞれ別々の予測値（出⼒）を返す構造 shared:サブモデル（仮想的な複数のMLP）が、まったく同じ（パラメータ）を使い回す部分 Not shared:各サブモデルがそれぞれ独⽴して持っているパラメータ部分
8. TabMの特徴2:弱学習器の集合で強⼒なアンサンブルを実現 タスクの異なる4種類の公開データセットで回帰、分類タスクを解く K=32(サブモデルが32個)がk＝１(MLP)より損失が⼩さい 分類 回帰(MSE) 他クラス分類 回帰 上段: 訓練/テスト損失の推移 下段: 訓練/テスト損失の関係 k=32の平均予測は、損失が安定して低く、 過学習の悪影響が⼩さい。 k=32は、訓練損失とテスト損失の差が⼩さく ⼀般化性能が⾼いことが分かる。 「TabMにおける各サブモデルとその平均（アンサンブル）の訓練・テスト損失の推移」 ※回帰タスクならMSE（平均⼆乗誤差）、分類タスクならクロスエントロピー損失
9. 性能評価:精度⽐較 TabMはTabular Deep Learningベースラインのなかで、 ⾼性能かつ安定したモデルである 縦列： 各モデル名 横軸： 平均順位 データセット： 46個の公開データ 縦列： 各モデル名 横軸： MLP単体（基準=0%）に対する 相対的なパフォーマンス改善率 データセット： 左…37個の”ランダム分割” 右…9個の"ドメインアウェア分割” 平均性能順位（パフォーマンスランク） MLP基準の相対スコア⽐較
10. 性能評価:速度⽐較 学習・推論時間においても他のTabular Deep Learningベースラインを上回る TabMはMLPにほぼ次ぐ速さで、Attention系・検索系（SAINT, FT-Transformer, TabR, MNCA等）よりも1桁〜2桁速い例多数 学習 推論 TabMはMLP、XGBoostに近い推論速度を実現 「⼩規模データセットにおける学習時間とGPU時間の⽐較」
11. CIBMTR - Equity in post-HCT Survival Predictions ⼈種ごとのHCT移植後⽣存期間を予測する”⽣存時間分析”コンペ コンペ期間: 2024.12.05-2025.03.06 1,3,4,5,6位のチームでTabMが使⽤ TabMとデータコンペ Taskによっては、選択肢の１つになりえている
12. TabMを知る 弱モデルの効率的なアンサンブルを実現 最新⾼性能DL⼿法より⾼性能かつ安定したモデルである 学習・推論時間において他のTabular Deep Learningベースラインを上回る 近年テーブルコンペの上位解法でも使われる
13. References Gorishniy, Y., Kotelnikov, A., & Babenko, A. (2025). 「TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling」．International Conference on Learning Representations (ICLR) 2025． https://arxiv.org/abs/2410.24210 Wen, Y., Tran, D., & Ba, J. (2020). 「BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning」．International Conference on Learning Representations (ICLR) 2020 https://arxiv.org/abs/2002.06715 CIBMTR - Equity in post-HCT Survival Predictions https://www.kaggle.com/competitions/equity-post-HCT-survival-predictions/overview
14. ざっくりTabMを知る Kaggle Competitions Master Ryushi