Biohub - Cell Tracking During Development 5th place solution

1. Biohub - Cell Tracking During Development 5th place solution 株式会社Rist
2. ⽬次 • コンペ概要 • 5位解法 • 上位解法の紹介 ©Rist Inc. 2
3. コンペ概要
4. Biohub - Cell Tracking During Development • • • 開催情報 ◦ 主催：Biohub ◦ 結果：5 位 / 3,947 チーム 課題 ◦ ゼブラフィッシュ胚の細胞を検出‧追跡 ◦ 分裂を含む細胞の系譜を復元 評価指標 ◦ • リンクと分裂の Jaccard データ ◦ 3D＋時間の顕微鏡動画 データ：Biohub SF, “Biohub - Cell Tracking During Development”, Kaggle, 2026（CC0） ©Rist Inc. 4
5. コンペの難しさ • 核が密集し⾒た⽬も似ているため、フレーム間でどれが同じ細胞か区別しにくい（3D） • ラベルは⼀部の細胞だけ。分裂のラベルは train 全体で 151 件しかない ©Rist Inc. 5
6. Submission 形式 • 全クリップ（胚の動画から切り出した 100 フレームの 3D 動画）の結果を 1 つの CSV で提出 • node ⾏：t, z, y, x（ボクセル座標）∕edge ⾏：source_id → target_id • 分裂 ＝ 1 つのノードから 2 本のエッジ ©Rist Inc. row_type node_id t z y x source_id target_id node 1 0 32 128 128 -1 -1 node 2 1 32 129 127 -1 -1 edge -1 -1 -1 -1 -1 1 2 6
7. Metrics • 予測と GT を 7 µm 以内で対応付け、リンクを TP(正解)‧FP(誤り)‧FN(⾒逃し) に分類 • GT の無い細胞どうしのリンクは数えない ① リンクの正解率（Jaccard） J = TP ÷ (TP + FP + FN) ② 細胞の出しすぎを防ぐ補正 J × (1 − 0.1 × r) r：推定細胞数より何割多いか 予測細胞数が公式の推定細胞数より 多いと減点、少ないと加点 （ただし減らすと⾒逃しで ① が下がるため、 少ないほど良いわけではない） ③ Score = ② + 0.1 × 分裂の正解率 分裂も TP‧FP‧FN で ① と同じ式 ©Rist Inc. 7
8. Result • ©Rist Inc. 3,947 チーム中 5 位（ソロ参加‧⾦メダル） 順位 チーム Private 1 Sergio Alvarez 0.97759 2 Soheil Ayati 0.97041 3 yu4u 0.96714 4 Barry 0.96234 5 Tang（本解法） 0.95462 6 Cyrus 0.95398 7 tatsutaka 0.95273 8 Amin 0.95190 8
9. Basic Approach • • ©Rist Inc. Tracking-by-detection が基本 ◦ 3D U-Net 系で細胞の中⼼を検出 ◦ 隣接フレーム間のリンクを学習モデルでスコア ◦ ILP などで全体を最適化 ◦ 後処理 ホストが baseline（時間⽅向 3D U-Net ＋ Transformer ＋ ILP）と評価コードを公開 9
10. 5位解法
11. 5位解法｜Overview • ©Rist Inc. 公式 baseline（時間⽅向 3D U-Net ＋ Transformer）を拡張した 3 段構成 ◦ Detector の⼊⼒縮⼩を average pooling に、loss を focal loss に変更 ◦ Linker に self-attention を追加 ◦ Linker で新規細胞‧分裂も予測 ◦ 外部データ（ZebraHub）で事前学習してから本コンペで fine-tune ◦ ⽬視で確認した分裂の疑似ラベル（462 件）を学習データに追加 ◦ 多段 ILP ＋ 修復 ＋ 平滑化で軌跡を作る 11
12. 5位解法｜検証設計 • ⼿元の検証（CV）：クリップを 5 分割して交互に検証（5-fold、胚 × 分裂数で層化） • train には重複フレームと、画像全体が⼀度にずれる「ドリフト」がある → CV から除外 ◦ ©Rist Inc. 例（下図）：t と t+1 を重ねるとずれるが、全体を 14 µm 戻すと重なる（⽩） 12
13. Detector｜時間⽅向 3D U-Net • 公式 baseline の時間⽅向 3D U-Net：連続 2 フレームを⼊⼒ • ⼊⼒前に XY を 4×4 average pooling（64×256×256 → 64×64×64） • 出⼒は細胞中⼼のヒートマップ。局所最⼤ ＝ 細胞、その値 p を確信度として使う • 学習：ラベルの点をガウス型のヒートマップに変換し、focal loss で学習 ©Rist Inc. 13
14. Linker｜Transformer（3 つを予測） ⼊⼒（細胞ごと） ◦ U-Net 特徴：検出した細胞中⼼の特徴量 ◦ 位置：細胞中⼼の 3D 座標 ◦ identity vector：U-Net 特徴を 16 次元化 t と t+1 で同じ細胞のベクトルどうしを 対照学習で近づける • 出⼒（3 つを予測） ◦ リンクスコア：t と t+1 の全ペア ◦ 新規細胞：t+1 で新しく現れたか ◦ 分裂：t の細胞が 2 つに分かれるか • ©Rist Inc. 14
15. 解説｜Self-attention と Cross-attention • ① self-attention：同じフレームの細胞から集める → 周りの細胞の並びを知る • ② cross-attention：もう⼀⽅のフレームの細胞から集める → 対応しそうな相⼿を探す ©Rist Inc. 15
16. 学習｜外部データ（ZebraHub）で事前学習 • ZebraHub の 4 データセット（ZSNS001‧003‧004‧005）で事前学習 → 本コンペで fine-tune • voxel サイズを本コンペに揃え、連続 2 フレームをランダムに切り出して学習 データ：ZebraHub（Lange et al., Cell, 2024） ©Rist Inc. 16
17. 学習｜分裂の疑似ラベルを⽬視で確認して追加 • 分裂のラベルは 151 件だけ • 予測した分裂 約 1,000 件を⽬視確認 • XY / XZ / YZ の 3 断⾯で確認 • 確認できた 462 件を学習データに追加 ©Rist Inc. 17
18. Ensemble｜5-fold × 8 TTA 5-fold で学習した 5 つのモデルを使う • ©Rist Inc. TTA：各モデルで、画像を反転‧回転した 8 通り（下図）を予測し、元の向きに戻す 18
19. 解説｜ILP（整数計画）によるトラッキング • 候補の細胞‧リンクごとに「使う＝1∕使わない＝0」を選ぶ最適化問題 • 制約：親は 1 つまで、⼦は 2 つまで（2 つ ＝ 分裂）。前が無ければ開始、後が無ければ終了 • クリップ全体でコスト合計を最⼩化 → フレームごとに決めるより⽭盾が少ない ©Rist Inc. 19
20. Tracking｜ILP のコスト設計 • 確信度の⾼い細胞、スコアの⾼いリンク、⾒た⽬が似たペアほどコストが⼩さい • 新規細胞スコアが⾼い細胞ほど、新しい軌跡として始めるコストが⼩さい。分裂スコアが⾼い細 胞ほど、分裂させるコストが⼩さい ©Rist Inc. 判断 コスト（⼩さいほど選ばれやすい） 細胞を残す − a ×（確信度 p − p0） リンクを使う − リンクスコア ＋ b ×（1 − identity vector の類似度） 軌跡を始める c − d × 新規細胞スコア 分裂させる e ＋ f ×（0.5 − 分裂スコア） 20
21. Tracking｜ILP1 → ILP2 → 分裂の制限 • ILP1：確信度 p ≥ 0.9 の細胞だけで解き、分裂を決める • ILP2：p ≥ 0.6 まで細胞を増やして解き直す → 途切れは埋まるが、偽の分裂も増える • 分裂の制限：ILP1 に無い分裂は削除（余った細胞は別の軌跡に） ©Rist Inc. 21
22. Tracking｜再リンク‧修復‧平滑化 • ILP3：細胞と分裂は固定し、リンクのしきい値を下げて解き直す • 修復：細胞をつなぎ直し、1〜4 フレームの⽋けを補う • 平滑化：前後 4 フレームの直線に 80% 寄せる。1 フレームの⽋けは補間 ©Rist Inc. 22
23. 5位解法｜各⼿法の効果（参考） • ©Rist Inc. 各⼿法を加えたときの LB の差（Public∕Private、参考値） ⼿法 Public Private Linker：新規細胞‧分裂ヘッド ＋0.020 ＋0.024 ZebraHub で事前学習 ＋0.014 ＋0.016 5-fold アンサンブル ＋0.008 ＋0.007 8 TTA（反転‧回転） ＋0.007 ＋0.005 Tracking：確信度を ILP の細胞コストに ＋0.008 ＋0.020 Tracking：ILP2 ＋ 分裂の制限 ＋0.003 ＋0.007 Tracking：修復 ＋0.001 ＋0.001 Tracking：平滑化 ＋0.004 ＋0.005 23
24. 上位解法の紹介
25. 上位解法｜1st place（Sergio Alvarez） • ポイント：分裂を画像から直接判定する専⽤モデル（Soon Net）を作った • Soon Net：t−1‧t‧t+1 の画像で分裂の状態を判定（分裂の改善で Public 約 0.925 → 0.963） • ⼈⼿ラベル：分裂を⽬視確認で 151 → 515 件に増やし、細胞マスク約 1,800 個も⼿描き • デコード：ILP なし、Linker のスコアの⾼い順に確定（貪欲法） 参考：Sergio Alvarez, “1st Place Solution”, Kaggle Discussion, 2026 ©Rist Inc. 25
26. 上位解法｜2nd place（Soheil Ayati） • ポイント：暗い候補もすぐには捨てず、何フレームも続けば細胞として採⽤ • 検出：t−1‧t‧t+1 を⼊⼒。背景か細胞か分からない未ラベルの場所は学習に使わない • 学習データ：実際の細胞を暗くして別の場所に貼り付け、暗い細胞の学習例を増やす • 拾い直し：軌跡に使われなかった暗い候補が 9 フレーム以上続けば、元画像で確認して追加 参考：Soheil Ayati, “2nd Place Solution”, Kaggle Discussion, 2026 ©Rist Inc. 26
27. 上位解法｜3rd place（yu4u） • ポイント：役割ごとに専⽤モデル（検出‧動き‧対応‧分裂） • 動き（flow）：各位置が次のフレームでどこへ動くかを推定 • 対応（matcher）：動きから予測した位置と⾒た⽬で、次のフレームの同じ細胞を探す • 分裂：t−1‧t‧t+1 の画像で判定 • 最適化：「採点される確率 × 正しい確率」で期待スコアを計算し、最⼤になる組み合わせを選ぶ • 効果：分裂モデル＋較正と、Hungarian に代わるリンク‧分裂の同時最適化で CV 0.902 → 0.964 （最⼤の改善） 参考：yu4u, “3rd Place Solution”, Kaggle Discussion, 2026 ©Rist Inc. 27
28. 以上