SSII2025 [TS3] 医工連携における画像情報学研究

Transcript

1. 医工連携における画像情報学研究 ～不完全な教師デー タを 用いた機械学習～ 1 備瀬竜馬 九州大学大学院システム情報科学研究院 SSII2025 TS 5/30, 9:30-10:40, 2025
2. 2 企 業 九大修士 （情報理学） 2008 2015.10 大日本印刷株式会社 2002.4 2010 2015 2013 2017.4 13年 現在 カーネギー メロン大学留学 （金出武雄教授） 東大社会人博士 （学際情報学） （佐藤洋一教授） 細胞画像解析（検出・セグメンテーション・トラッキング） 光超音波画像@ImPACT, AMED 病理画像 内視鏡画像 MICCAI2016, MICCAI2017×2, MICCAI2020, 2022 BMVC2024 MedIA2021, 2024 MICCAI2019,2021,2024 CVPR2019, 2025 ECCV2020 ICASSP2023, 2024 ICCV2023, ECAI2024 TMI×2,MedIA×2 MICCAI2019×2, 2020 MICCAI 2021×3, MICCAI2023 CVPR2020, ECCV2020 主要論文 九大シス情 内田研 准教授 PI 2023.12 九大シス情 教授 1.5年 国立情報学 研究所 特任准教授 (佐藤いまり研) アカデミアへ 自己紹介： 備瀬竜馬 九州大学大学院システム情報科学研究院・教授 ア カ デ ミ ア 研 究 ト ピ ッ ク MVA2025 General Chair CVPR2024 Area Chair MICCAI2024 Area Chair Patt. Rec. Asoc. Editor
3. 3 企 業 九大修士 （情報理学） 2008 2015.10 大日本印刷株式会社 東大社会人博士 （学際情報学） （佐藤洋一教授） カーネギー メロン大学留学 （金出武雄教授） 2002.4 2010 2017.4 2015 2013 国立情報学 研究所 特任准教授 (佐藤いまり研) 九大シス情 内田研 准教授 アカデミアへ 13年 1.5年 現在 細胞画像解析（検出・セグメンテーション・トラッキング） 光超音波画像@ImPACT, AMED 病理画像 内視鏡画像 Optimization, Supervised Learning Efficient Labeled Learning TMI×2,MedIA×2 MICCAI2019×2, 2020 MICCAI 2021×3, MICCAI2023 CVPR2020, ECCV2020 MICCAI2016, MICCAI2017×2, MICCAI2020, 2022 BMVC2024 MedIA2021, 2024 MICCAI2019,2021, 2024 CVPR2019, 2025 ECCV2020 ICASSP2023, 2024 ICCV2023, ECAI2024 主要論文 2023.12 九大シス情 教授 ここ数年の半分以上が 不完全な教師からの学習手法 自己紹介： 備瀬竜馬 九州大学大学院システム情報科学研究院 ア カ デ ミ ア 研 究 ト ピ ッ ク MVA2025 General Chair CVPR2024 Area Chair MICCAI2024 Area Chair
4. 本講演の内容（通常の技術チュートリアルとは異なります） 実異分野共同研究における実践知共有 医療・生命科学分野の研究者とのWin-Winな共同研究をいかに構築・継続していくか 共同研究における連携先の研究支援と、情報学としての研究の進め方を、実例を交えて紹介 Label Efficient Learningに関する研究の取り組み紹介 医療・バイオ画像において直面する「不完全・曖昧・高コストな教師ラベル」の問題に対処するため、 弱教師あり学習、半教師あり学習などのLabel Efficient Learningに関する取り組みを紹介
5. Collaborations (1/2) Prof. Sugimura @農工大 Kadota Prof. Tanaka @Kyoto red cross Prof. Takabayashi @Keio Univ. Hospital Harada Prof. Yohshizawa @Kyoto Univ. Hospital Liu Okuo Cell detection Domain adaptation 消化器内視鏡 病理 バイオ Shigeyasu Semi-supervised learning 形成外科 Prof. Saito @Kyoto Univ. Yamane Vessel analysis Nishimura Harada 形成外科 Prof. Kajita @Keio Univ. Yamane Vessel analysis Prof. Matoba @Kyushu Univ. Large Multi-modal Model 循環器 Seo
6. Collaborations (2/2) Machida Prof. Asai @Kyushu Univ. 土木 Image transfer Fujii Prof. Koga @Kyushu Univ. Detect germination in time-lapse images Detection from imperfect annotation バイオ agri Bise Prof. Ohkawa @Kyushu Univ. Cell image analysis Prof. Ishihara @Kyushu Univ. shiku Association and Signal analysis Prof. Tanaka @Riken. Bise Analyze rhythms of mRNA Prof. Mikuni @Niigata Univ. 企業との連携 資生堂 CANNON Luxonus 富士フィルム ・・・ バイオ バイオ バイオ 多くは共著で論文化： 連携先の分野の論文＋情報学の研究としても論文化 Prof. Chuma @Kyoto Univ. バイオ Nishimura Shiku Cell image analysis
7. Win-Winな異分野コラボ 特定の研究の定量化さえできればよい AIに対する過剰な期待 • データ渡せばできると考えている あくまで自身の研究のツールとして考えている → 情報学の研究としても使いにくい 評価用データも少なく単発で終わることが多い 新しい技術と組み研究範囲を広げていきたい AI・機械学習自体にも興味あり 自身の研究タスク以外にも様々な情報交換 • 診断の仕方など教えてくれる • 関連する付随情報なども提供 情報学側の研究にも協力的 • 情報分野研究用にもデータを新たに取得 • 実課題および解決法に対するストーリーの議論 • ただし、バイオ・医学側の欲するデータ解析もバランス よく実施し貢献 Win-Win！ Win-？
8. Collaboration with Medical Doctors: Pathology A. Yoshizawa@Nara Med. Univ. Professor, Pathologist 2017年～ Lepidic Acinar Micropap Solid Normal Tumor Papillary [*] A. Yoshizawa et al.,, “Validation of the IASLC/ATS/ERS lung adenocarcinoma classification for prognosis and association with EGFR and KRAS gene mutations: analysis of 440 Japanese patients.,” Journal of Thoracic Oncology, 2013. Lepidic Micropap Solid Acinar Papillary time Survival rate Lung Cancer Analysis PDL1 Chemotherapy Collaborative papers： CVPR2019 ECCV2020 MICCAI2024 Modern Pathology ×3(IF:7.2) 13 papers 研究開始当初の依頼： 肺癌の手術検体の癌腫毎にセグメンテーションして欲しい （癌腫比率を推定して欲しい） → 予後（例：5年生存率）との関係性を解析したい！ 8
9. 異分野コラボにおける連携当初の合意形成 連携先（医学・生物学）のニーズの把握 連携先が解析したい内容の把握 理想論に終始する場合、短期的に最低限測りたいものを聞き出す 測りたいことの中間プロセスを自身で設計してニーズを伝えてくる場合があるが、場合によっては直接推定する 方法があることも提案 画像定量化など論文のキーとなる解析に貢献したら共著にしてもらうことで合意 情報学のことをしってもらう AI/機械学習は、入力すれば自動で解析するような夢のような技術でないことを知ってもらう → 教師データ作成が必要なことを認識してもらう → ただし、最初から多数の教師が必要という負荷を与えすぎない どのような問題設定・工夫が情報学分野の研究の成果につながるかを例を紹介してしってもらう 画像以外に周辺にどのようなデータがあるか、人が認識するときのプロセスを確認 →思わぬヒントがあることも 提供データで情報学の研究を行って、論文を出す際には連携先にも共著になってもらうことを明言
10. 「（短期での）医学への貢献」と「情報学への貢献」は必ずしも一致しない 医学・生物学として定量化したい 「短期的に実現したいこと」：既存技術の適用だけ実現可能なケースも → この場合は、情報学としては新しい要素が少ないことも。 → ある程度一般化できる問題で、両方に貢献できる工夫の余地があるか検討 情報学としての新しい問題設定 連携先が短期的には想定していない問題だが、本質的には役に立つ問題設定 情報学分野としても新しい問題・工夫 （短期での） 医学への貢献 情報学への貢献 （長期での） 医学への貢献 共通
11. 11 まずは、連携先のニーズにストレートに取り組んだ 教師あり学習として手法開発 医師が教師データセットを手作業で作成： • Whole Slide Image（WSI）： 50枚程度（1枚につき1時間程度のアノテーション） • 256×256のパッチ画像：約6000枚/WSI • WSIは超高解像度：画像全体をネットワークに入力することができない 当初の取り組み Normal Tumor Lepidic Acinar Papillary MicroPapillary Solid Background 肺病理画像 50,000x100,000画素 癌領域ラベル画像
12. 12 • パッチに切って、各パッチのクラス分類を行い、対象領域をそのクラスで塗りつぶすことでセグメンテーション • 公開データセットは、（パッチ画像－クラス）データが多い • 「パッチサイズをどのように分割するか？」についてほとんど議論されていなかった。 当時の病理画像のセグメンテーションの一般的な方法 CNN “class1” Thousands of pixels. Thousands of pixels. Patch Pathological Image Segmentation Grey: Non-Neop Blue: LSIL Red: HSIL Patch-based pathological image segmentation.[1] [1] L.Hou+, CVPR2016.
13. 多重解像度の活用 細かく見たい場合 vs 周囲も含めてみたい場合 どちらがよいかはケースバイケース? その辺も含めて全自動で推定したい 視野の広さ 解像度 狭い 広い 高 低 Papilary Lepidic Normal
14. 異スケール画像を用いて学習した癌種別領域分割 14 各スケールで独立に学習したモデルをExpertと呼ぶ 一つのスケールだと、精度0.5前後だが、どれかが当たればよいという場合は0.725 Union: 0.725 Multi-class 視野の広さ 解像度 狭い 広い 高 低 Papilary Lepidic Normal Expert1 Expert2 Expert3
15. 成果１： Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology 画像に応じてどの視野を活用するかを判断して複数視野を統合する手法を提案 Computer Vision分野トップ会議CVPR2019に採択 15 入力画像の認識に どの視野情報を使え ばよいか判断
16. 実験結果 Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology Mixture of ExpertをEnd-to-endで学習することでUnion（各Expertの和集合）が向上 提案法にる統合結果も向上 16
17. 査読（CVPR2019）： Score: WA×2, B Positive 手法の新規性: その時点では、複数のスケールの重要性、適切に統合する手法がなかった 既存の論文はほとんどが、がん or 非がんの認識 どのアーキテクチャにも載せることができる 詳細な解析：和集合の変化の解析など Negative データセットが少ない ※）この時代は医療だと公開データセットが少なく、それでも許されていた 計算コストが高いのでは？ → Multi-Scaleな病理画像認識の先駆けとなり、#cite: 165程度 コラボ先の解析のための手法のベースに
18. バイオメディカル画像の教師ラベル作成は特に高コスト！ 専門家しか教師ラベルを与えられない crowd sourcingが使えない 画像自体に独特な性質がある 高ノイズ，低コントラスト，3D/4D, マルチスペクトル，超高精細 半透明物体，不定形，曖昧な物体境界，類似クラスの存在 撮影機器・撮影者による差異（ドメインシフト） 特異な対象であり，類例やオープンデータが存在しない ラベル付け自体も難しい 重症度のような連続値，アノテータによる揺らぎ，複数ラベルの混在 以上により「画像全体に１ラベルを付与」だけでも大変！ 検出・セグメンテーション・トラッキングの教師となるとさらに大変！ 専門医の 判断必須 セグメンテーション 低コントラスト 分裂 癌種 あいまい
19. 臨床データ 約10年間で1000症例以上 そのうち正解データ作成したのは50症例 ＋15症例増やしたが、それでも65症例 1000症例以上 正解つきデータ 60症例程度 多数の教師なしデータ
20. Label efficient learning 半教師あり学習 全データのうち，少数データのみにラベルがついてる Positive and unlabeled learning (PU-learning) 2クラス（正例・負例）問題で，正例の一部だけにラベルがついている Negative Learning (Complementary Learning) 多クラス問題で，「少なくともこのクラスではない」というラベルだけがついている Multiple instance learning (MIL) データの集合(bag)に対してラベルがついている Learning from Label Proportion (LLP) データの集合(bag)に対して，その中のサンプルのクラスの割合だけが教えてもらえる 制約付きクラスタリング クラスタリング（教師なし）だが，少しだけ「入れ知恵」してもらえる 5:25:70 20:50:30 65:30:5 PU Learning 制約付きクラスタリング 比率学習
21. 臨床データ（病理）と弱教師（比率） 約10年間で1000症例以上 そのうち正解データ作成したのは50症例 ＋15症例増やしたが、それでも65症例 1000症例以上 正解つきデータ 60症例程度 0 5 35 35 20 Class Proportion Proportions of cancer subtypes have been recorded in clinical.
22. Learning from Label Proportion (LLP) 22
23. 集合に対して１つラベルがついている→ Multiple instance Learning (MIL) どこかに 癌あり どこにも 癌なし 各パッチ =1サンプル １つ以上は癌 (positive bag) １つも癌ではない （negative bag） 正常 癌
24. instance (e.g., image) Learning from Label Proportion Supervised learning Learning from label proportion（LLP） Bag (=a set of instances) 5:25:70 20:50:30 65:30:15 Label proportion Annotation cost 24
25. Learning from Label Proportion goal：training instance classifier input output bag (=a set of instances) 5:25:70 20:50:30 65:30:15 Label proportion 25
26. 26 LLPの代表手法である proportion loss (PL) … … バッグの インスタンス 0:10:90 予測確率 30:70:0 65:25:10 教師ラベル比率 60:30:10 予測ラベル比率 Proportion loss (PL) 距離最小化 平均 問題点: インスタンスごとに推論している インスタンス 分類器
27. LLP for medical image analysis 70 ? 30 Task：Segmentation in pathological image Bag: whole slide image (WSI), which is huge. Instance: a patch image cropped from a WSI Challenge2 Proportions are only given for cancer cells. → partial proportion Challenge1 WSI is too large → cannot compute the bag-level loss 100000 px 50000 px 10000 patches Partial proportion Challenge３ Subjective annotation may have noise. → proportion is given with a range 25 | 50 ? 50 | 75 Proportion label is given with a range 27 ECAI2024 MICCAI2024 MICCAWI2023 Other challenges: ICCV2024, ICASSP2023, …
28. LLP for medical image analysis 70 ? 30 Task：Segmentation in pathological image Bag: whole slide image (WSI), which is huge. Instance: a patch image cropped from a WSI Challenge2 Proportions are only given for cancer cells. → partial proportion Challenge1 WSI is too large → cannot compute the bag-level loss 100000 px 50000 px 10000 patches Partial proportion Challenge３ Subjective annotation may have noise. → proportion is given with a range 25 | 50 ? 50 | 75 Proportion label is given with a range 28 ECAI2024 MICCAI2024 MICCAWI2023 Other challenges: ICCV2024, ICASSP2023, …
29. Learning from Partial Label Proportions for Whole Slide Image Segmentation S Matsuo1, D Suehiro1, S Uchida1, H Ito2, K Terada2, A Yoshizawa2, and R Bise1 1Kyushu University, 2Kyoto University Hospital MICCAI2024 (Top Conference on Medical Imaging, Core Rank: A) 29
30. Whole slide image (WSI) segmentation using proportions of tumor subtypes the determination of a condition’s grade depends on the proportion of tumor subtypes Point Recorded as diagnosis information* *Roach C+, Appl Immunohistochem Mol Morphol. 2016, Moreira AL+, J Thorac Oncol. 2020. non-tumor tumor1 tumor2 proportions of tumor subtypes 80:20 30 Matsuo+, MICCAI2024
31. A novel problem setting: Learning from partial label proportions (LPLP) cell patch =instance 𝒙𝒙𝑗𝑗 𝑖𝑖 goal：obtaining instance classifier = segmentation bag 𝑩𝑩𝑖𝑖 (=a set of instance) 20:80 30:70 70:30 proportions of cancer subtypes 𝒑𝒑𝑝𝑝𝑝𝑝𝑝𝑝 𝑖𝑖 31 Matsuo+, MICCAI2024
32. 𝒑𝒑pos ∶ 𝑝𝑝neg unknown→ 0.8 : 0.2 ←given (partial proportion) … … … … … positive bag 32 Difficulty: partial label proportion → leverage negative bags Positive bag 65:35:? 50:50:? Matsuo+, MICCAI2024
33. 𝒑𝒑pos ∶ 𝑝𝑝neg unknown→ 0 : 1 given → 0.8 : 0.2 ←given (partial proportion) … … … … … … … … cell region negative bag positive bag Difficulty: partial label proportion → leverage negative bags negative bag Positive bag 0:0:100 0:0:100 65:35:? 50:50:? 33 Matsuo+, MICCAI2024
34. 34 Key idea: decomposing LPLP problems into two weakly supervised learning problems LLP MIL extract tumor inst. LPLP decompose MIL aims to classify the instances for tumor or non-tumor End-to-end training! LLP aims to classify them for tumor1 or tumor2 Matsuo+, MICCAI2024
35. Quantitative evaluation results on two WSI datasets SL = Supervised Learning LLP = Learning form label proportions * different problem setting, more informative labels Our method achieved a competitive performance with the SL and LLP results! 35 Matsuo+, MICCAI2024
36. Quantitative evaluation results on two WSI datasets PPL = Partial proportions loss (straightforward extension of the proportion loss) Two-stage = simply combines MIL and LLP (not end-to-end training) vs. PPL → the effectiveness of introducing MIL vs. Two-stage → the effectiveness of end-to-end training 36 Matsuo+, MICCAI2024
37. 37 バッグ内に複数のインスタンスが入っており、1つのラベルが付与 バッグのラベルとインスタンスの関係は様々⇒関係毎に問題設定 医療診断では、複数の画像に対して患者単位でラベルが付与 一般化 実課題の例 例１．最も割合が高いクラスの癌種が 診断結果として記録 新規機械学習の問題設定例 癌種Aが主体 ・・・ バッグ 多数派クラス インスタンスの集合であるバッグに対し て，多数派クラスのラベルが付与 例２．最も重症度が高いクラスが 診断結果として記録 全体の中で 一番ひどいの は重症度3 多数派クラスからの学習 バッグ 2 1 3 2 3 最大クラス 順位ありクラス分類 で、バッグに最大のクラスが 付与 1 1 1 2 2 ・・・ 最大クラスからの学習 実応用 一般化 実応用 ICASSP2024 WACV2025
38. Active learning 38
39. To learn efficiently, an approach where data for labeling is selected from unlabeled data, humans annotate it, and the model learns from the labeled data. Active Learning： settles, 2009
40. Instance-wise Supervision-level Optimization in Active Learning S Matsuo1, R Togashi2, R Bise1, S Uchida1, M Nomura2 1Kyushu University, 2CyberAgent, Inc. CVPR2025 (Top conference, acceptance rate: 22.1%) 40
41. 41 Multiple types of labels Matsuo+, CVPR2025 Lepidic Acinar Micropap Solid Non-tumor Tumor Papillary Super class (weak) ・・・ Sub class (full) or Non-tumor Tumor Medical Student Super class (weak label) Papillary Medical Doctor Sub class (full label) Annotation Cost Low High <<
42. 42 Optimizing Annotation Strategies!?(1/3) Current annotation 2 Weak label 100 samples Current annotation 1 Full label 10 samples error < Proposed Annotation strategy Full label 5 samples Weak label 50 samples error annotation cost This Study Combination of various types of labels Weak Supervised 1 Weak Supervised 2 Unsupervised Full Supervised Proportion 80:20 Any types of labels Full label Weak label Matsuo+, CVPR2025
43. 43 Optimizing Annotation Strategies!?(2/3) Unlabeled data pool 𝒙𝒙 Weak annotation Full annotation Full-sup. Weak-sup. � 𝒇𝒇 (𝒙𝒙) × 𝒗𝒗𝐟𝐟 𝒙𝒙 Value-to-cost ratio 𝒇𝒇 + + “song sparrow” “albatross” “sparrow” Batch selection w/ diversity Instance-wise supervision-level optimization × 𝒗𝒗𝐰𝐰 𝒙𝒙 𝒗𝒗𝐟𝐟 𝒙𝒙 𝒗𝒗𝐰𝐰 𝒙𝒙 ⋯ ⋯ ⋯ ⋯ Formulating a New Active Learning Problem and Proposing a Method Based on Cost-Performance for Each Data's Supervision Level! Not only selecting the data to annotate, but also optimizing which level of supervision (full supervision or weak supervision) to assign to each data sample. Matsuo+, CVPR2025
44. 44 Optimizing Annotation Strategies!?(3/3) CIFAR100 CUB200 Proposed Proposed Shinnosuke Matsuo, Riku Togashi, Ryoma Bise, Seiichi Uchida, Masahiro Nomura, Instance-wise Supervision-level Optimization in Active Learning, CVPR2025 accepted. Weak Cost : Full Cost 1:8 1:4 1:2 Weak label is Cost effective Current AL • Task: Classification • Weak label: Super class, • Full label: Sub-class (detailed class) • Ex.) weak label「sparrows」，full label「song sparrow」 • Full supervision requires more specialized knowledge, and annotators are assumed to have higher hourly wages. • Weak Supervision Cost : Full Supervision Cost = 1:2 Setting Matsuo+, CVPR2025
45. Domain Adaptation 45
46. 46 • Using pathological images for precise cancer diagnosis. • Pathological image segmentation is effective in preventing oversight by pathologists. Pathological Image Segmentation CNN “class1” Thousands of pixels. Thousands of pixels. Patch Pathological Image Segmentation Grey: Non-Neop Blue: LSIL Red: HSIL Patch-based pathological image segmentation.[1] [1] L.Hou+, CVPR2016.
47. 47 • Decreased segmentation performance in the target domain. • Large domain shift, and unsupervised domain adaptation is insufficient. Domain Shift Problem Source domain image Patch CNN class1 Trained on the source domain Target domain image Patch CNN class2 Trained on the source domain
48. Domain Adaptation • Assumes only two domains: Source and Target • Aligning overall distribution • Cons. : Do not consider inter-domain (class distribution) similarity Domain adaptation source target source Align the distributions Decision boundary Pos Neg. Decision boundary
49. Cluster Entropy: Active Domain Adaptation in Pathological Image Segmentation Xiaoqing Liu1, Kengo Araki1, Shota Harada1, Akihiko Yoshizawa2, Kazuhiro Terada2, Mariyo Kurata2, Naoki Nakajima2, Hiroyuki Abe3, Tetsuo Ushiku3, and Ryoma Bise1 1Kyushu University, 2Kyoto University Hospital, 3The University of Tokyo Hospital IEEE International Symposium on Biomedical Imaging (ISBI), 2023. (Oral) 49
50. 50 • Improve performance of target domain with a small number of supervised data . • Select a pathological images with high learning effectiveness as supervised data . Research objective Target dataset Selected pathological images of the target domain Pathological images with high learning effectiveness as supervised data Retraining model with the source data to solve domain shift Liu+, ISBI2023
51. Active learning: selecting an additional data to be labeled in target Which data is the most efficient for learning? Hypothesis Distribution reflecting Target data (Diverse)：High Efficient Biased distribution in Target data (Biased) ：Low Efficient Active learning for domain adaptation How to select data to be labeled in target for efficient learning? Source Target Decision Boundary Pos. Neg. Additional annotation Diverse Biased Patch Patch High efficient Low efficient Liu+, ISBI2023
52. 52 Propose a metric that measures the bag level diversity Cluster entropy cluster cluster Clustering results cluster-1 0% cluster-2 100% cluster-3 0% cluster-4 0% 0.000 Cluster-entropy cluster-1 25% cluster-2 25% cluster-3 25% cluster-4 25% 0.602 Cluster-entropy Clustering results Liu+, ISBI2023
53. Cluster Entropy High -> low bias Low -> high bias Examples Bias: High Bias: medium Bias: Low Liu+, ISBI2023
54. 54 Evaluation results Experiment mPrecision mRecall mDice mIoU S → T 0.525±0.028 0.686±0.057 0.508±0.068 0.406±0.058 DANN 0.482±0.028 0.663±0.033 0.475±0.037 0.366±0.037 Multi-anchor 0.511±0.058 0.517±0.071 0.509±0.046 0.423±0.040 Cluster Entropy (Low) 0.517±0.038 0.649±0.040 0.505±0.070 0.408±0.064 Cluster Entropy (Med) 0.549±0.052 0.611±0.080 0.534±0.050 0.438±0.045 Cluster Entropy (High) 0.563±0.034 0.662±0.047 *0.576±0.025 *0.474±0.024 T → T 0.571±0.054 0.651±0.060 0.590±0.049 0.507±0.056 Table: Evaluation results. Cluster Entropy shows the average of metrics in each condition respectively; Lowest (Low) , Medium (Med) , and Highest (High) . * indicates p < 0.05 in statistical test. Ours Liu+, ISBI2023
55. Domain Generalization for Pathological Images Using the Storage Period Information Yuki Shigeyasu1, Shota Harada1, Akihiko Yoshizawa3, Kazuhiro Terada2, and Ryoma Bise1 1Kyushu University, 2Kyoto University Hospital, 3Nara Medical University IEEE International Symposium on Biomedical Imaging (ISBI), 2024. 55
56. 56 過去に染色した組織を近年WSI化 データセットを作成するため、過去のスライドもデジタル化 保管中に、組織が劣化し、同一病院内でもドメインシフトの可能性 組織保管年数による画像特徴の変化 採取・染色 タイムライン スキャン スキャン 採取・染色 保管期間 保管期間 (例: 10年)
57. 57 事前学習済みモデル（ImageNet pretrain）で抽出した特徴分布の可視化 →保管期間で分布が分かれている 保管期間をクラスとして分類すると高い精度で分類可能 →クラス分類可能なほど保管期間によって異なる画像特徴を保有 事前実験: 保管期間の違いによる特徴分布の違い 保管期間 (年) t-SNEによる特徴分布の可視化 保管期間をクラスとした分類学習結果（テストデータ）
58. 58 ドメイン一般化を行うことで分布が集約 順序情報を用いることでさらに改善 → ドメイン一般化のテクニックを市販後学習へ導入 ドメイン一般化を行うことで特徴分布のズレを吸収 Ours (multi class) Ours (ordinal) Baseline 保管期間 順序付きドメイン適応（ISBI2024） ドメイン一般化 市販前 他施設データ source 分布を 合わせる 識別面 識別面 正例 負例 分布の違いを吸収する表現学習 保管期間による特徴の差を吸収
59. 連携先の論文への貢献 （病理診断） 59
60. Deep Learning for Predicting Effect of Neoadjuvant Therapies in None Small Cell Lung Carcinomas With Histologic Images [Terada+, Mod Pathol] (2023) 化学療法：手術検体でのViable Tumor Areaの比率で化学療法の効果検証  病理医：目視でおおよその面積の比率を判定  AI：厳密にセグメンテーションして比率を決定  正解データは病理医がセグメンテーションして比率を決定 結果：  AIの方が精度よく比率を推定  MPRとnon-MPRで生存率で優位に差がある AI 病理医
61. Viable tumor cell density after neoadjuvant chemotherapy assessed using deep learning model reflects the prognosis of osteosarcoma [Kawaguchi+, prec. oncology] (2024) 骨肉腫に対する術前化学療法（NAC）後の予後推定 病理医：目視でおおよその面積の比率でグレードを決定 AI：厳密に数えて比率を決定し、比率が一定値を超えるか否か 結果：AIの方が生存率をきれいに分離 AI 病 理 医
62. A Deep LearningeBased Assay for Programmed Death Ligand 1 Immunohistochemistry Scoring in NoneSmall Cell Lung Carcinoma: Does it Help Pathologists Score? [Ito+, Mod Pathol] (2024) PDL1診断 病理医：目視でおおよその面積の比率で診断を決定 → 病理医間で結果が異なる AI：厳密に数えて比率を決定 AIの出力を病理医が見ながら診断することで精度はUP Path-TPS (P1, 83.0%; P3, 66.0%). AI-assisted TPS (P1, 87.2%; P3, 78.7%)
63. Collaboration with Medical Doctors: Pathology M. Tanaka@京都第二赤十字病院 Professor, 消化器 2017年～ 内視鏡検査の自動化を行いたい 特に、潰瘍性大腸炎の診断および 十二指腸乳頭の手術計画 Collaborative papers： MICCAI2019,2021 MedIA(IF:10.8)×2 WACV2025×2 Dig Endosc 13 papers 63 AMEDのプロジェクト 消化器内視鏡学会全体とのコラボ 慶應、北里、京都第二赤十字病院等
64. 楽に大規模ラベル付きデータセットを実現したい 大規模なラベル付きデータができれば，機械学習等を 利用した自動分類や定量化が容易かつ正確に実施可能 どうやって「楽」に？ → クラスタリング（グルーピング） ラベルの種類 ①部位 ②病状の程度・種類 Bise+, MICCAI2019
65. 一枚一枚みて，ラベルを添付するのは大変 クラスタリングによる大規模ラベル付きデータセット生成： Group-based labeling 一旦似たものどおしでグループ化しておけば，そ れらに一括してラベルを添付できる グループ内に異種が混入していても発見容易 右側結腸 レベル:Mayo1 クラスタリング 右側結腸 レベル:Mayo1 Bise+, MICCAI2019
66. 制約付きクラスタリング cannot (hard) must (hard) 少量サンプルに 「ヒント」 must? (hard) cannot (hard) ところが… 同じ部位が 画像として 似ているとは 限らない… 制約付きクラスタリングは便利 約2万枚のデータセットのうち1％（200枚）にヒントを付与 Bise+, MICCAI2019
67. なぜ，性能が伸びない？ (制約がうまく機能しない？) データの分布を可視化してみると… 同じラベルであっても， 複数個所に 散らばっている！ 同じラベルが付いた画像を (must-linkで) 1クラスタに入れ込むには 無理がある! Bise+, MICCAI2019
68. 「できるかぎり」ヒントを信じる(時には無視してもOK) ソフト制約付きクラスタリング cannot (hard) must (soft) 精度(purity) 改善 [九大×田中先生の共著] 一種の最適化 問題になる Bise+, MICCAI2019 他のデータセット へ適用
69. Relative Labels and Learning to Rank！ It is difficult to annotate absolute labels for each image. Comparing the severity between two images (relative labels) would be much easier; requiring only 1/10 of the effort. level 1 level 1 level 0 Left Left Left Which one has a higher severity? 69
70. 70 大量の相対ラベルと少量の絶対ラベルから， アノテーションコストを削減しながらUC重症度判定を実現 重症度の相対評価の利用：ランキングによるUC重症度判定 [Kadota+, IEEE Access, 2022] 順序 付け
71. 71 今までは絶対ラベル用AIと相対ラベル用AIを組み合わせていた 1つのAIで絶対ラベルと相対ラベルを取り扱えるように →別々のAIを利用するよりも精度向上 重症度の相対評価の利用： 絶対ラベルと相対ラベルを同時に学習できるAIの開発 [宝満+, MIRU, 2024] UC識別
72. 72 少ない正解からの学習：重症度と臓器部位の情報分離 内視鏡画像＝ 重症度による見えの変化(重要)と 臓器部位による見えの変化(邪魔)が 混ざったもの AI技術 (disentanglement) 重症度に 関する情報 臓器部位に 関する情報 撮影順序情報 診断へ (付与が大変な)重症度に関するラベルが1/10であっても(半教師)，精度維持 [Harada+, MICCAI, 2021] UC識別
73. Learning to rank using limited labeled data ⇒ Deep Bayesian Active Learning 1. Pre-training using labeled data with Bayesian Dropout（Bayesian CNN） 2. Estimating unlabeled data, and selecting samples with high uncertainty 3. An annotator gives the relative label, and add it to labeled data (Go to step 1） Active-learning-to-rank [Kadota+, MedIA] (2024) Uncertainty Bayesian CNN 𝑥𝑥𝑖𝑖 𝑥𝑥𝑗𝑗 𝑓𝑓 𝑥𝑥𝑖𝑖 𝑓𝑓 𝑥𝑥𝑗𝑗 Bayesian CNN Bayesian CNN < select estimate Rank score Unlabeled Data Labeled Data Step 1 Step 2 Step 3 Annotation Contribution: We have theoretically proven that Bayesian CNN-based uncertainty holds even for pairwise learning.
74. 74 Theoretical proof [Kadota+, MedIA] (2024)
75. Samples with high uncertainty ： tends to be minor class samples ⇒ Sampled data tend to belong minor class ⇒ Reducing class imbalance, and thus, improving the accuracy Active-learning-to-rank Baseline： Random Sampling Method Labeling ratio Overall Neighboring 0-1 1-2 2-3 Mean Baseline 50% 0.861* 0.827 0.837 0.628 0.763* Baseline (all data) 100% 0.875 0.855 0.870 0.635 0.785* Proposed w/o UBS 50% 0.856* 0.818 0.842 0.634 0.763* Proposed 50% 0.880 0.787 0.871 0.736 0.797 [Kadota+, MedIA] (2024)
76. 76 診断：1人の患者に対して40枚程度撮影、その中で最も重症な部分の重症度を記録 患者毎の最重症度を推定するAIを学習 AIが内部で最重要そうな画像に注目するような機能を獲得 簡易な正解情報の利用：患者単位の最重症度情報を利用 0 vs 1,2,3 0,1 vs 2,3 0,1,2 vs 3 選択的集約 トークン トランスフォーマー 特徴抽出器 画像特徴 画像特徴集約 他施設 での識別 [Shiku+, WACV, 2025] 患者A：重症度２ 患者B：重症度３ ・・・
77. Input: a sequence data ⇒ Visualize the severity by colors in Schema GUI Patent (Keio＋Kyushu) [Takabayashi+, Dig Endosc.] (2024)
78. Win-Winな異分野コラボ例３：Imaging Device Luxonus＋京大＋慶応義塾大学＋NII 光超音波イメージングに関する研究 共同研究：2017年～2023年 ImPACT＋AMED 非侵襲で血管の３D画像を取得可 光超音波イメージングに関する画質改善手法を開発 技術移管→製品へ実装 論文： MICCAI2016,2017,2020,2022 BMVC2024 計14本+1本投稿中 特許3件 画像 https://doi.org/10.12688/f1000research.16743.2
79. 光超音波イメージング 80 超音波センサ 対象物 吸収体 レーザー光 超音波 血管内のヘモグロビンの特性 特定の波長の光を吸収 ↓ 熱膨張 ↓ 超音波発生 超音波信号をセンシングすることで、 生体や物体の内部を非侵襲・非破壊 で3次元可視化可能 従来機器（CT、MRI）では可視化で きなかった血管も可視化可能。 ↓ 疾病に関係が深い血管情報 ↓ 早期診断
80. 課題：体動によって画質が劣化 広範囲撮影 Image averaging ショットボリューム間の位置合わせが必要！ 位置合わせ体動補正手法を提案 提案手法 体動位置合わせなし 課題：撮像中の画質劣化による （九大・備瀬竜馬）画像再構成技術の開発、およびAIによる生体特徴量解析 • 大腿部・下肢部での検証 • 手法改良
81. 京大附属病院、慶大病院で臨床研究を実施 300症例以上の3D画像を取得 乾癬患者 乳がん Sci. Rep. 8, 14930 (2018). 皮膚疾患の薬物効果評価 J Eur Acad Dermatol Venereol. (2018) 72% 89% 投与前 投与後 癌特異的な血管を可視化 酸素飽和度 皮弁移植術の術前計画 Plast. Reconstr. Surg. 141, 1288 (2018) 穿通枝・栄養血管の可視化 光超音波 Psoriasis リンパ浮腫 Plastic Surgery The Meeting (2018) 血管とリンパ管 を同時に可視化 （既存手法）
82. 22歳 59歳 微小血管の形態解析が動脈硬化の早期診断に Saito S, et al., Journal of Hand Surgery(Euro. Vol.) 0(0)1-9,(2018), doi:10.1177/1753193418807833 位置合わせによる画質改善＋データ解析で貢献
83. Win-Winな異分野コラボ例２：バイオ分野 Elmer Ker @香港中文大学 細胞分化のプロセスに関する研究 共同研究：2008～2010年（CMU）、2017年～（九大） 2017年にお互いPIになったこともあり、共同研究再開 各染色した蛍光像を弱教師として利用することで、 細胞セグメンテーションや追跡を実現 →蛍光像とのペアを新たに撮影 共著： MICCAI2019 ECCV2020 MedIA(IF:10.7) 計7本+2本投稿中 他にも国際予算を一緒に出したり、 国際会議の招待講演 学生評価委員 特別講義 など
84. 85 コラボ先・情報学共にPublicationまでいかないケース 解析自体がかなりチャレンジング：定量化自体が人が介在しても難しい データが少数（教師ラベルだけでなく教師なしデータも少ない） コラボ先の研究の成果に結びついているが、情報学としては新規性がないケース 評価用データが少なく、公開データセットもない ⇒ 論文にはしにくい 画像処理でどうにかなるケースも多々 ⇒ リソースとコストを考えて引き受ける 画像処理の素養があるコラボ先の場合、アドバイスを行うことで合意（実装はコラボ先） 両方のPublicationには結びついたが製品化まではいかないケース 製品レベルでの要求が高い 高速化など企業側と役割分担して進めれるか？ すべてのコラボが成果に結びついているか？ ⇒ No
85. 86 新しい技術と組み研究範囲を広げていきたい AI・機械学習自体にも興味あり 自身の研究タスク以外にも様々な情報交換 診断の仕方など教えてくれる 関連する付随情報なども提供 情報学側の研究にも協力的 情報分野研究用にもデータを新たに取得 実課題および解決法に対するストーリーの議論 ただし、バイオ・医学側の欲するデータ解析もバランスよく実施し貢献 ⇒長期での連携になるケースが多い 異分野コラボが成功しているケース（再掲）
86. 87 異分野共同研究を通して新しい課題を解決する手法の研究開発 様々な関連情報が存在 実問題に沿って問題設定から検討 理論研究で類似問題設定があっても、実応用を考えると課題がたくさん →情報学としても、新しく、かつ現実問題に沿った研究 学生の教育にも効果！ • 異分野の用語も分からないところからスタートして、ヒアリングする力 • 連携先の要求をそのまま実施するのではなく、問題設定・アプローチを逆に提案する力 まとめ