AI×医用画像の現状と可能性_2024年版/AI×medical_imaging_in_japan_2024

Transcript

1. © 20241230 @Tdys13 『 AI×医用画像 』 の現状と可能性 轟 佳大 1 2024年版
2. © 20241230 @Tdys13 本資料は2018年より年末恒例で作成している、 轟によるスライドシリーズの第8弾です。 2024年は生成AIのさらなる発展を含め、 幅広い技術が実社会に浸透した印象を受けました。 そこで、本年も研究動向と事業動向の両面を整理し、 定点観測としてご紹介いたします。 説明不足などに至らぬ点もあるかと思いますが、 少しでも皆様の参考になりましたら幸いです。 2024 12.30 轟佳大 2 「AI×医用画像の現状と可能性」を生成AIにより画像化
3. © 20241230 @Tdys13 2. 3. 4. 1. 3 自己紹介 研究トレンド紹介 - 医用画像関連研究紹介 日本のビジネストレンド紹介2024 - 部位別カオスマップ，技術紹介 まとめ
4. © 20241230 @Tdys13 2. 3. 4. 1. 4 自己紹介 研究トレンド紹介 - 医用画像関連研究紹介 日本のビジネストレンド紹介2024 - 部位別カオスマップ，技術紹介 まとめ
5. © 20241230 @Tdys13 -所属-  本業： 医療機器メーカー - AIリサーチャー：医療機器へ搭載するAIアルゴリズムの研究開発 - プロジェクトリーダー：諸外国向け新規医療機器事業(製品化プロジェクト)の立ち上げ  その他所属： 東京大学医学部附属病院 バイオデザイン部門にて外部研究員 外資AI開発企業 医療事業にて事業/研究開発支援 -好きなもの-  ヘルスケアや最新技術の情報収集  ワイン、サッカー観戦、麻雀、ランニング -その他-  講演活動や趣味でリサーチした情報をまとめたりしてます。  連絡先 yoshihiro.todoroki.1013@gmail.comまたはX DM 5 轟 佳大 (ﾄﾄﾞﾛｷ ﾖｼﾋﾛ) ：@Tdys13
6. © 20241230 @Tdys13 2. 3. 4. 1. 6 自己紹介 研究トレンド紹介 - 医用画像関連研究紹介 日本のビジネストレンド紹介2024 - 部位別カオスマップ，技術紹介 まとめ
7. © 20241230 @Tdys13 7 ページ数 ：コンテンツ名 8 ~ 13 ：AIとは 14 ~ 65 ：新規提案された研究紹介(2024年) 66 ~ 101 ：日本におけるAI×医用画像事例紹介(2024年) 102 ~ 122 ：AI医療機器に関する話 123 ~ 125 ：終わりに スライド右上の マーク
8. © 20241230 @Tdys13 8 今日のAIブームは第3次AIブーム・機械学習の時代で主流となったディープラーニングから 第4次AIブーム・生成AIへと変遷している 人工知能技術の進展 引用： ・総務省 令和6年版 情報通信白書 https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/pdf/index.html ・第三章第一節より https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r06/pdf/n1310000.pdf
9. © 20241230 @Tdys13 9 人工知能≒「様々な技術の複合体の総称」 現状はとりわけ「深層学習」&「その他技術」が使われているものを指す 人工知能とは？ 引用： ・AI demystified https://www.callaghaninnovation.govt.nz/blog/ai-demystified
10. © 20241230 @Tdys13 10 中でも機械学習技術の一手法である『深層学習技術』は人工知能の根幹技術である 人工知能とは？ 引用： ・NVIDIA ブログ 人工知能、機械学習、ディープラーニングの違いとは https://blogs.nvidia.co.jp/2016/08/09/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
11. © 20241230 @Tdys13 11 何を最終目的とした、どんなデータが存在するか、などの条件から 使用する深層学習モデルとモデルの学習方法を選ぶ 深層学習とは？
12. © 20241230 @Tdys13 12 大規模データで学習したAIモデル(基盤モデル、LLM、LVM等)が数年前から研究され、 昨年(2023年)から流行、日常生活にも当たり前に使われ始めてきた。 深層学習の発展 自身で0から 学習させるAIモデル 事前学習済みモデルを 転移学習させるAIモデル 大規模データを 学習したAIモデル 今も多くの領域で主流 自然言語領域や 画像生成領域で突如主流 自身が持っているデータ量分 (1G~100G) 大量のデータを学習 (100G~1000G) 大規模データを学習 (1000G~100P) 調整するパラメータ (102~106) 調整するパラメータ (108~1010) 調整するパラメータ (1011~1020)
13. © 20241230 @Tdys13 13 『AI×医用画像』の現状と可能性(2024年) まとめ • AIとは深層学習・機械学習×◦◦の総称 • 学習方法や目的に応じて使用する技術や 使う深層学習モデルを変えていく • 近年は生成AIサービスを多くの場面で見かけるようになっている。
14. © 20241230 @Tdys13 14 ここからは 研究を見ていく中で 個人的に盛り上がっていると 感じたジャンルを紹介するよ！
15. © 20241230 @Tdys13 15 個人的に考えた2024年の深層学習×医用画像処理の研究トレンド • 精度追求から現場課題解決への移行 - 新生児病棟環境や新生児特有の特徴を考慮した顔認識の提案 - 腹腔鏡手術時に発生する煙を除去する試み - ロボット手術時に発生する生体組織や他の術具によるオクルージョンを考慮したポーズ推定 - 非造影CTから大動脈弁の再構築 • ニッチなシーン・対象への研究応用 - 光学フローを損なわない動的データ拡張の提案 - Bモード超音波画像における検出精度向上 - X線血管造影領域におけるSim2Realの応用 • 新技術導入によるブレイクスルー① - 外科手術に特化したトランスフォーマー - LLMを応用したマルチモーダルな肺がん予後予測 - 病気の進行予測を行うディフュージョンモデル
16. © 20241230 @Tdys13 16 個人的に考えた2024年の深層学習×医用画像処理の研究トレンド • 新技術導入によるブレイクスルー② - 脳損傷セグメンテーションのための基盤モデル - 超音波画像に特化したSAM - Med-CLIP SAM - SAMを用いたPseudo Labelの頑健性向上 • Medical Visual Question Answeringタスク - 大規模なMedical Visual Question Answeringデータセット • 個人的に関心がある研究 - 信頼性・公平性に関する研究 - 世界モデルの応用 - 製品化の際に必要な性能報告の水準に多くの技術研究が達していない
17. © 20241230 @Tdys13 17 精度追求から現場課題解決への移行 ✓ 新生児病棟環境や新生児特有の特徴を考慮した顔認識の提案 Towards a Deeper insight into Face Detection in Neonatal wards 国際学会 MICCAI2024 採択 検出結果 左：ベースライン、右：提案手法 ・論文引用 Zhao, Yisheng, et al. "Towards a Deeper Insight Into Face Detection in Neonatal Wards." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. NICU(新生児集中治療室)の特別環境下における 成人顔とは異なる特徴を持つ新生児の顔認識を目的とした研究 ・論文引用 Zhao, Yisheng, et al. "Towards a Deeper Insight Into Face Detection in Neonatal Wards." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 提案アーキテクチャ 精度評価の比較
18. © 20241230 @Tdys13 18 精度追求から現場課題解決への移行 ✓ 新生児病棟環境や新生児特有の特徴を考慮した顔認識の提案 Towards a Deeper insight into Face Detection in Neonatal wards 国際学会 MICCAI2024 採択 • 研究課題①：特殊環境下での顔認識 - 新生児に対する顔検出を基盤とした非接触型モニタリングを実施したいが、 遮蔽物が多すぎるため頑健性が担保されない • 研究課題②：色んな物で遮蔽された顔、小さな顔の検出精度の頑健性 - 新生児の顔が、毛布や医療機器、新生児の四肢で隠れていても検知をしたい。 - 新生児の顔はとても小さいが、ロバストに検出したい • 研究新規性①：新データセットの構築 - 新生児病棟における新生児の顔データセット - 新生児のベッドに設備されている医療機器・毛布・四肢で隠れた顔なども含む - オープンデータセット化に向けて調整中 • 研究新規性②：ネガティブアンカーに対する特化トレーニング戦略 - 誤検出を起こしやすい難しい症例 (＝ネガティブアンカー。非顔領域や顔に掛かる 毛布や医療機器など)の画像を多く学習させる。 - 難しい症例を学習した際に、意図的にペナルティーを課すようなlossの設計 ・論文引用 Zhao, Yisheng, et al. "Towards a Deeper Insight Into Face Detection in Neonatal Wards." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
19. © 20241230 @Tdys13 19 精度追求から現場課題解決への移行 ✓ 新生児病棟環境や新生児特有の特徴を考慮した顔認識の提案 Towards a Deeper insight into Face Detection in Neonatal wards 国際学会 MICCAI2024 採択 ・論文引用 Zhao, Yisheng, et al. "Towards a Deeper Insight Into Face Detection in Neonatal Wards." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. マルチスケールの特徴抽出 新生児の顔特徴が少ない＆サイズも小さいため、 より頑健性を狙ったアプローチ 1st step ネガティブアンカーのフィルタリング 事前に設定した閾値に基づき、ネガティブアン カーを排除する 2nd step 顔の周辺情報を加味した統合特徴マップの生成 フィルタリングされたアンカーよりアテンションマップ を作成。 入力画像とアテンションマップをかけ合わせ 顔の周辺情報を加味した統合特徴マップを作成 提案アーキテクチャー：Hierarchical Contextual Classification Branch 1st step と2nd stepを統合したloss 次のページにて説明
20. © 20241230 @Tdys13 20 精度追求から現場課題解決への移行 ✓ 新生児病棟環境や新生児特有の特徴を考慮した顔認識の提案 Towards a Deeper insight into Face Detection in Neonatal wards 国際学会 MICCAI2024 採択 ・論文引用 Zhao, Yisheng, et al. "Towards a Deeper Insight Into Face Detection in Neonatal Wards." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 提案アーキテクチャーのLoss：Hierarchical Contextual Classification Branch 1st step部分 ネガティブアンカーを フィルタリングして 探索空間を狭める 2nd step部分 周辺情報も加味した 検出精度向上目的 • 𝑓1 𝑐と𝑓2 𝑐：各𝑠𝑡𝑒𝑝の出力結果 • 𝑦：各アンカーラベル • 𝑦′：動的なラベルの再設定 - False negative anchor→ポジティブへ再設定 - True negative anchor→ネガティブとして維持 - その他のanchor→無視 • F1 とF2 ： Sigmoid focal loss • 𝛾：1st step部分と2nd step部分のバランスを取る重み
21. © 20241230 @Tdys13 21 精度追求から現場課題解決への移行 ✓ 新生児病棟環境や新生児特有の特徴を考慮した顔認識の提案 Towards a Deeper insight into Face Detection in Neonatal wards 国際学会 MICCAI2024 採択 左：ベースライン、右：提案手法 ・論文引用 Zhao, Yisheng, et al. "Towards a Deeper Insight Into Face Detection in Neonatal Wards." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. NICUに入院している新生児の顔認識に特化したデータセットの作成と 四肢や医療機器で顔が隠されても精度高く顔を検出することが出来た ・論文引用 Zhao, Yisheng, et al. "Towards a Deeper Insight Into Face Detection in Neonatal Wards." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
22. © 20241230 @Tdys13 22 精度追求から現場課題解決への移行 ✓ 腹腔鏡手術時に発生する煙を除去する試み A New Benchmark In Vivo Paired Dataset for Laparoscopic Image De-smoking 国際学会 MICCAI2024 採択 手術動画から 煙が出る直前/直後の画像をペアとして抽出 ・論文引用 Xia, Wenyao, et al. "A New Benchmark In Vivo Paired Dataset for Laparoscopic Image De-smoking." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. ペアを選択するためのワークフロー 新規データセットを用いて 既存アルゴリズム8種類を比較。 M2/M5が最も煙除去が確認できた 腹腔鏡手術における煙除去の研究を促進するため、 実手術画像を用いた煙あり・なしペアデータセットを構築し、既存アルゴリズムの限界を明らかにした研究
23. © 20241230 @Tdys13 23 精度追求から現場課題解決への移行 ✓ 腹腔鏡手術時に発生する煙を除去する試み A New Benchmark In Vivo Paired Dataset for Laparoscopic Image De-smoking 国際学会 MICCAI2024 採択 データセット構築のための準備 • 手順①：実際の手術動画像の収集と選別 - 画角内に機器が大きく写っている、病変が大きく写っているなどの 条件フレームを削除する • 手順②：ペア画像の収集 - 煙の写っていない、学習に適したフレーム(smoke-free frame)を選択。 - smoke-free frameと数フレーム後の煙が映るsmoke frameを用いてRed channel motion estimationを実施。 - Motion estimateされた画像を用いてsmoke frameに対して画像補正し、 smoke-free frameとほぼ近い画角へ変更する。 • 余談：Red channel motion estimationについて - RGBチャンネルの赤は手術動画や内視鏡環境下において、血液や組織の動き を見るのに適している。 - 緑、青は光やノイズの影響がそのまま出るため、 動き推定においては使用しづらい ・論文引用 Xia, Wenyao, et al. "A New Benchmark In Vivo Paired Dataset for Laparoscopic Image De-smoking." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
24. © 20241230 @Tdys13 24 精度追求から現場課題解決への移行 ✓ 腹腔鏡手術時に発生する煙を除去する試み A New Benchmark In Vivo Paired Dataset for Laparoscopic Image De-smoking 国際学会 MICCAI2024 採択 ・論文引用 Xia, Wenyao, et al. "A New Benchmark In Vivo Paired Dataset for Laparoscopic Image De-smoking." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. Smoke-frame GT M1 M2 M3 M4 M5 M6 M7 M8 構築したデータセットを用いてSmoke-frame画像に対して「8手法がどれほど煙除去を出来るか」の検証を実施。 M2とM5が数値として最も高く、結果画像もきれいに除去されていたことが確認できた。 ・論文引用 Xia, Wenyao, et al. "A New Benchmark In Vivo Paired Dataset for Laparoscopic Image De-smoking." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
25. © 20241230 @Tdys13 25 精度追求から現場課題解決への移行 ✓ ロボット手術時に発生する生体組織や他の術具によるオクルージョンを考慮したポーズ推定 Towards Precise Pose Estimation in Robotic Surgery: Introducing Occlusion-Aware Loss 国際学会 MICCAI2024 採択 生体組織や臓器で隠れている術具を推定する (赤矢印部分が遮蔽部の推定結果) ・論文引用 Park, Jihun, et al. "Towards Precise Pose Estimation in Robotic Surgery: Introducing Occlusion-Aware Loss.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. ロボット手術中に発生する生体組織や他の術具によるオクルージョン(遮蔽)を考慮した新しい損失関数を用いて、 実際のロボット手術ビデオ(Da Vinci)における外科器具ポーズ推定精度を向上させた研究
26. © 20241230 @Tdys13 26 精度追求から現場課題解決への移行 ✓ ロボット手術時に発生する生体組織や他の術具によるオクルージョンを考慮したポーズ推定 Towards Precise Pose Estimation in Robotic Surgery: Introducing Occlusion-Aware Loss 国際学会 MICCAI2024 採択 • 研究課題①：実環境でのデータ不足 - 関連研究の多くはシュミレーションデータを用いて解決を図っていたが 実際の手術環境が十分に反映されていなかった。 • 研究課題②：遮蔽された操作術具を推定する難しさ - 臓器や他の術具で隠れた操作中の術具のキーポイント推定と 遮蔽状況に逐次的に対応させることはとても難しい。 • 研究新規性①：新データセットの構築 - 胃がんを外科手術する際のデータを収集し、データセットの構築を実施 - 6種類の術具を対象にキーポイントの可視化情報（見えている、隠れている、画 面外）をアノテーションとして付与。 • 研究新規性②：可視化情報を反映した新しい損失関数(Occlusion-Aware Loss)の定義 データセットで対象となった術具 上段は6-7箇所のキーポイント 下段は5箇所のキーポイント 可視化情報のアノテーション x,y座標と可視化情報の付与 0:画面外、1:見えている、2:隠れている tn c :各キーポイントの1ホットエンコードされた可視化情報 pn c :モデルが出力した各クラスの確率値 ・論文引用 Park, Jihun, et al. "Towards Precise Pose Estimation in Robotic Surgery: Introducing Occlusion-Aware Loss.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
27. © 20241230 @Tdys13 27 精度追求から現場課題解決への移行 ✓ ロボット手術時に発生する生体組織や他の術具によるオクルージョンを考慮したポーズ推定 Towards Precise Pose Estimation in Robotic Surgery: Introducing Occlusion-Aware Loss 国際学会 MICCAI2024 採択 YOLO v8の損失関数 Occlusion-Aware Loss ・論文引用 Park, Jihun, et al. "Towards Precise Pose Estimation in Robotic Surgery: Introducing Occlusion-Aware Loss.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. ・論文引用 Park, Jihun, et al. "Towards Precise Pose Estimation in Robotic Surgery: Introducing Occlusion-Aware Loss.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 新データセットを構築し、 YOLO v8の既存の損失関数へOcclusion-Aware Lossを組み込むことで最終的な精度の向上
28. © 20241230 @Tdys13 28 精度追求から現場課題解決への移行 ✓ 非造影CTから大動脈弁の再構築 Seeing the Invisible: On Aortic Valve Reconstruction in Non-Contrast CT 国際学会 MICCAI2024 採択 ・論文引用 Bujny, Mariusz, et al. "Seeing the Invisible: On Aortic Valve Reconstruction in Non-contrast CT." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 非造影CT画像から、低視認性臓器(今回は大動脈弁)を正確にセグメンテーションする提案研究
29. © 20241230 @Tdys13 29 精度追求から現場課題解決への移行 ✓ 非造影CTから大動脈弁の再構築 Seeing the Invisible: On Aortic Valve Reconstruction in Non-Contrast CT 国際学会 MICCAI2024 採択 ・論文引用 Bujny, Mariusz, et al. "Seeing the Invisible: On Aortic Valve Reconstruction in Non-contrast CT." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. • 研究課題①：非造影CTを用いること - 非造影CTはコントラストが低く、大動脈弁のような細かな構造の認識が難しい。 • 研究課題②：学習時のGTの作成 - 非造影CTではマニュアルによるアノテーションがとても難しく、時間がかかる。 • 研究新規性①：非造影CTと造影CTを空間的に一致させる - 推論時に非造影CTのみを使えるようにするため、学習時に工夫を施す。 - 剛体登録(Rigid Registration 画像同士を回転/平行移動/スケール変化のみを用 いて一致させる)を用いて非造影CT/造影CT間の位置合わせを正確に実施。 - 剛体登録をした造影CTのセグメンテーションマスクを、そのまま非造影CTの GTとして利用。 • 研究新規性②：ICP手法を用いた局所的な一致率の向上 - ICP(Iterative Closet Point)は点群のポイントマッチングに用いられる。 - 領域内の対象物に特化して一致を図る。(今回の場合は大動脈弁に特化) - 最終的なズレは平均0.8mm以内となった。
30. © 20241230 @Tdys13 30 精度追求から現場課題解決への移行 ✓ 非造影CTから大動脈弁の再構築 Seeing the Invisible: On Aortic Valve Reconstruction in Non-Contrast CT 国際学会 MICCAI2024 採択 ・論文引用 Bujny, Mariusz, et al. "Seeing the Invisible: On Aortic Valve Reconstruction in Non-contrast CT." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 非造影CT 非造影CT 造影CT ICPアルゴリズムを用いた 非造影CTへの対応 ICPアルゴリズムを用いた 非造影CTへの対応 造影CTから 剛体登録をしたマスク 青線：対象輪郭 赤線：自動生成したマスク 造影CTとICPアルゴリズムを利用することで 「非造影CTの疑似セグメンテーションマスク」として利用出来る様になった ・論文引用 Bujny, Mariusz, et al. "Seeing the Invisible: On Aortic Valve Reconstruction in Non-contrast CT." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
31. © 20241230 @Tdys13 31 ニッチなシーン・対象への研究応用 ✓ 光学フローを損なわない動的データ拡張の提案 VideoCutMix: Temporal Segmentation of Surgical Videos in Scarce Data Scenarios 国際学会 MICCAI2024 採択 ・論文引用 Dhanakshirur, Rohan Raju, et al. "VideoCutMix: Temporal Segmentation of Surgical Videos in Scarce Data Scenarios." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. VideoCutMix 光学フローを維持しながらデータ水増しを行う 動画データセットの説明 a)撮像環境 b)train/testのデータ分布 c~f)画像例 掴む→動かす→離す→背景 g,h)提案水増しを用いたアクション結果 Temporal Action Segmentation(TAS)タスクとも呼ばれる 脳神経外科内視鏡手術を訓練する脳外科研修医向けのトレーニングに特化した動画データセットの構築と データ不足に対する光学フローを損なわない動的データ拡張の提案
32. © 20241230 @Tdys13 32 ニッチなシーン・対象への研究応用 ✓ 光学フローを損なわない動的データ拡張の提案 VideoCutMix: Temporal Segmentation of Surgical Videos in Scarce Data Scenarios 国際学会 MICCAI2024 採択 ・論文引用 Dhanakshirur, Rohan Raju, et al. "VideoCutMix: Temporal Segmentation of Surgical Videos in Scarce Data Scenarios." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. • 研究課題①：ニッチな領域に伴う研究データ不足 - 脳神経外科トレーニーの手術訓練動画というニッチな領域 - 手術のシーンやフェーズを認識するデータセットがない • 研究課題②：データ不足下における動画像水増しの限界 - 光学フローを損ないながら水増しをすることが多いため データ不足の状況下においては水増しが機能しなくなる。 • 研究新規性①：新データセットの構築 - 脳神経外科トレーニーの手術訓練動画データセット - 3名の医師によるアノテーション ①フレームにおけるアクション ②動画内のフェーズに対してラベル付与 • 研究新規性②：動的データ拡張技術-VideoCutMixの開発 - 光学フローは維持しながらフレームの一部を別動画や、異なる時間位置から差 し替えることでアクション境界を合成し、データの多様性を高める。 • 研究新規性③：カリキュラム学習の応用 - カリキュラム学習：易しいもの→難しいものへ難易度を上げながら学習する VideoCutMix 内視鏡術具がほぼ同じ位置のフレーム を別シーンから貼り付ける
33. © 20241230 @Tdys13 33 ニッチなシーン・対象への研究応用 ✓ 光学フローを損なわない動的データ拡張の提案 VideoCutMix: Temporal Segmentation of Surgical Videos in Scarce Data Scenarios 国際学会 MICCAI2024 採択 ・論文引用 Dhanakshirur, Rohan Raju, et al. "VideoCutMix: Temporal Segmentation of Surgical Videos in Scarce Data Scenarios." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. JIGSAWS-Knot-tyingデータセットに対して、 各動画像水増し手法と比較をした結果 最も精度が高くなった 動画のアクションセグメンテーション結果 提案手法のアクション解析結果は GTとほぼ類似している 新規水増し手法であるVideoMixCutは 動画像領域の水増しにおいて重要な手法になりうる
34. © 20241230 @Tdys13 34 ニッチなシーン・対象への研究応用 ✓ Bモード超音波画像における検出精度向上 Topological GCN for Improving Detection of Hip Landmarks from B-Mode Ultrasound Images 国際学会 MICCAI2024 採択 ・論文引用 Huang, Tianxiang, et al. "Topological GCN for Improving Detection of Hip Landmarks from B-Mode Ultrasound Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 乳児の発育性股関節形成不全を診断するため Bモード超音波画像における股関節ランドマークの検出精度向上を目指した研究
35. © 20241230 @Tdys13 35 ニッチなシーン・対象への研究応用 ✓ Bモード超音波画像における検出精度向上 Topological GCN for Improving Detection of Hip Landmarks from B-Mode Ultrasound Images 国際学会 MICCAI2024 採択 ・論文引用 Huang, Tianxiang, et al. "Topological GCN for Improving Detection of Hip Landmarks from B-Mode Ultrasound Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. • 研究課題①：Bモード超音波画像にノイズがのりやすい - ノイズの影響を受けやすく、正確なランドマーク検出が難しい • 研究課題②：ランドマークの空間的位置関係情報の考慮が難しい - 先行研究では局所的な特徴に注力する物が多く、位置関係情報まで考慮されて いる研究が存在しない。 • 研究新規性①：ノイズに頑健なアーキテクチャの設計 - U-NetとTransformerを組み合わせて、局所的特徴と大域的特徴より ランドマーク候補を抽出。 • 研究新規性②：ランドマーク間の空間的な位置関係をグラフ表現でモデル化 - GCNにて位置関係情報を学習し、ランドマーク検出の精度をあげる - 研究新規性①と②が提案アーキテクチャであるTGCN-ICF
36. © 20241230 @Tdys13 36 ニッチなシーン・対象への研究応用 ✓ Bモード超音波画像における検出精度向上 Topological GCN for Improving Detection of Hip Landmarks from B-Mode Ultrasound Images 国際学会 MICCAI2024 採択 ・論文引用 Huang, Tianxiang, et al. "Topological GCN for Improving Detection of Hip Landmarks from B-Mode Ultrasound Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 入力：Bモード超音波画像 元画像とパッチ画像を それぞれU-Netと Transformerへ入力 U-Netから出力された大域的特徴と Transformerから出力された 局所的特徴をかけ合わせた 特徴マップの出力 MMFにて出力された大域的特徴マッ プ＆局所的特徴マップを結合し ヒートマップの生成 生成されたヒートマップを更に精査し グラフ表現で学習。 ランドマークの位置関係を隣接行列、 ヒートマップをノードとしGCNを行う。 U-Netから出力された大域的特徴は Transformerの特徴更新に使用。 Transformerから出力された 局所的特徴はU-Netの特徴更新に使用。 提案アーキテクチャTGCN-ICF
37. © 20241230 @Tdys13 37 ニッチなシーン・対象への研究応用 ✓ Bモード超音波画像における検出精度向上 Topological GCN for Improving Detection of Hip Landmarks from B-Mode Ultrasound Images 国際学会 MICCAI2024 採択 ・論文引用 Huang, Tianxiang, et al. "Topological GCN for Improving Detection of Hip Landmarks from B-Mode Ultrasound Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 平均半径誤差と検出率の比較結果 Baselineと提案手法の比較 乳児の発育性股関節形成不全は見抜くことも難しいため 新たな検出方法としての可能性がある 提案されたTGCN-ICFが最も平均半径誤差(MRE)が低く、許容誤差内での検出率(SDR)が高くなった。 TGCN-ICFからMMFやTGCNを省くと精度が下がるため、各機構が精度向上に寄与していることが分かった。
38. © 20241230 @Tdys13 38 ニッチなシーン・対象への研究応用 ✓ X線血管造影領域におけるSim2Realの応用 XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-ray Angiography 国際学会 MICCAI2024 採択 ・論文引用 Zhang, Baochang, et al. "XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-Ray Angiography." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. XCAD データセット (オープン) Train 1,621枚 Ⅰ-XA データセット (インハウス) Train 90枚 Ⅱ-XA データセット (インハウス) Train 80枚 シミュレーションデータと適応型表現学習を活用して、 ラベルなしX線血管造影データにおける高精度な血管セグメンテーションを実現した新しいフレームワークの提案
39. © 20241230 @Tdys13 39 ニッチなシーン・対象への研究応用 ✓ X線血管造影領域におけるSim2Realの応用 XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-ray Angiography 国際学会 MICCAI2024 採択 • 研究課題①：XA画像のアノテーションは困難でコストが高い • 研究課題②：他の自己教師あり学習手法では実際の血管形状を模倣できない - 最近の自己教師あり学習手法はフラクタル形状を使用する研究が多いが フラクタル形状は現実の血管形状と大きく乖離している。 • 研究新規性①：デジタル再構成血管造影(DRVR)を用いたSimXAデータの生成 - 患者のCTA画像やCT撮像時のパラメータ、撮像ポーズを基にシミュレーション されたXAデータを生成する • 研究新規性②：2段階の適応プロセスにより、シミュレーションデータと実データの 表現を効果的に整合化。 - 生成したシミュレーション画像をContrastive Unpaired Translation（CUT） モデルで実XA画像に近づける。 ・論文引用 Zhang, Baochang, et al. "XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-Ray Angiography." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
40. © 20241230 @Tdys13 40 ニッチなシーン・対象への研究応用 ✓ X線血管造影領域におけるSim2Realの応用 XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-ray Angiography 国際学会 MICCAI2024 採択 • 研究新規性③：新しい適応型表現整合技術の提案 - シミュレーションデータと実際のXA画像データ間のギャップを埋めるため ドメイン内適応技術を提案した - 左図より A image：本物のXA画像データ B image：シミュレーションにより生成されたXA画像データ C image：DRVR画像データ • 研究新規性④：シミュレーションデータ/実データを近づけるための新しいloss - Class Centroid Feature Alignment Loss (𝐿𝑐𝑓𝑎 ) シミュレーションデータと実データ間で血管と背景の特徴表現整合性を高める - Class Centroid Contrastive Loss (𝐿𝑐𝑐𝑐 ) 血管と背景の特徴間識別性を向上する - Prediction Space Adversarial Loss (𝐿𝑃𝑎 𝑆 ) 実データとシミュレーションデータの予測分布を明示的に整合する - 最終的なLossは上記3つ＆𝐿𝑠𝑒𝑔 (=𝐿𝐷𝑖𝑐𝑒 + 𝐿𝑏𝑐𝑒 ),𝐿𝑐𝑜𝑛 (𝐶𝑜𝑛𝑠𝑖𝑠𝑡𝑒𝑛𝑐𝑦 𝐿𝑜𝑠𝑠)を 重み付けして統合したもの。 ・論文引用 Zhang, Baochang, et al. "XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-Ray Angiography." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
41. © 20241230 @Tdys13 41 ニッチなシーン・対象への研究応用 ✓ X線血管造影領域におけるSim2Realの応用 XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-ray Angiography 国際学会 MICCAI2024 採択 • Class Centroid Feature Alignment Loss 𝐿𝑐𝑓𝑎 1. シミュレーションXAデータと実XAデータにおいて、各バッチで 血管と背景の特徴ベクトルの平均を計算し、クラス中心を生成 2. シミュレーションXAデータと実XAデータの血管と背景の 特徴中心間のユークリッド距離を最小化する • Class Centroid Contrastive Loss 𝐿𝑐𝑐𝑐 1. 正のサンプルとして血管特徴を抽出、負のサンプルとして背景特 徴を抽出 2. 以下の損失関数を最小化 ℎ𝑖 = 血管特徴, 𝑔𝑗 = 背景特徴, 𝑓𝐵𝑣 = シミュレーションデータの血管特徴, 𝑛 = 1024, 𝑤 = 2048, 𝜏 = 0.1 • Prediction Space Adversarial Loss 𝐿𝑆𝑝𝑎 1. シミュレーションXA画像の予測マップ𝑃𝐵 ∗ 実XA画像の予測マップ𝑃𝐴 ∗ それぞれの画像の勾配マップ𝒢(∗) 2. 判別器𝐷 シミュレーションデータと実データの 予測マップと勾配マップが一致しているか評価 3. セグメンテーション時におけるLoss ・論文引用 Zhang, Baochang, et al. "XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-Ray Angiography." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
42. © 20241230 @Tdys13 42 ニッチなシーン・対象への研究応用 各データセットに対する結果比較。 ✓ X線血管造影領域におけるSim2Realの応用 XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-ray Angiography 国際学会 MICCAI2024 採択 ・論文引用 Zhang, Baochang, et al. "XA-Sim2Real: Adaptive Representation Learning for Vessel Segmentation in X-Ray Angiography." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 提案手法(ラベルなしデータを用いた自己教師あり学習)はU-Net(教師あり学習)同等の精度を出しており、 他の自己教師あり学習手法より高い精度となった。
43. © 20241230 @Tdys13 43 新技術導入によるブレイクスルー① ✓ 外科手術に特化したトランスフォーマー Surgformer: Surgical Transformer with Hierarchical Temporal Attention for Surgical Phase Recognition 国際学会 MICCAI2024 採択 ・論文引用 Yang, Shu, et al. "Surgformer: Surgical transformer with hierarchical temporal attention for surgical phase recognition." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 外科的フェーズ認識のための階層型時間注意を持つ外科用トランスフォーマーの提案研究
44. © 20241230 @Tdys13 44 新技術導入によるブレイクスルー① ✓ 外科手術に特化したトランスフォーマー Surgformer: Surgical Transformer with Hierarchical Temporal Attention for Surgical Phase Recognition 国際学会 MICCAI2024 採択 • 研究課題①：空間-時間的依存性の効果的なモデリングが困難 - 従来の時間的注意メカニズムは、長期的依存性のみに焦点を当て、ローカルな 情報を無視。 • 研究課題②：空間-時間的冗長性 - 全てのフレームを使用する従来手法では、冗長な計算が発生し、効率が低い • 研究新規性①：Hierarchical Temporal Attention (HTA) の導入 - 長期的な依存関係だけでなく、短期的な一貫性も同時にモデリング。 • 研究新規性②：Aggregated Spatial Attention (ASA) の導入 - 時間的に強化されたSpatial Attentionを統合し、ターゲットフレーム中心のモデ リングを実現。 • 研究新規性③：スパースフレーム戦略 - フレームの間引きにより、計算負荷を削減しながら必要な情報を保持。 ・論文引用 Yang, Shu, et al. "Surgformer: Surgical transformer with hierarchical temporal attention for surgical phase recognition." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. AutolaparoデータセットにてSoTA更新
45. © 20241230 @Tdys13 45 新技術導入によるブレイクスルー① ・論文引用 Kim, Kyungwon, et al. "LLM-Guided Multi-modal Multiple Instance Learning for 5-Year Overall Survival Prediction of Lung Cancer.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 提案アーキテクチャ LLM-guided Multi-modal MIL 5年予後予測の精度結果 ✓ LLMを応用した肺がん患者の5年予後予測研究 LLM-guided Multi-modal Multiple Instance Learning for 5-year Overall Survival Prediction of Lung Cancer 国際学会 MICCAI2024 採択 CT画像、病理画像、臨床情報を統合する新しいAIモデルを開発し、 肺がん患者の5年生存率を高精度で予測する方法を提案
46. © 20241230 @Tdys13 • 研究課題①：モダリティ間の情報統合が不十分 - 従来手法はモダリティ間の相互情報が活用されていない • 研究課題②：臨床情報の活用不足 - 従来のモデルでは画像データとテキストベースの臨床情報の統合が困難 • 研究課題③：外部データセットでの汎化性能が低い - 従来手法は外部検証データセットでの性能が内部データセットに比べて大幅に 低下する傾向がある • 研究新規性①：LLM（Large Language Models）による特徴整列 - 臨床情報をLLMで解釈し、CT画像・病理画像の特徴と効果的に整列 • 研究新規性②：Multi-modal Alignment Module（MAM）の導入 - モダリティ間相互特徴をクロスアテンションで整列し、高度な情報統合を実現 • 研究新規性③：マルチモーダルMILフレームワーク - CT画像、病理画像、臨床情報を統合し、全体の特徴を学習 • 研究新規性④：外部データセットでの優れた汎化性能 - LLM-guidanceにより、外部データセットでの性能低下を抑制 46 新技術導入によるブレイクスルー① ・論文引用 Liu, Zeyu, et al. "Generating progressive images from pathological transitions via diffusion model." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. ✓ LLMを応用した肺がん患者の5年予後予測研究 LLM-guided Multi-modal Multiple Instance Learning for 5-year Overall Survival Prediction of Lung Cancer 国際学会 MICCAI2024 採択 マルチモーダル特徴を集約する手法の比較 提案手法であるMAM+G(feature aggregator) が最も精度が高かった
47. © 20241230 @Tdys13 47 新技術導入によるブレイクスルー① ✓ 病気の進行予測を行うディフュージョンモデル Generating Progressive Images from Pathological Transitions via Diffusion Model 国際学会 MICCAI2024 採択 ・論文引用 Liu, Zeyu, et al. "Generating progressive images from pathological transitions via diffusion model." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. a)異なる手法での生成結果 b)病理領域のdomain migrationに関する結果 分類精度比較の結果 提案手法が最もスコアが高くなった 病理画像の進行段階を再現する新しい生成モデル（ADDネットワーク）を提案し、 少ないデータからも高品質で多様な画像を生成することで、データ不足を補い分類性能を向上させた研究
48. © 20241230 @Tdys13 48 新技術導入によるブレイクスルー① ✓ 病気の進行予測を行うディフュージョンモデル Generating Progressive Images from Pathological Transitions via Diffusion Model 国際学会 MICCAI2024 採択 ・論文引用 Liu, Zeyu, et al. "Generating progressive images from pathological transitions via diffusion model." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. • 研究課題①：従来の生成モデルでの生成の多様性不足 - 従来のGANやDiffusion Modelsは、多様な病理画像を生成するのが難しい • 研究課題②：データ不足への対応が不十分 - 実データが少ない場合、モデルが過学習に陥りやすい • 研究課題③：理学的進行のシミュレーションが困難 - 病理画像の進行的な変化を再現する効果的な生成方法が存在しない。 • 研究新規性①：Adaptive Depth-controlled Strategyの導入 - 病理学的な進行段階を再現する生成深度制御を導入。 • 研究新規性②：Hybrid Attention Strategy (HAS)の提案 - ローカルとグローバルな特徴を統合的に捉える注意機構を採用し、ドメイン間 移行で視覚的な一貫性を維持 • 研究新規性③：進行的データ生成の実現 - 理学的遷移に基づいた画像生成で、進行段階ごとのラベル付きデータを提供 進行的データ生成の結果
49. © 20241230 @Tdys13 49 新技術導入によるブレイクスルー① ✓ 病気の進行予測を行うディフュージョンモデル Generating Progressive Images from Pathological Transitions via Diffusion Model 国際学会 MICCAI2024 採択 ・論文引用 Liu, Zeyu, et al. "Generating progressive images from pathological transitions via diffusion model." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. Adaptive Depth- controlled Diffusion (ADD) ネットワーク の概要 異なるドメインを移行 するためのU-shaped bidirectional diffusion process Unet拡散モデルと異なる 局所/大域的な 優先順位を持つHybrid Attention Strategy(HAS) 特徴探索を行うための 生成深度制御戦略 病理状態間のドメイン移行(Domain Migration)を行い、進行的な病理画像を自動生成する Adaptive Depth-controlled Diffusion(ADD)モデル 病理画像の進行段階を再現する新しい生成モデルが 別モダリティでも適用可能なのか引き続き注目する
50. © 20241230 @Tdys13 50 新技術導入によるブレイクスルー② ✓ 脳損傷セグメンテーションのための基盤モデル A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts 国際学会 MICCAI2024 採択 ・論文引用 Zhang, Xinru, et al. "A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. One Model for All TasksがMoMEの概念図 複数のMRIモダリティを統合し、脳病変の多様なタイプを高精度でセグメント化するための 新しい基盤モデル（MoME）を提案
51. © 20241230 @Tdys13 51 新技術導入によるブレイクスルー② ✓ 脳損傷セグメンテーションのための基盤モデル A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts 国際学会 MICCAI2024 採択 ・論文引用 Zhang, Xinru, et al. "A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. • 研究課題①：MRIモダリティ間の情報統合が困難 - MRIモダリティごとの異なる特徴を効果的に統合する手法が不足 • 研究課題②：エキスパートの専門性の喪失 - 複数のモダリティを扱うことで、エキスパートネットワークがモダリティ固有 の特徴を見失う可能性がある • 研究課題③：未知のデータへの汎化性能が低い - 従来のモデルは訓練されていないモダリティやデータセットでの性能が不安定 • 研究新規性①：Mixture of Modality Experts（MoME）フレームワーク - 各MRIモダリティ専用のエキスパートネットワークを用意し、MRIモダリティ間 の相補的な情報を引き出す • 研究新規性②：階層的ゲーティングネットワーク - MRIモダリティ間の関係性を学習し、出力を最適に統合 • 研究新規性③：カリキュラム学習戦略 - 初期はモダリティ固有の学習に注力し、後半に全体の統合に移行 複数のデータセットを用いた比較研究 MoMEが基盤モデルの中では最も精度が高い 複数の白質病変に対するデータセットでは 特化型のnnU-Netが最も精度が高かった。
52. © 20241230 @Tdys13 52 新技術導入によるブレイクスルー② ✓ 脳損傷セグメンテーションのための基盤モデル A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts 国際学会 MICCAI2024 採択 ・論文引用 Zhang, Xinru, et al. "A Foundation Model for Brain Lesion Segmentation with Mixture of Modality Experts." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 結果比較 a)異なるモダリティや病変に対する基盤モデルの精度比較、b)検出結果をt-SNEプロットを実施 特徴が異なる複数のMRIモダリティを統合する手法は 今後のさらなる発展性が期待される
53. © 20241230 @Tdys13 53 新技術導入によるブレイクスルー② ✓ 超音波画像に特化したSAM Beyond Adapting SAM: Towards End-to-End Ultrasound Image Segmentation via Auto Prompting 国際学会 MICCAI2024 採択 ・論文引用 Lin, Xian, et al. "Beyond adapting SAM: Towards end-to-end ultrasound image segmentation via auto prompting." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 提案手法であるSAMUSと、自動版であるAutoSAMUSのアーキテクチャ 超音波画像セグメンテーションに特化した新しい基盤モデルを提案し、 自動プロンプト生成を導入することでエンドツーエンドの柔軟かつ高精度なセグメンテーションを実現
54. © 20241230 @Tdys13 54 新技術導入によるブレイクスルー② • 研究課題①：SAMの医療画像における性能低下 - SAMは、医療画像の複雑な形状やぼやけた境界を適切にセグメント化できない • 研究課題②：手動プロンプトの必要性 - 手動でプロンプトを提供する必要があり、セグメンテーションの自動化が困難 • 研究課題③：計算コストの高さ - SAMの既存アーキテクチャでは、特に高解像度の医療画像で計算コストが増大 • 研究新規性①： Cross-Branch Attention（CBA）の導入 - CNNとViTのブランチ間の相互補完により、ローカル（低レベル）および グローバル（高レベル）な特徴を統合 • 研究新規性②： Feature Adapter & Position Adapter - 自然画像から医療画像へのモデリングギャップを埋める • 研究新規性③：自動プロンプト生成 - 手動プロンプトの必要を排除し、完全なE2Eのセグメンテーションを実現 • 研究新規性④：計算効率の向上 - 入力解像度を縮小し、計算コストを削減 ・論文引用 Lin, Xian, et al. "Beyond adapting SAM: Towards end-to-end ultrasound image segmentation via auto prompting." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. ✓ 超音波画像に特化したSAM Beyond Adapting SAM: Towards End-to-End Ultrasound Image Segmentation via Auto Prompting 国際学会 MICCAI2024 採択 複数のデータセットを用いた比較研究 従来手法であるSAMよりも 超音波画像に特化したSAMUSは各スコアで 高数値を出す結果となった
55. © 20241230 @Tdys13 55 新技術導入によるブレイクスルー② ✓ 医用画像全般に特化したSAM Med-CLIP SAM: Bridging Text and Image Towards Universal Medical Image Segmentation 国際学会 MICCAI2024 採択 ・論文引用 Koleilat, Taha, et al. "MedCLIP-SAM: Bridging text and image towards universal medical image segmentation.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. Med-CLIP SAMの提案アーキテクチャ 提案手法の結果一覧 CLIP-CRF：ベース Zero-shot：ベースのZero-shot学習モデル、WSS：ベースの弱教師あり学習モデル テキストプロンプトを利用した新しいフレームワークを提案し、 ゼロショットおよび弱教師あり学習で高精度なセグメンテーションを実現
56. © 20241230 @Tdys13 56 新技術導入によるブレイクスルー② • 研究課題①：データ効率の低さ - 医療画像ではラベル付きデータが不足しがち • 研究課題②：ゼロショット学習の性能不足 - 現行のモデルでは医療画像の複雑さに適応しきれない • 研究課題③：汎用性の欠如 - モダリティ間で異なる特性を持つ画像に対して一般化が難しい • 研究新規性①： DHN-NCE（新しい損失関数）の導入 - 医療画像のゼロショットタスクに特化したBiomedCLIPモデルの微調整を実現 • 研究新規性②： gScoreCAMによるプロンプト生成 - GradCAMを超える精度でプロンプトに基づくセグメンテーションマスクを生成 • 研究新規性③：SAMとの統合 - プロンプトを活用し、ゼロショットおよび弱教師ありでのセグメンテーション を可能 • 研究新規性④：汎用的なフレームワー - 超音波、MRI、X線など異なるモダリティに対して一貫した性能を発揮 ・論文引用 Koleilat, Taha, et al. "MedCLIP-SAM: Bridging text and image towards universal medical image segmentation.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. ✓ 医用画像全般に特化したSAM Med-CLIP SAM: Bridging Text and Image Towards Universal Medical Image Segmentation 国際学会 MICCAI2024 採択 Med-CLIP SAMの提案アーキテクチャ
57. © 20241230 @Tdys13 57 新技術導入によるブレイクスルー② DHN-NCE（Decoupled Hard Negative Noise Contrastive Estimation Loss）の導入 1. 従来の対照学習におけるNoise Contrastive Estimationにおける課題 I. ハードネガティブ：誤認しやすいサンプル（例：異なる病変だが非常に似た形状）が ネガティブとして扱われることで、モデルが正確に学習できない。 II. 医療データの多様性：モダリティや疾患の違いにより、ネガティブサンプルの扱いがより難しくなる 2. DHN-NCEの目的 - ハードネガティブの影響を分離し、モデルの学習を最適化すること。 医療データの多様性に耐える汎化性を獲得すること。 3. 仕組み I. サンプルの分類 ポジティブサンプル(画像とテキストのペアが正しい)、ネガティブサンプル(関連性の低い間違え) 、 ハードネガティブサンプル(非常に似ている-関連性の高い間違え)の3種に分類 II. サンプルの分離学習 ネガティブとハードネガティブを分けて学習、ハードネガティブに対しては専用のペナルティを付与 4. 効果 - ハードネガティブを特別扱いすることで誤認識率の低下、医療データでよく見られる「似て非なる」症例へ の頑健性向上、未見のデータに対する汎化性能向上 ・論文引用 Koleilat, Taha, et al. "MedCLIP-SAM: Bridging text and image towards universal medical image segmentation.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024.
58. © 20241230 @Tdys13 58 新技術導入によるブレイクスルー② ・論文引用 Koleilat, Taha, et al. "MedCLIP-SAM: Bridging text and image towards universal medical image segmentation.” International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. Med-CLIPを適用したSAMにより 様々なモダリティに対して頑健性のある精度を出せるようになった Cross-modalな探索比較でDHN-NCE Lossは最も精度が高くなった。(左上) ゼロショットセグメンテーション精度でgScoreCAMが最もIoUが高くなった。(左下) セグメンテーション精度では提案したSAMとの統合手法が最もIoUが高くなった。(右) ゼロショットセグメンテーションの精度比較 セグメンテーションの精度比較 クロスモーダル探索における精度比較
59. © 20241230 @Tdys13 59 新技術導入によるブレイクスルー② ✓ SAMを用いたPseudo Labelの頑健性向上 IPLC: Iterative Pseudo Label Correction Guided by SAM for Source-Free Domain Adaptation in Medical Image Segmentation 国際学会 MICCAI2024 採択 ・論文引用 Zhang, Guoning, et al. "IPLC: iterative pseudo label correction guided by SAM for source-free domain adaptation in medical image segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 提案手法IPLCのアーキテクチャ セグメンテーション結果の比較一覧 Segment Anything Model (SAM) を活用し、医療画像セグメンテーションにおける 擬似ラベルの品質向上とドメイン適応を可能にする新しいフレームワークを提案
60. © 20241230 @Tdys13 60 新技術導入によるブレイクスルー② • 研究課題①：擬似ラベルのノイズ - ドメインシフトによる擬似ラベルの精度低下 • 研究課題②：ソースデータ利用の制限 - プライバシー制約によりソースデータを使用できない環境でのモデル適 応 • 研究新規性①： Multiple Random Sampling (MRS)の導入 - 各クラスでランダムに複数のポイントをサンプリングし、 擬似ラベルのロバスト性を向上 • 研究新規性②： Entropy Weight Estimation (EWE)の導入 - エントロピーに基づいてラベルの信頼度を評価し、ノイズを軽減 • 研究新規性③：Iterative Correction Learning (ICL)の提案 - SAMで生成された擬似ラベルを反復的に修正し、高品質なラベルを生成 • 研究新規性④：Mean Negative Curvature Minimization - セグメンテーション結果の滑らかさを確保するため、 エッジ検出の負の曲率を最小化 ✓ SAMを用いたPseudo Labelの頑健性向上 IPLC: Iterative Pseudo Label Correction Guided by SAM for Source-Free Domain Adaptation in Medical Image Segmentation 国際学会 MICCAI2024 採択 ・論文引用 Zhang, Guoning, et al. "IPLC: iterative pseudo label correction guided by SAM for source-free domain adaptation in medical image segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 異なるハイパーパラメータにおける性能比較
61. © 20241230 @Tdys13 61 Medical Visual Question Answeringタスク ✓ 大規模なMedical Visual Question Answeringデータセット Development of a large-scale medical visual question-answering dataset ジャーナル誌 Nature communications medicine ・論文引用 Zhang, Xiaoman, et al. "Development of a large-scale medical visual question-answering dataset." Communications Medicine 4.1 (2024): 277. 従来のVQAデータセットより大規模となる 149,000枚の画像と、227,000ペアのVQAデータセットを構築した
62. © 20241230 @Tdys13 62 個人的に関心のある領域 ✓ 皮膚疾患診断領域に特化した公平性と精度をどちらも担保するモデルの構築 Achieving Fairness Through Channel Pruning for Dermatological Disease Diagnosis 国際学会 MICCAI2024 採択 ・論文引用 Kong, Qingpeng, et al. "Achieving Fairness Through Channel Pruning for Dermatological Disease Diagnosis." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 肌の色に多様性があるFitzpatrick-17kデータセット を用いた実験結果の比較一覧 全手法のバックボーンをVGG11で手法比較を行った (1)提案手法のアーキテクチャ (2)実験で使用したデータセットの初期SNNL-fairスコア (3)チャネルプーリングをN回行い、センシティブなバイアスを取り除いた結果 チャネルプルーニングを活用し、肌の色や性別といったセンシティブ属性によるバイアスを軽減しつつ、 高精度を維持した公平な皮膚疾患診断モデルを構築
63. © 20241230 @Tdys13 63 個人的に関心のある領域 ✓ 医療領域での世界モデルの応用 Cardiac Copilot: Automatic Probe Guidance for Echocardiography with World Model 国際学会 MICCAI2024 採択 ・論文引用 Jiang, Haojun, et al. "Cardiac copilot: Automatic probe guidance for echocardiography with world model." I nternational Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 世界モデル(「人間が物事を経験から学び想像できる」ような思考をAIにも持たせる研究領域 )を医療に適用した 心エコー検査時の自動プローブガイダンス研究
64. © 20241230 @Tdys13 64 個人的に関心のある領域 ✓ 研究での技術評価方法は製品化の性能評価水準に達していない Confidence intervals uncovered: Are we ready for real-world medical imaging AI? 国際学会 MICCAI2024 採択 ・論文引用 Christodoulou, Evangelia, et al. "Confidence intervals uncovered: Are we ready for real-world medical imaging AI?." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2024. 医療画像解析モデルのパフォーマンス変動（不確実性）を正確に評価するため、 報告不足の標準偏差と信頼区間を推定する新しい手法を提案し、モデルの信頼性向上を促進
65. © 20241230 @Tdys13 65 『AI×医用画像』の現状と可能性(2024年) まとめ • 学会では基盤モデルやLLM、LVMを医療領域へ応用した研究や 現場課題の解決を目的とした研究などが多く投稿された。 • とてもニッチに思えるような領域に対しても研究が進んでいる。 • 研究評価指標と製品化性能評価間にギャップがあるので 独自に性能推定を行う等の研究も出てきた。
66. © 20241230 @Tdys13 2. 3. 4. 1. 66 自己紹介 研究トレンド紹介 - 医用画像関連研究紹介 日本のビジネストレンド紹介2024 - 部位別カオスマップ，技術紹介 まとめ
67. © 20241230 @Tdys13 67 2024年の日本における医療AI事業(会社・組織一覧) 2024.12 とどろき調べ 右上の★は2024年内に新規で薬事承認を取得したAI医療機器を開発する企業の目印
68. © 20241230 @Tdys13 68 2024年の日本における医療AI事業(会社・組織×協業先・共同研究先) 2024.12 とどろき調べ
69. © 20241230 @Tdys13 69 とどろきが個人的に調べたものなので不足等あると思います！ 不足分は勉強させてください！！ ここのリスト、24企業+α 一挙に紹介するよ！！ 2024年の日本における医療AI事業(会社・組織×協業先・共同研究先)
70. © 20241230 @Tdys13 70 2024年の日本における医療AI事業(脳部) 引用 国立がん研究センター MRI画像から神経膠腫の疑いのある領域を精密に抽出するAI技術を共同開発 https://www.ncc.go.jp/jp/information/pr_release/2024/0228/index.html 富士フイルム株式会社 SYNAPSE Creative Space https://synapse-creative-space-jp.fujifilm.com/  メモ - 富士フイルム株式会社と国立がん研究センターが2021年に共同開発したAI技術開発支援サービス「SYNAPSE Creative Space」を活用した初の事例。 - 医師自身でプロジェクト管理、アノテーション、AI学習、AI推論がノーコードで実装可能。 - MRI画像からグリオーマ疑い領域をセグメンテーションする機能を開発した。がん全体では患者数が少ないものの、 臨床的には非常に重要なグリオーマの精密な画像評価に関するAI技術を医師主導で初めて開発。 [富士フイルム株式会社×国立がん研究センター] クラウド型AI技術開発支援サービス「SYNAPSE Creative Space」の共同開発 MRI画像から神経膠腫(グリオーマ)の疑いのある領域を精密に抽出するAI技術を共同開発
71. © 20241230 @Tdys13 71 2024年の日本における医療AI事業(脳部) 引用 富士フイルム株式会社 脳脊髄液腔の各領域を抽出するAI技術を共同開発 https://www.fujifilm.com/jp/ja/news/list/11176 [富士フイルム株式会社×名古屋市立大学] クラウド型AI技術開発支援サービス「SYNAPSE Creative Space」を利用した 脳脊髄液腔の各領域を抽出するAI技術  メモ - 「SYNAPSE Creative Space」を活用してMRI画像からハキム病(特発性正常圧水頭症)を判別するために重要となる 脳脊髄液腔の各領域を自動抽出するAI技術を開発した。
72. © 20241230 @Tdys13 72 2024年の日本における医療AI事業(眼部) 引用 広島大学 画像生成 AI で診断精度が大幅に改善、眼底疾患診断トレーニングの新手法 https://x.gd/uFYFw [広島大学] 画像生成AIを用いた眼底疾患診断トレーニングの新手法を提案。 視能訓練士課程の学生の診断性能が大幅に改善  メモ - Stable Diffusionを活用して生成した600枚の合成網膜画像を用いたe-learningを学生向けに実施。 - e-learningの平均完了時間は53分、生成AIを用いたe-learningは正答率を向上させた＆AIと比較した際に 正答率はAI並み、汎化性能はAIを大きく上回った。 生成された疾患画像 実験結果
73. © 20241230 @Tdys13 73 2024年の日本における医療AI事業(眼部) 引用 DeepEyeVision株式会社 自治医科大学とDeepEyeVision、LMM（大規模マルチモーダルモデル）による眼底読影所見の自動生成機能を構築 https://prtimes.jp/main/html/rd/p/000000010.000053278.html [DeepEyeVision株式会社×自治医科大学] LMM（大規模マルチモーダルモデル）による眼底読影所見の自動生成機能を構築  メモ - 眼底画像から疾患名並びに読影所見を自動生成するシステムの開発 - 2024年内に自治医科大学検診センターにて試験運用を開始 - DeepEyeVisionが提供する眼底画像遠隔読影サービスのシステムに組み込み、運用をする見込み LLMによる眼底読影所見生成機能を実装したシステム画面
74. © 20241230 @Tdys13 74 2024年の日本における医療AI事業(眼部) 引用 AI inside株式会社 京都府立医科大学と共同で「眼表面希少疾患」の予後予測AIを開発、医師の診断をAIが補助し指定難病の治療に貢献 https://prtimes.jp/main/html/rd/p/000000152.000024457.html [AI inside株式会社×京都府立医科大学] 指定難病であるStevens-Johnson症候群（SJS） および中毒性表皮壊死融解症（TEN）の予後予測AIを開発  メモ - AI inside社が提供するAI開発プラットフォーム上で、京都府立医科大学の医師が自ら開発。 - 100万人当たり2.5人が発症する希少疾患であり、全国一律に十分な医療サービスを提供するのが難しい。 - 重症度を4分類(軽度~重度)する実験では、ROCが0.92、0.91、0.86、0.98に到達。 アルゴリズムのフロー
75. © 20241230 @Tdys13 75 2024年の日本における医療AI事業(眼部) 引用 Smart Eye Cameraの画像から前房深度を推定するAIを開発 https://prtimes.jp/main/html/rd/p/000000052.000064389.html [①株式会社OUI×医療法人 慶眼会 横浜けいあい眼科] Smart Eye Camera(OUI inc.製)の画像から前房深度を推定するAIを開発  メモ - 1,586眼から収集された204,639フレームの前眼部画像を用いて機械学習モデルを構築。 - 前房深度推定精度はMAE:0.93±0.082mm、MSE:0.123±0.170mm、相関係数:0.953 閉塞隅角リスク推定は感度:0.943、特異度:0.902、AUC:0.923 アルゴリズムのフロー Grad-CAMのvisualization
76. © 20241230 @Tdys13 76 2024年の日本における医療AI事業(眼部) 引用 OUI Inc.、細隙灯顕微鏡画像を用いた角膜混濁検出AIの開発に成功 https://prtimes.jp/main/html/rd/p/000000042.000064389.html [②株式会社OUI] Smart Eye Camera(OUI inc.製)を用いた角膜混濁検出AIの開発に成功  メモ - 失明原因の一つである角膜混濁を検出するAIを開発した。 - Smart Eye Cameraを用いて収集した5,996枚(角膜混濁あり1,617枚/なし4,379枚)の画像へ 眼科専門医がアノテーションを実施。前処理を実施しEfficientNet-B4で解析。 - 感度:0.96、特異度:0.96、精度:0.96、AUC:0.98 アルゴリズムのフロー Grad-CAMのvisualization
77. © 20241230 @Tdys13 77 2024年の日本における医療AI事業(口腔内) 引用 アイリス株式会社 咽頭画像データベース（レジストリ）が6大学病院とアイリス共同で始動 https://prtimes.jp/main/html/rd/p/000000057.000035813.html AI医療機器のアイリス、新型コロナウイルスに関する新機能AIを開発し、薬事承認を申請 https://aillis.jp/news/post/20241227 アイリス株式会社 AI医療機器開発のアイリスとアサヒグループジャパン介護・看護事業者向け口腔状態評価アプリの実証実験を開始 https://prtimes.jp/main/html/rd/p/000000069.000035813.html [アイリス株式会社] ①咽頭画像データベースレジストリの始動 ②新型コロナウイルスに関する新機能AIを薬事承認申請  メモ - ①咽頭画像と診療情報を収集する咽頭画像データベースレジストリを6大学とともに構築。 - ②2024年12月27日に新型コロナウイルスに関する新機能AIを開発、薬事承認申請を実施したことを公表した。 - その他にも「アサヒグループジャパン株式会社との新規事業開始」、「咽頭画像を用いたAI研究論文3報の報告」、 「正式な技術区分で保険収載完了」、「nodocaを用いたインフルエンザ検査が医師指導のもと看護師が実施するこ とは適法と確認」など盛りだくさんな1年となった 引用 アイリスのnodoca検査、グレーゾーン解消制度により看護師による実施が適法確認 https://prtimes.jp/main/html/rd/p/000000066.000035813.html
78. © 20241230 @Tdys13 78 2024年の日本における医療AI事業(口腔内) 引用 メディア株式会社 PanoSCOPE製品案内 https://panoscope.media-inc.co.jp/product/ [メディア株式会社] 歯科用骨形態評価プログラム PanoSCOPEの薬事承認取得  メモ - 2024年5月21日、パノラマX線画像による骨粗鬆症スクリーニングの臨床ガイドラインに基づき、AIが顎骨脆弱度評 価を支援する「歯科パノラマX線画像解析AI」が薬事承認を取得した。 - 解析後の文書作成も簡単に出力させる スクリーニング画面イメージ
79. © 20241230 @Tdys13 79 2024年の日本における医療AI事業(口腔内) 引用 東北大学大学院歯学研究科 AI 技術を応用した高い診断精度をもつ 口腔がん診断支援技術を開発 https://www.dent.tohoku.ac.jp/news/file/20240625_01.pdf [株式会社NTTドコモ×東北大学] 撮影された舌の病態からAIによる口腔がん診断支援技術を開発  メモ - AI 技術による口腔粘膜疾患診断支援を行う疾患検出モデルを構築。 - 口腔がん検出モデルにおいて感度:93.9％、特異度:81.2％を達成。 - 精密検査が必要/不必要かを最終的に出力する。 アルゴリズムのフロー アプリケーションのフロー
80. © 20241230 @Tdys13 80 2024年の日本における医療AI事業(乳部) 引用 乳癌超音波画像AI診断支援ソフトウェア「スマートオピニオン METIS Eye」の医療機器承認取得 https://www.smartopi.com/metiseyeapproval [株式会社Smart Opinion] 乳癌超音波画像AI診断支援ソフトウェア 「スマートオピニオン METIS Eye」の薬事承認取得  メモ - 2024年5月8日、精密検査の必要性が疑われる病変候補部位と当該病変候補部位を国際基準のBI-RADSカテゴリー分 類に基づき判定し、精密検査の必要性の有無を検出する乳がん超音波画像診断支援ソフトウェア「スマートオピニオ ン METIS Eye 」が薬事承認を取得した。 - 精密検査の必要性が疑われる所見の検出感度:94.4% - 医師単独で読影した場合の正診率:69.3%、本プログラムを用いて読影した場合の正診率:73.1% 検出結果イメージ
81. © 20241230 @Tdys13 81 2024年の日本における医療AI事業(心臓部) 引用 順天堂大学、エムスリーAI、Us2.ai がAIを用いた心エコー自動解析ソフトウェアの日本展開の協業開始 https://www.juntendo.ac.jp/news/19545.html 順天堂大学・エムスリーAIの心エコーAIの共同研究が北米心臓病協会（AHA）の最新科学トピックに採択 https://www.juntendo.ac.jp/news/21005.html [エムスリーAI株式会社×順天堂大学×Us2.ai] 順天堂大学、エムスリーAI、Us2.ai がAIを用いた 心エコー自動解析ソフトウェアの日本展開の協業開始  メモ - 2023年3月6日に薬事認証取得をしていた心エコー自動解析ソフトウェアUS2.aiの日本最適化および製品展開を 3者で進めることを発表。 - US2.aiの臨床現場でのパフォーマンスに関する論文が11月には北米心臓協会に採択された。 AIプログラムを用いることで、1日あたりの検査数は1.18倍に増えたが疲労は変わらなかったと報告された。 AI-SaMDを臨床現場で使用した際の パフォーマンス比較
82. © 20241230 @Tdys13 82 2024年の日本における医療AI事業(心臓部) 引用 超音波診断支援 AI の実臨床応用 －胎児心臓超音波スクリーニング支援システムの薬事承認－ https://www.ncc.go.jp/jp/information/pr_release/2024/0906/20240906.pdf HOPE LifeMark 胎児心臓超音波スクリーニング支援システム 添付文書 https://www.info.pmda.go.jp/downfiles/md/PDF/672251/672251_30600BZX00155000_A_01_01.pdf [富士通株式会社×国立がん研究センター×理化学研究所×昭和大学] 胎児心臓超音波スクリーニング支援システムの薬事承認  メモ - 2024年7月29日、「HOPE LifeMark 胎児心臓超音波スクリーニング支援システム」が薬事承認を取得した。 胎児心臓各部位の検出結果を正常異常判定の参考情報として提示するスクリーニング支援システム。 - 2018年より共同研究を行っていた成果が実を結ぶ結果となった 検査結果イメージ
83. © 20241230 @Tdys13 83 2024年の日本における医療AI事業(胃部) 引用 両備システムズ、メディカルAI事業で2030年10億円を目指す https://www.ryobi.co.jp/news/2024/20240424 早期胃癌深達度診断支援システム Deepth-EGC https://www.info.pmda.go.jp/downfiles/md/PDF/180170/180170_30600BZX00030000_A_01_01.pdf [株式会社両備システムズ×岡山大学] 早期胃がん深達度診断支援を行うAI医療機器 Deepth-EGCの薬事承認取得  メモ - 2024年3月5日、早期胃がんの深達度(粘膜内癌/粘膜下層まで進行した癌)を判定し、医師の診断補助を行う内視鏡画 像診断支援システム「Deepth-EGC」が薬事承認を取得した。 - 専門医の正診率が約72%に対し、本製品の正診率は82％だった。 検査結果イメージ
84. © 20241230 @Tdys13 84 2024年の日本における医療AI事業(胃部) 引用 AIメディカルサービス 画像上早期胃がんおよび腺腫を疑う領域を検出する AI搭載の内視鏡画像診断支援ソフトウェアの製造販売承認を取得 https://www.ai-ms.com/news/product/20241219 [株式会社AIメディカルサービス] 画像上早期胃がんおよび腺腫を疑う領域を検出する AI搭載の内視鏡画像診断支援ソフトウェアの製造販売承認を取得  メモ - 2024年12月17日、画像上早期胃がんおよび腺腫を疑う領域を検出し、医師の診断補助を行う内視鏡画像診断支援シ ステム「gastroAI model-G2」が薬事承認を取得した。 - 内視鏡検査時の病変類似候補部をリアルタイムで矩形検出＆警告音を鳴らす仕様、解析にかかる時間は0.15秒。 - 熟練医に対しても、本製品を使用して読影することで感度特異度が向上した。 比較結果 検出時イメージ
85. © 20241230 @Tdys13 85 2024年の日本における医療AI事業(腹部) 引用 両備システムズ、メディカルAI事業で2030年10億円を目指す https://www.ryobi.co.jp/news/2024/20240424 岡山大学病院と両備システムズ、 国内初となる胆道がんをAIで診断支援するシステムを開発 https://www.ryobi.co.jp/news/2024/20240724 [株式会社両備システムズ×岡山大学] 国内初となる胆道がんをAIで診断支援するシステムの開発  メモ - 胆道がんをAIで診断支援するシステムを開発し、研究成果をGastrointestinal Endoscopyにて発表した。 - 今後は多少例での検証等を経て、早期の製品化を目指す。 - 両備システムズと岡山大学は、他にも大腸や膵臓分野でのAI画像診断支援や内視鏡染色検査でのAI技術活用等の研究 を進めており、早期の製品化を目指している。 技術概要
86. © 20241230 @Tdys13 86 2024年の日本における医療AI事業(消化器部) 引用 オリンパス、AIを搭載した内視鏡画像診断支援ソフトウェア「EndoBRAIN-X」を発売 https://www.olympus.co.jp/news/2024/nr02631.html オリンパス、クラウド型AI内視鏡画像診断支援システム3製品が欧州でCEマークを取得 https://www.olympus.co.jp/news/2024/nr02758.html [オリンパス株式会社] AIを搭載した内視鏡画像診断支援ソフトウェア「EndoBRAIN-X」を発売  メモ - 2023年1月17日に薬事承認取得していたEndoBRAIN-Xを、2024年2月19日より販売開始した。 - オリンパスはこの他にも、グループ会社が欧州向け製品としてクラウド型AI内視鏡画像診断支援システム3製品のCE マーク取得を発表した。 - 大腸ポリープまたは大腸がんを検出・鑑別支援するCADDIE(CADe/CADx) - バレット食道の異形成を検出支援するCADU(CADe) - 潰瘍性大腸炎のスコアリング支援をするSMARTIBD(CADe) 検査結果イメージ
87. © 20241230 @Tdys13 87 2024年の日本における医療AI事業(消化器部) 引用 日本消化器内視鏡学会 大腸内視鏡診断支援AIの保険収載について（周知依頼） https://www.jges.net/news/news-committee/2024/06/26/82697 [日本消化器内視鏡学会] オリンパス、富士フイルム、エルピクセル製の大腸内視鏡診断支援AI医療機器 3製品の保険収載完了  メモ - 2024年6月より、EndoBRAIN-EYE(オリンパス株式会社)・CAD EYE(富士フイルム株式会社)の病変検出支援プログラ ム加算が開始。 - 2024年8月より、EIRL Colon Polype(エルピクセル株式会社)の病変検出支援プログラム加算が開始。 - 保険点数は60点
88. © 20241230 @Tdys13 88 2024年の日本における医療AI事業(上半身その他) 引用 人工知能により超音波画像から「野球肘」の早期病変を高精度で検出 https://www.u-hyogo.ac.jp/20240529-1.pdf 「野球ひじ」AIで判定 けがの早期発見へ、大学の研究チームが開発 https://www.asahi.com/articles/ASS5Q16CZS5QPTQP006M.html [兵庫県立大学×兵庫医科大学] 超音波画像から野球肘を早期検出するアルゴリズムの開発  メモ - 野球肘と呼ばれる「離断性骨軟骨炎(OCD)」を超音波画像から検出・分類するアルゴリズムを開発。 - OCDは早期発見すれば治療可能だが痛みがないため殆ど気づかず、異変に気づいた時には手術をしても手遅れとなる。 - 196人の子どものエコー画像で性能評価をした結果、97%の精度で判定可能だった。 - 今後は実用化に向け、協力企業を求めていく。 アルゴリズムのフロー 骨表面の検出結果イメージ 検出後、分類を行う
89. © 20241230 @Tdys13 89 2024年の日本における医療AI事業(病理部) 引用 日本IBM 脂肪肝病理画像から発がんを予測するAIモデル https://prtimes.jp/main/html/rd/p/000000499.000046783.html [日本IBM株式会社×東京大学医学部附属病院] 脂肪肝病理画像から発がんを予測するAIモデル  メモ - 肝病理画像を用いた予後予測モデルはAIが微細な構造を認識することで、これまでに注目されていなかった肝がん発 症に関連する病理学的特徴を同定することに成功。 - 58例の肝生検標本デジタル病理画像から256×256のタイルを28,000枚作成し、学習。正解率:82.3%、AUC:0.84%。 アルゴリズムのフロー 発がん高リスクに関する所見
90. © 20241230 @Tdys13 90 2024年の日本における医療AI事業(病理部) 引用 大阪大学 少ないデータから高精度に腎疾患を解析するAIを開発 https://resou.osaka-u.ac.jp/ja/research/2024/20241106_1 [大阪大学×九州大学] 少ないデータから高精度に腎疾患を解析するAIを開発  メモ - 自己教師あり学習を腎病理画像解析に応用し、少ないラベル付きデータセットから高精度で疾患分類などが可能なAI モデルを開発。 - 提案手法は腎糸球体内の構成要素を色分けして可視化でき、ラベル情報なしで形態学的な違いを学習した。 - このモデルを用いて腎疾患を分類した結果、従来の手法を超える性能を達成し、特にラベル付きデータが少ない場合 にも高い性能を維持した。 解析結果 自己教師あり学習は 腎糸球体の構成要素ごとに色が分かれた
91. © 20241230 @Tdys13 91 2024年の日本における医療AI事業(手術支援) 引用 アナウト株式会社 外科手術視覚支援プログラムEureka αの製造販売承認を取得いたしました https://anaut-surg.com/news/_1tiVvDJ アナウト株式会社 AI視覚支援手術、国内で初めて*実施 https://prtimes.jp/main/html/rd/p/000000005.000063564.html [アナウト株式会社×20以上の共同研究機関] 国内で初めて外科医の視覚認識をリアルタイムに支援する プログラム医療機器「Eureka α」の薬事承認を取得  メモ - 2024年4月12日、手術中リアルタイムに疎性結合組織の位置や領域を推定し、強調表示することで医師の視覚支援を 行う手術用画像認識支援プログラム「外科手術視覚支援プログラムEureka α」の薬事承認を取得した。 - 薬事承認に伴い、2024年1月には一般的名称「手術用画像認識支援プログラム」が新設された。 - また、7月には国内で初めて本製品を利用した「AIによる視覚支援手術」が行われたことを公表した。 - 今後は海外事業展開も視野に入れて事業開発を引き続き行う。 解析結果(左:元画像/右:AI解析結果) 疎性結合組織を青色で表示
92. © 20241230 @Tdys13 92 2024年の日本における医療AI事業(手術支援) 引用 Mees 国立がん研究センター東病院が共同開発した「内視鏡手術支援プログラムSurVis-Hys」が医療機器承認を取得しました https://x.gd/nWeqw [株式会社Jmees×国立がん研究センター東病院] 「内視鏡手術支援プログラムSurVis-Hys」の薬事承認を取得  メモ - 2024年8月8日、腹腔鏡下及びロボット支援下における子宮全摘術手術中に内視鏡画像中の尿管・膀胱部位を検出し、 候補領域を強調表示するAIプログラム「内視鏡手術支援プログラムSurVis-Hys」の薬事承認を取得した。 - 全国29施設から収集した手術動画を用いて性能評価を実施。 解析結果 尿管をライトグリーン、膀胱をライトブルーで表示
93. © 20241230 @Tdys13 93 2024年の日本における医療AI事業(その他) 引用 日本眼科学会AIプロジェクトの現状と今後 https://www.joia.or.jp/annual_report/annual-report-2024/p3/ [日本眼科医療機器協会] 日本眼科学会における眼科AIプロジェクト  メモ - 健診用網膜疾患診断支援AIアプリケーションを開発、2024年6月には薬事承認申請を実施予定と公表(2024年3月時点) - その他にも前眼部疾患診断補助AI「CorneAI」は性能評価試験を実施予定で、 スマートフォンによる入力などのアップデートを検討 網膜疾患診断支援AIのイメージ画像 前眼部疾患診断補助AIのイメージ画像
94. © 20241230 @Tdys13 94 2024年の日本における医療AI事業(その他) 引用 画像基盤モデルにより専門医に匹敵する膀胱内視鏡診断支援AIを開発 https://prtimes.jp/main/html/rd/p/000000061.000135644.html [国立研究開発法人産業技術総合研究所] 画像基盤モデルにより専門医に匹敵する膀胱内視鏡診断支援AIを開発  メモ - 2種類の数式を併用して自動生成された200万枚の画像から画像基盤モデルを構築。画像基盤モデルに対して約9000 枚の膀胱内視鏡画像を追加学習した結果、8名の専門医の平均を超える診断精度(感度94.3％、特異度99.4％)を実現。 - 医用画像処理タスクで広く使用されるImageNet-21k/1kを事前学習に使用した場合の感度特異度も超えた。 提案手法の流れ 比較結果
95. © 20241230 @Tdys13 95 2024年の日本における医療AI(その他) 引用 スマホ一体型眼底カメラ・Eyer×Joinで遠隔診療による糖尿病網膜症検査をチリにて実施 https://prtimes.jp/main/html/rd/p/000000106.000044577.html 株式会社アルムは チリ共和国にある子会社＆チリで最も権威のある眼科医療機関で スマートフォン一体型無散瞳眼底カメラ「Eyer（アイヤー）」と 医療関係者間コミュニケーションアプリ「Join（ジョイン）」連携による 遠隔の糖尿病網膜症検査を実施したことを報告。 千葉県君津市南子安にある南子安眼科所属の医師は 日本眼科AI学会主催のコンペで開発したAIモデルを基に 緑内障AIを開発し、当院にて臨床研究を実施していることを公表。 引用 南子安眼科 眼科AIの臨床研究について http://www.minamikoyasuganka.com/aigakkai.html
96. © 20241230 @Tdys13 96 2024年の日本における医療AI(その他) 引用 がん研有明病院とGoogle AI を活用した乳がん検診の共同研究において、乳がん検診の精度と健診プロセスの効率の向上を確認 https://prtimes.jp/main/html/rd/p/000000012.000031443.html がん研有明病院は 2020年にGoogleがNatureに発表した乳がん健診支援AIを用いて 乳がん検診の精度と、健診プロセスの効率化が向上したことを発表。 発表内容はRadiology Advances 誌に投稿された。 株式会社AIメディカルサービスは 第一製品目であるgastroAI-modelGが ブラジルおよびシンガポールでも認可を受けたことを発表した。 引用 AIメディカルサービス、シンガポール初の胃がん鑑別AI「gastroAI-model G」の機器登録を完了 https://www.ai-ms.com/news/global/20240220 AIメディカルサービス、ブラジル初の胃がん診断支援AI「gastroAI-model G」の薬事登録を完了 https://www.ai-ms.com/news/global/20240422-01
97. © 20241230 @Tdys13 97 2024年の日本における医療AI(その他) 株式会社Jmeesは AIによる大腸内視鏡検査前の排便性状を判定するアプリの開発を発表。 患者および看護師側の課題を吸い上げ、 アプリ開発・リリースまで漕ぎ着けた。 Boston Medical Sciences株式会社は 絶賛開発をしている完全無下剤バーチャル内視鏡検査システム「AIM4CRC」が 優先SaMD指定を受けたことを発表した。 AIM4CRCは高精度な仮想的腸管洗浄AIとポリープ検出AIにより、 下剤による前処置が不要のバーチャル内視鏡検査システム。 引用 Boston Medical Sciencesの無下剤バーチャル内視鏡検査システム、 厚労省の「プログラム医療機器に係る優先的な審査等の対象品目」に指定 https://prtimes.jp/main/html/rd/p/000000002.000129637.html 引用 国立がん研究センターとJmees AIによって大腸内視鏡検査前処置時の排便性状を判定するアプリ「ナースコープ」を開発・リリース https://prtimes.jp/main/html/rd/p/000000004.000109189.html
98. © 20241230 @Tdys13 98 2024年の日本における医療AI(その他) Care Viewer株式会社は 医療看護介護分野向けのAIモデル開発企業で フィンランド国内シェアNo1を誇るGillie.AI社との連携事業として、 健康予測AI」の実証実験を開始した。 株式会社Ridge-iは 猫の胸部X線画像から骨を高密度に除去するAI技術を開発した。 引用 Boston Medical Sciencesの無下剤バーチャル内視鏡検査システム、 厚労省の「プログラム医療機器に係る優先的な審査等の対象品目」に指定 https://prtimes.jp/main/html/rd/p/000000002.000129637.html 引用 国立がん研究センターとJmees AIによって大腸内視鏡検査前処置時の排便性状を判定するアプリ「ナースコープ」を開発・リリース https://prtimes.jp/main/html/rd/p/000000004.000109189.html
99. © 20241230 @Tdys13 99 2024年の日本における医療AI(その他) AI開発企業向けの医療データ販売事業を行う株式会社Surg Storageは フランス IHU Strasbourg及び北米内視鏡外科学会へ 医療動画データの提供を開始した。 ゾティエス・ジャパン株式会社は AI機能を有するデジタル顕微鏡の販売を開始。 AIで白血球、血小板、多染性赤血球などの識別を行い 血液塗抹の定性的な評価をすることができる。 引用 Boston Medical Sciencesの無下剤バーチャル内視鏡検査システム、 厚労省の「プログラム医療機器に係る優先的な審査等の対象品目」に指定 https://prtimes.jp/main/html/rd/p/000000002.000129637.html 引用 （株）Surg storage、北米内視鏡外科学会（SAGES）へ医療動画データ提供を開始 https://prtimes.jp/main/html/rd/p/000000002.000095808.html （株）Surg storage、仏IHU Strasbourgへの医療動画データ提供を正式決定 https://prtimes.jp/main/html/rd/p/000000004.000095808.html
100. © 20241230 @Tdys13 100 2024年の日本における医療AI(その他) 株式会社Acompanyは 名古屋大学病院と東北大学病院が保有する、 消化管出血の患者データを連合学習で秘匿化・学習し、 追加の医療行為が必要かどうかを推定するAIモデルを構築・評価する。 バイオソノ株式会社は 喉の音をAIで自動観察し 食形態を判定する観察行為のサポートを行う製品をリリース。 引用 バイオソノ株式会社 喉の音をAIで自動観察し、食形態を判定する観察行為をサポートする製品 食通 https://shokutsu.biosono.jp/ 引用 株式会社Acompany名古屋大学病院とAcompanyが、東北大学病院と共同で連合学習を活用した安全な医療AIの研究を開始 https://prtimes.jp/main/html/rd/p/000000070.000046917.html
101. © 20241230 @Tdys13 101 『AI×医用画像』の現状と可能性(2024年) まとめ <ひと口メモ> • 研究開発をしていた製品の 医療機器承認に関するリリースなどが多く見られた。 • 日本で薬事承認を取得し、諸外国展開を実施していく企業も増えた
102. © 20241230 @Tdys13 102 AI医療機器の紹介 ここから医療機器の話& 日本で薬事承認された AI医療機器を全部紹介
103. © 20241230 @Tdys13 103 医療機器には『医療機器分類』と分類に紐づく『規制』が設けられている 国際基準に合わせ，人体へのリスクより『クラスⅠ~Ⅳの分類』が適用される 医療機器の分類について
104. © 20241230 @Tdys13 104 「プログラムが医療機器に該当するか」に関してはきちんとフローが決まっている ルールに則り該当性を確認する必要がある 医療機器の分類について 引用： プログラムの医療機器該当性に関するガイドラインの一部改正について https://www.mhlw.go.jp/content/11120000/001082227.pdf
105. © 20241230 @Tdys13 105 AI医療機器開発については、大きく6パターンに分けられる。 それぞれで各社の製品化戦略と開発座組が存在する。 医療機器の開発について 2023.06 轟が日本、各国のAI医療機器開発企業を独自に調査し作成 各例の詳細も作成済み(本スライドには未掲載)
106. © 20241230 @Tdys13 106 日本国内で薬事承認された医用画像向けAI医療機器37製品 2024.12 とどろき調べ
107. © 20241230 @Tdys13 107 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
108. © 20241230 @Tdys13 108 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
109. © 20241230 @Tdys13 109 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
110. © 20241230 @Tdys13 110 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
111. © 20241230 @Tdys13 111 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
112. © 20241230 @Tdys13 112 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
113. © 20241230 @Tdys13 113 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
114. © 20241230 @Tdys13 114 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
115. © 20241230 @Tdys13 115 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
116. © 20241230 @Tdys13 116 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品
117. © 20241230 @Tdys13 117 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品(COVID-19系6製品)
118. © 20241230 @Tdys13 118 2024.12 とどろき調べ 日本国内で薬事承認された医用画像向けAI医療機器37製品(COVID-19系6製品)
119. © 20241230 @Tdys13 119 2024.12 とどろき調べ 日本国内で薬事承認された医用画像以外のAI医療機器
120. © 20241230 @Tdys13 120 2024.12 とどろき調べ 日本国内で薬事承認された医用画像以外のAI医療機器
121. © 20241230 @Tdys13 引用： Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices 121 AI医療機器のリスト(米国) 米・FDAがAI/ML搭載されている医療機器リストを最新版にアップデートして公表した。 合計1,016機器が認可を受けている。 リスト中には日本で薬事認証に当たる製品も含まれているため、 日本国内でも薬事認証製品まで含めると、36製品以上のAI医療機器が認可されている。
122. © 20241230 @Tdys13 122 『AI×医用画像』の現状と可能性(2024年) まとめ <ひと口メモ> • 2024.12.30現在，AI医療機器の薬事承認取得はさらに増えた • 2024年は手術支援領域などの • 新設された一般的名称におけるAI医療機器も増えた。 • AI機能を搭載している薬事認証製品も含めると更に多くなる
123. © 20241230 @Tdys13 2. 3. 4. 1. 123 自己紹介 研究トレンド紹介 - 医用画像関連研究紹介 日本のビジネストレンド紹介2024 - 部位別カオスマップ，技術紹介 まとめ
124. © 20241230 @Tdys13 124 まとめ ◼ 今年の動向(個人の主観) - 研究：掲載していない研究も含め、精度向上よりも汎化性能向上や現場の課題解決など 主流(精度向上、新技術応用)から多くの枝葉(希少疾患、ニッチな課題、現場でこそ分かる課題) へ伸び始めている。 - 事業：非医療機器でAIサービスを展開・AI医療機器を輸入して展開など各社の取り組みも多岐に渡っ てきた。大企業では2018年付近から始めた研究が製品化へ結びつき始めている。 ◼ 来年の予測(個人の主観) - 研究：今までは研究・製品ともに診断支援が主流だったが、治療領域や世界モデルの医療応用(主に ナビゲーション機能)などの研究が増加していきそう。 - 事業：医療機器事業では国内初モダリティ領域におけるAI-SaMDがリリースされる。 海外展開していく日本の企業がより増えていく。海外企業製AI-SaMDによる日本国内への事業展開が 加速する。 ◼ 個人的な関心・注目 - ①自動運転領域などで研究されている技術の医療展開(ナビゲーション、自動運転の医療機器応用等) - ②今年から徐々に登場し始めているMambaなどの最新アーキテクチャの医療応用 - ③よりニッチな現場課題に対する研究
125. © 20241230 @Tdys13 125 最後に 様々な技術が時代とともに進化した テクノロジー×医療はやっぱり面白い！！！