AI×医用画像の現状と可能性_2023年版/AI×medical_imaging_in_japan_2023

Transcript

1. © 20231229 @Tdys13 『 AI×医⽤画像 』 の現状と可能性 轟 佳⼤ 1 2023年版
2. © 20231229 @Tdys13 このまとめは轟が2018年から毎年年末*1 に 趣味*2 でまとめているスライドの第7弾です。 2023年は様々な技術が社会に応⽤された年でした。 特に⽣成AI領域は躍進したと感じられます。 そんな今年も研究動向と事業動向を踏まえ、 定点観測としてご紹介出来たらと思います 説明などに⾄らぬ点もあるかと思いますが、 今年もよろしくお願いします 2023 12.29 轟佳⼤ 2 *1:2020年のみ上半期/下半期があります。 *2:販売⽬的を伴う製品紹介は⼀切⾏っていません。 趣味でプレスリリースから情報をまとめております。 「AI×医⽤画像の現状と可能性」を⽣成AIにより画像化
3. © 20231229 @Tdys13 2. 3. 4. 1. 3 ⾃⼰紹介 研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2023 - 部位別カオスマップ，技術紹介 まとめ
4. © 20231229 @Tdys13 2. 3. 4. 1. 4 ⾃⼰紹介 研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2023 - 部位別カオスマップ，技術紹介 まとめ
5. © 20231229 @Tdys13 -所属- p 医療機器メーカー - AIリサーチャーとして次世代医療機器開発のAI技術研究開発担当 p 東京⼤学医学部附属病院 バイオデザイン部⾨ - 外部研究員 -好きなもの- p ヘルスケアや最新技術の情報収集 p ワイン、アイス、サッカー、ボードゲーム、⿇雀、料理 -その他- p 講演活動や趣味でリサーチした情報をまとめたりしてます。 p 連絡先 yoshihiro.todoroki.1013@gmail.comまたはツイッターDM 5 轟 佳⼤ (ﾄﾄﾞﾛｷ ﾖｼﾋﾛ) ：@Tdys13
6. © 20231229 @Tdys13 2. 3. 4. 1. 6 ⾃⼰紹介 研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2023 - 部位別カオスマップ，技術紹介 まとめ
7. © 20231229 @Tdys13 7 ページ数 ：コンテンツ名 8 ~ 33 ：AIとは 34 ~ 81 ：新規提案された研究紹介(2023年) 82 ~ 116 ：⽇本におけるAI×医⽤画像事例紹介(2023年) 117 ~ 132 ：AI医療機器に関する話 133 ~ 135 ：終わりに スライド右上の マーク
8. © 20231229 @Tdys13 8 ⼈⼯知能≒「様々な技術の複合体の総称」 現状はとりわけ「機械学習・深層学習」&「その他技術」が使われているものを指す ⼈⼯知能とは？ 引⽤： ・AI demystified https://www.callaghaninnovation.govt.nz/blog/ai-demystified
9. © 20231229 @Tdys13 9 中でも機械学習技術の⼀⼿法である『深層学習技術』は⼈⼯知能の根幹技術である ⼈⼯知能とは？ 引⽤： ・NVIDIA ブログ ⼈⼯知能、機械学習、ディープラーニングの違いとは https://blogs.nvidia.co.jp/2016/08/09/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/
10. © 20231229 @Tdys13 10 何を最終⽬的とした、どんなデータが存在するか、などの条件から 使⽤する深層学習モデルとモデルの学習⽅法を選ぶ 深層学習とは？
11. © 20231229 @Tdys13 11 ⼤規模データで学習したAIモデル(基盤モデル、LLM、LVM等)が数年前から研究され、 今年爆発的に流⾏している 深層学習とは？(発展) ⾃⾝で0から 学習させるAIモデル Pretrained-modelを 転移学習させるAIモデル ⼤規模データを 学習したAIモデル 今も多くの領域で主流 ⾃然⾔語領域や 画像⽣成領域で突如主流 ⾃⾝が持っているデータ量分 (1G~100G) ⼤量のデータを学習 (100G~1000G) ⼤規模データを学習 (1000G~100P) 調整するパラメータ (102~106) 調整するパラメータ (108~1010) 調整するパラメータ (1011~1020)
12. © 20231229 @Tdys13 12 また2023年の流⾏ど真ん中にあった⾔語対話が可能なChatGPT、BardやLLaVA 画像⽣成のDreamStudio、Adobe Fireflyなどの⽣成AIサービスも多く登場した 深層学習とは？(発展) ・ChatGPT https://openai.com/chatgpt ・Bard https://bard.google.com/chat ・Dream Studio https://dreamstudio.ai/ ・Adobe Firefly https://www.adobe.com/jp/products/photoshop/ai.html
13. © 20231229 @Tdys13 ⽬的別の違いをざっくり説明 13 深層学習×画像領域のタスクは？ 画像領域のタスクは4ジャンルがメイントピックとなっている (検出、分類、セグメンテーション、⽣成)
14. © 20231229 @Tdys13 14 深層学習 モデル フルーツ いぬ 教師あり学習 ラベル付きデータをモデルに学習させる 学習⽅法とは？(ex :画像分類タスク) フルーツといぬ を⾒分ける 教師あり学習＝各画像と紐づく正解ラベルを⽤いて、分類をする
15. © 20231229 @Tdys13 15 深層学習 モデル 教師なし学習 ラベルなしデータをモデルに学習させる 学習⽅法とは？(ex :画像分類タスク) ざっくりと ２グループに 分ける 教師なし学習＝各画像の正解ラベルを与えず、篩い分けを⾏う
16. © 20231229 @Tdys13 16 深層学習 モデル フルーツ いぬ 半教師あり学習(※Semi Supervised learning) ラベル付きデータとラベル無しデータをモデルに学習させる 学習⽅法とは？(ex :画像分類タスク) フルーツといぬ を⾒分ける わからない奴ら も学習する 半教師あり学習＝正解ラベルが存在する/しない データをどちらも⽤いて学習/分類をする ？？？ ？？？
17. © 20231229 @Tdys13 17 深層学習 モデル ⾃⼰教師あり学習(※self supervised learning) ラベルなしデータから独⾃のラベルを⽣成し学習させる 学習⽅法とは？(ex :画像分類タスク) 予測を次回の学習 でラベルとして 使⽤する ⾃⼰教師あり学習＝ラベルがない状態のデータに対して⾃ら予測した値を 疑似正解ラベルとして学習/分類をする 予測値を ラベルとして使⽤
18. © 20231229 @Tdys13 18 深層学習 モデル 対照学習(※self supervised learningの⼀種) ラベルなしデータから独⾃のラベルを⽣成し学習させる 学習⽅法とは？(ex :画像分類タスク) ペア①は似てる ペア②は似てない →ペア②の負例は 類似度を下げよう 対照学習＝ラベルなしデータからアンカー画像を選択し、 アンカー画像と近しい画像(正例)とアンカー画像と異なる画像(負例)の類似度を学習/分類をする アンカー アンカー 正例 負例 ペア① ペア②
19. © 20231229 @Tdys13 19 深層学習 モデル 強化学習 ラベルなしデータをモデルに試⾏錯誤しながら学習する 学習⽅法とは？(ex :画像分類タスク) この分け⽅を ⾏うと報酬が すごく⾼い 報酬 報酬係 仕分け結果 強化学習＝篩い分けの結果に応じて報酬を与え、より⾼い報酬を⽬指させる
20. © 20231229 @Tdys13 20 深層学習 モデル 教師あり学習 学習フェイズ ‒ ラベル付きデータをモデルに学習させる 深層学習 - 画像分類タスク フルーツ いぬ ⼀般的に⽤いられるAI技術は教師あり学習で、学習時に画像と正解ラベルを学習させる
21. © 20231229 @Tdys13 21 教師あり学習 学習フェイズ ‒ ラベル付きデータをモデルに学習させる 深層学習 - 画像分類タスク フルーツ いぬ 学習回数を増やすことで深層学習モデルが⼊⼒された画像に対して正答率を上げていく 学習済み 深層学習 モデル
22. © 20231229 @Tdys13 教師あり学習 テストフェイズ ‒ 未知データを処理する 22 深層学習 - 画像分類タスク ??? ??? フルーツ90% いぬ 10% フルーツ 5% いぬ 95% 学習済み 深層学習 モデル 学習済み深層学習モデルへ、⼊⼒画像と同ジャンルの『ラベルなし画像』を⼊⼒することで 未知な画像に対して⾃⾝の選択肢から推論する
23. © 20231229 @Tdys13 23 しかし、⼊⼒画像のジャンルと異なるものに対しても 無理やり知識の中で結論を出そうとしてしまうのが⽋点 良い点と改善出来る点は？ ??? フルーツ 40% いぬ 60% 学習済み 深層学習 モデル 教師あり学習 テストフェイズ ‒ 未知データを処理する
24. © 20231229 @Tdys13 24 そのため対象領域が広い場合は逃げ道を組み込んだ設計が必須 良い点と改善出来る点は？ ??? フルーツ 20% いぬ 30% その他 50% 学習済み 深層学習 モデル 教師あり学習 テストフェイズ ‒ 未知データを処理する
25. © 20231229 @Tdys13 25 最近では説明可能なAI研究において 最終的な出⼒値における確からしさを出す研究などもされている 良い点と改善出来る点は？ ??? フルーツ 20% いぬ 30% その他 50% 学習済み 深層学習 モデル 教師あり学習 テストフェイズ ‒ 未知データを処理する 確からしさ15% 確からしさ17% 確からしさ68%
26. © 20231229 @Tdys13 26 現状、深層学習モデルを学習させるにはデータ・構成技術・計算資源が必要 深層学習とは？ 学習データ 各技術 計算資源 学習済みAI
27. © 20231229 @Tdys13 27 しかし近年では、コーディング不必要で学習データのみ準備する ノーコードAIサービスも登場している 深層学習とは？ 学習データ 各技術 計算資源 学習済みAI
28. © 20231229 @Tdys13 28 推論(実使⽤)するには利⽤するデータに加えて、 学習済みのAI・それが使えるエッジコンピュータが必要 深層学習とは？ 学習済みAI 各エッジコンピュータ 活⽤ テストデータ
29. © 20231229 @Tdys13 29 最近はAIシステム⾃体がクラウド上(現場から離れた遠隔地など)にあるため、 推論データと解析結果のみのやり取りをすることが多くなっている 深層学習とは？
30. © 20231229 @Tdys13 30 ⽇常で使われ始めたAI技術 ・画像⽣成 Stable DiffusionやMidJourneyなど ・⾔語対話 OpenAI社のChatGPT&GPTs テキストを⼊⼒し、画像を⽣成するAIが引き続き流⾏した。 技術進歩とともに、よりリアルになった 2023年にGPT4が登場し⾶躍的に精度が向上した。 また⾃⾝でカスタマイズ可能なGPTsもリリースされた 引⽤ ・MidJourney https://midjourney.com/home/?callbackUrl=%2Fapp%2F ・X https://x.com/nickfloats/status/1737728333797036378?s=20 引⽤ ・OpenAI.inc GPTs https://openai.com/blog/introducing-gpts 1960s street style photo of a young woman sitting on a sailboat wearing a green silk dress and a pearl necklace. The sun is setting over the ocean, shot on Agfa Vista 200
31. © 20231229 @Tdys13 31 ⽇常で使われ始めたAI技術 ・⾔語対話の応⽤ GPTをLINEで使える AIチャットくん ・技術の組み合わせ 誰でもAI Vtuberになれる LINEアカウントさえあれば 最新のAI技術がLINE上で使える テキスト読み上げサービスのVOICEVOXと テキストの⾃動⽣成サービスのmiiboを組み合わせて AI Vtuberを作る⼈も多くいる 引⽤ ・AIチャットくん https://picon-inc.com/ai-chat 引⽤ VOICEVOX https://voicevox.hiroshiba.jp/ miibo https://mebo.work/ &
32. © 20231229 @Tdys13 32 ⽇常で使われ始めたAI技術 ・動画の⾃動⽣成 Runway Gen-2 ・⾳楽の⾃動⽣成 誰でも楽曲が作れる 画像を⼊⼒すると、 その画像を動画に変換してくれる⽣成AI 曲を⾃動的に作ってくれる⽣成AI ⾃作の歌詞を⼊⼒もできる 引⽤ ・Runway Gen2 https://research.runwayml.com/gen2 引⽤ suno.ai https://www.suno.ai/
33. © 20231229 @Tdys13 33 『AI×医⽤画像』の現状と可能性(2023年) まとめ • AIとは深層学習・機械学習×◦◦の総称 • 学習⽅法や⽬的に応じて使⽤する技術や 使う深層学習モデルを変えていく • 近年はマルチモーダルなAIモデルがwebサービスとして登場したり LINEなど⾝近なところで使えるようになっている。
34. © 20231229 @Tdys13 34 ここからは 研究を⾒ていく中で 個⼈的に盛り上がっていると 感じたジャンルを紹介するよ！
35. © 20231229 @Tdys13 35 国際学会論⽂を⾒るときの注意点 CVPRを例に。 国際学会は締切が早いため 最新技術は投稿されていない可能性がある。 CVPR2023締め切り時にはまだGPT3.5や ChatGPTはリリースされていなかった。 2023.07 CVPR報告会スライド向けにて⾃作
36. © 20231229 @Tdys13 36 個⼈的に考えた2023年の深層学習×医⽤画像処理の研究トレンド • 実⾏環境の制限やデータの制限を対象とした新提案 - リソース制限環境下での最適化 - 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案 • モデルの頑健性向上のための新提案 - ドメインシフトに対する提案 - ノイズのあるデータに対する頑健性向上 • 他領域で発表された研究の医療分野応⽤研究 - ハイパースペクトル画像を⽤いた提案 - 基盤モデルを医療特化へ応⽤する提案 - ロボット⼿術へのAI応⽤提案
37. © 20231229 @Tdys13 37 個⼈的に考えた2023年の深層学習×医⽤画像処理の研究トレンド • Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 - ⼿術映像の状況を把握して対応する - 症例画像に対する質疑応答 - Medical-VQAを推し進めるためのデータセット - オープンソース LLaVA-Med • Vision Language Model / Large Vision Foundation Model領域の新提案 - 複数の胸部X線データセットを学習 - 複数の眼底画像データセットを学習 - 複数のデータセットを学習 - 病理画像向けVision-Language Model • 個⼈的に関⼼がある研究 - 類似画像探索 - Trustworthy AI
38. © 20231229 @Tdys13 38 実⾏環境の制限やデータの制限を対象とした新提案 ü リソース制限環境下での最適化 新たなセグメンテーション⼿法であるM3D-NCAの提案。 Raspberry Pi 4 Model B (2GB RAM)などのリソース制限がある環境でも 3Dセグメンテーションの精度を維持して実⾏出来るように最適化した研究。 国際学会 MICCAI2023 採択 Young Scientist Award受賞 横軸：パラメータ数、縦軸：Dice値 予測時の分散可視化結果例 M3D-NCAの概略説明。 軽量で、NCAによる確率性が予測間の分散を可視化出来る。 ・論⽂引⽤ Kalkhof, John, and Anirban Mukhopadhyay. "M3D-NCA: Robust 3D Segmentation with Built-In Quality Control." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github M3D-NCA https://github.com/MECLabTUDA/M3D-NCA
39. © 20231229 @Tdys13 • 前情報：NCA(Neural Cell Automata)とは - 概要：Cell Automataに対してNNを適⽤したモデル。 - 課題：医⽤画像のセグメンテーションにも応⽤されているが、 ①学習が収束しにくいこと ②トレーニング時の⾼いVRAM消費が問題となっていた。 • 課題に対する本研究の新規提案：VRAMの要件を最⼩化し学習を安定化すること。 - ①に対する提案：バッチを複製して⼊⼒することで 学習収束の安定性を実現。(Batch Duplication部) - ②に対する提案：サイズの異なる画像を⼊⼒、ダウンスケールして NCAを複数回実施し、アップスケールして⼊⼒元画像とconcatする。 上記を複数回実施し、最終的に正解パッチとlossを算出し学習。 • 精度を安定させる試み：複数回実施した際に出⼒される外れ値に依存させないための 正規化処理と閾値処理 - 外れ値対策： 𝜐! ∶ 画像ボリューム、𝑁 ∶ 予測回数より、 NQM(NCA-Quarity Metric)を算出。 - 閾値処理：NQMの結果数値を⽤いてDiceの検出閾値を設定。(Dice > NQM) 閾値処理により、未然にFP/FNとなりうる領域を特定し除外する。 39 実⾏環境の制限やデータの制限を対象とした新提案 ü リソース制限環境下での最適化 ・論⽂引⽤ Kalkhof, John, and Anirban Mukhopadhyay. "M3D-NCA: Robust 3D Segmentation with Built-In Quality Control." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github M3D-NCA https://github.com/MECLabTUDA/M3D-NCA
40. © 20231229 @Tdys13 40 実⾏環境の制限やデータの制限を対象とした新提案 ü リソース制限環境下での最適化 NQMが⼤きいほど、予測結果領域における外れ値が多いため、除外部が増える。 ・論⽂引⽤ Kalkhof, John, and Anirban Mukhopadhyay. "M3D-NCA: Robust 3D Segmentation with Built-In Quality Control." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github M3D-NCA https://github.com/MECLabTUDA/M3D-NCA
41. © 20231229 @Tdys13 41 実⾏環境の制限やデータの制限を対象とした新提案 ・論⽂引⽤ Yuan, Mingze, et al. "Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. ü 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案 学習時に組み込んでいない疾患が推論時に登場した場合に、 領域を区別をした上でoutliers tumorとしてクラス新規作成を⾏い認識させる研究。 国際学会 CVPR2023 採択 実世界における医⽤画像セグメンテーションは 対象症例に限りなく類似している別症例も登場することがある。 a)元画像、b)正解画像、c)MSP、d)MaxLogit、e)SML、f)提案⼿法
42. © 20231229 @Tdys13 • 研究概要：前述 - 従来の課題①：学習分布外領域(OOD-Out Of Distribution)は 臨床において危険な誤検出を引き起こす可能性がある。 - 従来の課題②：OODに対して精度が低い、もしくは検出できない。 • 課題に対する本研究の新規提案：Out of Localizationの提案 - 学習されていないOOD領域を識別するプロセス。 OODとInliers(学習済み領域)は背景とinliersより 差分が⼩さいことを利⽤して対象領域/OOD領域/背景領域をLossより区別す る。(左上図) • Out of Localizationの実現⽅法：Query Distribution Lossの提案 - 対象領域のクエリと背景、OODのクエリとの分布の差を最⼤化することで OOD領域/対象領域/その他背景と鮮明に区別ができる。(左下図) - 本研究におけるクエリとは学習モデルによって⽣成される⼀連のパラメータ を指す。各クエリが画像内の領域やオブジェクトが持つ特有の特徴に対応す る。 42 実⾏環境の制限やデータの制限を対象とした新提案 ü 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案 ・論⽂引⽤ Yuan, Mingze, et al. "Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023.
43. © 20231229 @Tdys13 43 実⾏環境の制限やデータの制限を対象とした新提案 ü 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案 ・論⽂引⽤ Yuan, Mingze, et al. "Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. ・近年のMaskTransformer系研究をベースに構築 ・Object Queryは物体検出、ラベリングするための 学習パラメータ（DETRと同じ） ・初期値はランダム、 出⼒はcluster centers(各クラスタを代表する中⼼点) Cluster centers結果を MLPにかけて分類 グルーピングされたピクセルを クラスタと紐づけ、seg. logitを算出 nnUnet 各ピクセルがcluster centersとどれだけ類 似しているか OoD領域の検出と、 特定のクラスへの割当 新提案)QDLoss OoD部を背景と誤認識させないロス
44. © 20231229 @Tdys13 44 実⾏環境の制限やデータの制限を対象とした新提案 ü 学習時に組み込んでいない症例・疾患が推論時に紛れている際の提案 ・論⽂引⽤ Yuan, Mingze, et al. "Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023. a)元画像、b)正解画像、c)MSP、d)MaxLogit、e)SML、f)提案⼿法 OOD、Inlierともに提案⼿法が⾼精度となった 学習分布外領域と学習済み領域をそれぞれ区別した上でセグメンテーションを提案し、 各領域の認識精度が向上した。
45. © 20231229 @Tdys13 45 モデルの頑健性向上のための新提案 ü ドメインシフトに対する提案 相互情報を⽤いて解剖学的特徴とドメイン特徴を明⽰的に分離することで ドメインに依存しないセグメンテーション⼿法を提案した研究。 国際学会 MICCAI2023 採択 US頚動脈データセットにおける⽐較結果 ・論⽂引⽤ Bi, Yuan, et al. "MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain Generalization." arXiv preprint arXiv:2303.12649 (2023). github MI-SegNet https://github.com/yuan-12138/MI-SegNet 右上表の可視化結果。 ⾚：偽陰性(FN)、ピンク：偽陽性(FP)、緑：真陽性(TP)
46. © 20231229 @Tdys13 46 モデルの頑健性向上のための新提案 ü ドメインシフトに対する提案 ・論⽂引⽤ Bi, Yuan, et al. "MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain Generalization." arXiv preprint arXiv:2303.12649 (2023). github MI-SegNet https://github.com/yuan-12138/MI-SegNet • 研究概要：前述 - 従来の課題①：超⾳波画像特有のドメインシフトによる性能劣化。 →超⾳波画像は操作者の違い・機械の違い・患者の違いなどに敏感。 - 従来の課題②：未知ドメインに対する⼀般化能⼒の限界 • 課題に対する本研究の新規提案：相互情報を⽤いたクロス再構成法。 - 元画像から2枚の画像に分け、2種類のEncoderを⽤いて 解剖学的特徴とドメイン特徴に分離し、各画像の解剖学的特徴と ドメイン特徴をかけあわせ4種の出⼒結果を得る。 - 相互情報は各画像から出⼒された特徴量をもとにKL divergenceを ⽤いて算出される • データセットについて：すべての頸動脈超⾳波画像 - Train：シーメンス製超⾳波マシンで収集された1⼈の成⼈、2107枚 - Test ：ValS Trainデータセットから 除外された200枚 TS1 Ultrasonixデバイスで収集された15⼈の成⼈、538枚 TS2 Toshibaデバイスで収集された2⼈の成⼈と1⼈の⼦供、433枚 TS3 Cephasonicsデバイスで収集された6⼈の成⼈、540枚
47. © 20231229 @Tdys13 47 モデルの頑健性向上のための新提案 ü ドメインシフトに対する提案 ・論⽂引⽤ Bi, Yuan, et al. "MI-SegNet: Mutual Information-Based US Segmentation for Unseen Domain Generalization." arXiv preprint arXiv:2303.12649 (2023). github MI-SegNet https://github.com/yuan-12138/MI-SegNet Train / Testで機器や患者が違うが、提案⼿法であるMI-SegNetはほぼ検出できている。 推論結果 ⾚：偽陰性(FN)、ピンク：偽陽性(FP)、緑：真陽性(TP)
48. © 20231229 @Tdys13 48 モデルの頑健性向上のための新提案 ü ノイズのあるデータに対する頑健性向上 データセットにノイズや外れ値が多い状況でも、精度の⾼いセグメンテーションを実現する 損失関数T-Lossの提案研究 国際学会 MICCAI2023 採択 Best Paper受賞 ISICデータセット(⽪膚がん)を対象にしたDiceスコア⽐較 ・論⽂引⽤ Gonzalez-Jimenez, Alvaro, et al. "Robust T-Loss for Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github Robust T-Loss for Medical Image Segmentation https://github.com/Digital-Dermatology/t-loss https://robust-tloss.github.io/ ISICデータセット(⽪膚がん)α&β=0.7のとき、 T-Lossのみラベルノイズの影響をiterationが増えても受けなかった ErodeとT-Lossの⽐較
49. © 20231229 @Tdys13 49 モデルの頑健性向上のための新提案 ü ノイズのあるデータに対する頑健性向上 ・論⽂引⽤ Gonzalez-Jimenez, Alvaro, et al. "Robust T-Loss for Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github Robust T-Loss for Medical Image Segmentation https://github.com/Digital-Dermatology/t-loss https://robust-tloss.github.io/ • T-Lossについて - Student-t分布の負の対数尤度に基づく。 ラベルノイズに対する最適な耐性を逆誤差伝搬中に適応的に学習し、 追加の計算等が不必要となる。 - 𝑦! ：真ラベル、𝑓" 𝑥! ：予測ラベル、𝜈：パラメータ • T-Lossの挙動 - 𝛿 = 𝑦! − 𝑓" 𝑥! としてT-Lossの挙動を考慮する 𝛿 → 0(⼩さな誤差)のとき、損失関数は𝛿# 𝛿 → ∞(⼤きな誤差)のとき、損失関数はlog 𝛿# • T-Lossの特性 - ラベルノイズに対する耐性を適応的に調整する。 アノテーションの質が低い場合でもセグメンテーションが可能となる • T-Lossの情報 - GithubにプロジェクトページおよびT-Lossのコードあり T-Loss
50. © 20231229 @Tdys13 50 モデルの頑健性向上のための新提案 ü ノイズのあるデータに対する頑健性向上 各データセットを⽤いて実験をした結果T-Lossを⽤いた場合に Diceスコアが最も⾼く精度が出ることが検証された ・論⽂引⽤ Gonzalez-Jimenez, Alvaro, et al. "Robust T-Loss for Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. github Robust T-Loss for Medical Image Segmentation https://github.com/Digital-Dermatology/t-loss https://robust-tloss.github.io/
51. © 20231229 @Tdys13 51 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Sellner, Jan, et al. "Semantic segmentation of surgical hyperspectral images under geometric domain shifts." arXiv preprint arXiv:2303.10972 (2023). github Hyperspectral Tissue Classification https://github.com/IMSY-DKFZ/htc ü ハイパースペクトル画像を⽤いた提案 ハイパースペクトルカメラを⽤いた ⼿術中の物体形状が異なる・類似するオブジェクトへのドメインシフトに対する対応を提案した研究 ※ハイパースペクトルカメラは約100チャンネルの情報を持つ⾼機能カメラ(通常カメラはRGBの3チャンネル) 宇宙、⼯業、農業、バイオなどで主に活⽤されており、医療分野でも活⽤されている 国際学会 MICCAI2023 採択 開腹⼿術の際、学習時は主に肝臓、消化管が⾒える症例を収集し学習したとしても 実利⽤の際に膀胱、胃など他・多臓器が⾒えることが⼀般的
52. © 20231229 @Tdys13 52 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Sellner, Jan, et al. "Semantic segmentation of surgical hyperspectral images under geometric domain shifts." arXiv preprint arXiv:2303.10972 (2023). github Hyperspectral Tissue Classification https://github.com/IMSY-DKFZ/htc ü ハイパースペクトル画像を⽤いた提案 • 研究概要：前述 - 従来の課題①：幾何学的ドメインシフトによる性能劣化。 →Train/Test間に視覚的な変化・変形が発⽣することで性能が劣化 する。(臓器の異なる形状等) • 課題に対する本研究の新規提案：⼿術時に特化したデータ⽔増し、Organ Transplantation - 背景をそのままで、対象臓器のみ⼊れ替える(左図(a) ) - Organ Transplantationはhide-and-Seek, Random Erasingなどのノ イズ拡張やCutMix, Jigsawなどの画像ミキシングと組み合わせて使 ⽤される。 • 検証 - OOD症例に対する精度評価を実施した。 • Organ Transplantationについて - Githubにコードあり※1 ※1: https://github.com/IMSY-DKFZ/htc/blob/main/paper/MICCAI2023/OrganTransplantationExample.ipynb
53. © 20231229 @Tdys13 53 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Sellner, Jan, et al. "Semantic segmentation of surgical hyperspectral images under geometric domain shifts." arXiv preprint arXiv:2303.10972 (2023). github Hyperspectral Tissue Classification https://github.com/IMSY-DKFZ/htc ü ハイパースペクトル画像を⽤いた提案 RGB、HSIの各画像に対してBaseline(アフィン変換)とOrgan Transplantationを⽐較した結果 Diceスコアの向上が確認された
54. © 20231229 @Tdys13 54 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Segment Anything Kirillov, Alexander, et al. "Segment anything." arXiv preprint arXiv:2304.02643 (2023). Segment Anything https://segment-anything.com/ ü 基盤モデルを医療特化へ応⽤する提案 2023年4⽉、Meta社(旧Facebook)がSAM(Segment Anything)という基盤モデルを発表した。 1,100万枚の画像と10億枚以上のセグメンテーションマスクを学習し、追加で学習を必要としないZero-shotモデル。 ⼊⼒画像に対するテキストプロンプト操作、Bbox操作、1ポイント操作など様々な機能が実装されている arXiv オープンソース化
55. © 20231229 @Tdys13 55 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Med-SAM Segment Anything in Medical Images Ma, Jun, and Bo Wang. "Segment anything in medical images." arXiv preprint arXiv:2304.12306 (2023). github Med-SAM https://github.com/bowang-lab/MedSAM ü 基盤モデルを医療特化へ応⽤する提案 Metaが開発したSAM(Segment Anything)を医⽤画像に特化させた研究 ⼿術動画のスナップショットからテキストプロンプトで指定した 箇所をセグメンテーションするAdaptiveSAM アノテーション付き⼤規模CT画像データセットであるMICCAI FLARE2022や 病理画像、MRI画像など計100万枚以上を Fine-tune時に学習させたMed-SAM ・論⽂引⽤ AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation Paranjape, Jay N., et al. "Adaptivesam: Towards efficient tuning of sam for surgical scene segmentation." arXiv preprint arXiv:2308.03726 (2023). arXiv arXiv
56. © 20231229 @Tdys13 56 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Huang, Yuhao, et al. "Segment anything model for medical images?." Medical Image Analysis (2023): 103061. ü 基盤モデルを医療特化へ応⽤する提案 SAMとMed-SAMを応⽤した研究。 53の医⽤画像オープンデータセットを⽤いて (18モダリティ、84オブジェクト、125のオブジェクト-モダリティペアデータ) 計105万枚の2D画像、6033万枚のマスク画像を含む ⼤規模データセットCOSMOS1050Kを構築。 ⼤規模データセットを使い医療に特化した基盤モデルを作成。 Medical Image Analysis掲載
57. © 20231229 @Tdys13 57 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ 株式会社Preferred Networks 医⽤画像セグメンテーションに向けた基盤モデルの fine-tuning ⼿法の検討 https://tech.preferred.jp/ja/blog/fine-tuning-for-medical-image-fundation-model/ 株式会社Preferred Networks Segment Anything Modelの3次元医⽤画像応⽤ https://tech.preferred.jp/ja/blog/sam-for-3d-medical-images/ ü 基盤モデルを医療特化へ応⽤する提案 ⽇本のユニコーンスタートアップであるPreferred Networks社もインターンの⽅が研究をした 「SAMの医療応⽤に関する検討と課題をまとめたリサーチ結果」をブログで公表している
58. © 20231229 @Tdys13 58 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Wang, An, et al. "SAM Meets Robotic Surgery: An Empirical Study on Generalization, Robustness and Adaptation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü ロボット⼿術へのAI応⽤提案 「⼿術シーンから術具をセグメンテーション」するSurgicalSAMの提案研究。 今年は基盤モデルの医療応⽤研究が数多く増えた。 国際学会 MICCAI2023 採択 a)影、b)遮蔽、c)光の反射、d)モーションブラー、e)過度な明るさ、f)不明瞭な縫合⽷ Vanilla SAMを⽤いると、BBox機能ではある程度精度⾼く表⽰をしたが 1point機能ではそのままでは術具セグメンテーションには応⽤できない
59. © 20231229 @Tdys13 59 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Wang, An, et al. "SAM Meets Robotic Surgery: An Empirical Study on Generalization, Robustness and Adaptation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü ロボット⼿術へのAI応⽤提案 • 研究概要：前述 - 従来の課題①：vanilla SAMだとセグメンテーション精度が 未熟な場⾯がある • 課題に対する本研究の新規提案：⼿術シーンに特化したSurgical SAMの提案 - 画像部 - 事前学習済みSAMのImage Encoderをそのまま利⽤し 重み更新⽬的で軽量なLoRAを組み込む。 - ⼿術シーンのドメイン知識を効率的にLoRAレイヤーに保存する - テキスト部 - Prompt Encoderを更新し、Mask Decoderのヘッド部を変更し カテゴリ別の予測⽣成を出来るモデルへと変更 - Automatic Mask Generation - 画像部、テキスト部を組み合わせることで、プロンプト⼊⼒が 不必要で⾃動的にマスクを⽣成するSAM AMGが構築される。 • SurgicalSAMについて - コード準備中とのこと SAMから流⽤ LoRAを組み込み ドメイン知識確保 を⽬指す Fine-tune中に 重みを更新する ⼿術シーンの表現を カテゴリ別に予測⽣成する
60. © 20231229 @Tdys13 60 他領域で発表された研究の医療分野応⽤研究 ・論⽂引⽤ Chiu, Zih-Yun, Florian Richter, and Michael C. Yip. "Real-Time Constrained 6D Object-Pose Tracking of An In-Hand Suture Needle for Minimally Invasive Robotic Surgery." 2023 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2023. ü ロボット⼿術へのAI応⽤提案 (AIは組み込まれていないが⾯⽩いのでご共有) ロボット領域の世界トップカンファレンスであるICRAにて発表された ロボット⼿術時の⾃動縫合を実現するための6次元ポーズ追跡をリアルタイムかつ正確に⾏う研究。 国際学会 ICRA2023 採択 Outstanding Healthcare and Medical Robotics Paper受賞 制約とは：物を掴む際の物理的な相互作⽤や現実的な⾓度等を指す。 制約あり⼿法では各画像でグリッパーと縫合⽷の現実的な関係を表⽰できた。 ただし制約を組み込むためには正確なモデリングや複雑な条件の明⽰、 また計算するためのコストを要する。 超理想は制約無しでのリアルタイム予測＆追跡 Da Vinciでの実際の画像。 Unconstrained:制約なしの⼿法、側⾯画像が⾮現実的になっている Constrained:制約ありの⼿法、上⾯画像・側⾯画像がともに現実的になっている
61. © 20231229 @Tdys13 提案⼿法(LV-GPT2)と他のVQAモデルとの⽐較。 61 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ Seenivasan, Lalithkumar, et al. "SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery.” arXiv preprint arXiv:2304.09974 (2023). github surgicalGPT https://github.com/lalithjets/SurgicalGPT ü ⼿術映像の状況を把握して対応する ⼿術シーン状況を把握したうえで、質問に対して回答をしてくれる 訓練可能なSurgicalGPT(LV-GPT / Language Vision GPT)の提案研究。 国際学会 MICCAI2023採択 ベンチマークの⽐較結果
62. © 20231229 @Tdys13 62 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ Seenivasan, Lalithkumar, et al. "SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery.” arXiv preprint arXiv:2304.09974 (2023). github surgicalGPT https://github.com/lalithjets/SurgicalGPT ü ⼿術映像の状況を把握して対応する GPT2を使⽤ 質問をトークン化 視覚情報を保持する ビジョントークンを 出⼒ 特徴抽出器として 3種のモデルが採⽤ ⼊⼒された質問(上の段)と 外科⼿術シーン(下の段)はトークン化され Embeddingを⾏いシーケンス化されて 回答を予測する 回答を出⼒
63. © 20231229 @Tdys13 63 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ Seenivasan, Lalithkumar, et al. "SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery.” arXiv preprint arXiv:2304.09974 (2023). github surgicalGPT https://github.com/lalithjets/SurgicalGPT ü ⼿術映像の状況を把握して対応する WordトークンとImageトークンのどちらを先に処理するかによって精度が変わるのかを検証した。 結果としてWordトークンを先に処理したほうが精度が向上した。 →GPTを⽤いたVQAモデルではトークンシーケンスの順序が精度に影響を与える可能性がある
64. © 20231229 @Tdys13 64 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ Seenivasan, Lalithkumar, et al. "SurgicalGPT: End-to-End Language-Vision GPT for Visual Question Answering in Surgery.” arXiv preprint arXiv:2304.09974 (2023). github surgicalGPT https://github.com/lalithjets/SurgicalGPT ü ⼿術映像の状況を把握して対応する モノポーラカーブドシザーズとは？ prograsp forcepsはどこにある？ などの質問に対して単語だが回答をしている 最新モデルのGPT4ではどうなる？(きっと2024年の学会に投稿されるはず)
65. © 20231229 @Tdys13 65 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ Sergio Tascon-Morales “Localized Questions in Medical Visual Question Answering” Appears in Medical Image Computing and Computer Assisted Interventions (MICCAI), 2023 ü 症例画像に対する質疑応答 Medical VQAにおいて 画像全体ではなく特定領域に焦点を当てた質問に対して回答を⾏うアプローチの提案研究 国際学会 MICCAI2023 採択 丸枠、矩形領域における質問を⼊⼒し回答を出⼒する 様々な⼊⼒⽅法と⽐較しても提案⼿法が精度が⾼くなった。
66. © 20231229 @Tdys13 66 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ Sergio Tascon-Morales “Localized Questions in Medical Visual Question Answering” Appears in Medical Image Computing and Computer Assisted Interventions (MICCAI), 2023 ü 症例画像に対する質疑応答 対象領域を矩形で 囲んだ画像を⼊⼒ 対象領域の質問を 実施 ⼊⼒画像の特徴抽出 対象領域の重要部を Text, Image Embeddingsより 可視化したもの マスクと掛け合わせ 重要部の領域を制限したもの 重み付け特徴マップと 質問Embeddingsをかけあわせ 最終出⼒を得る 出⼒として 重み付け特徴マップ
67. © 20231229 @Tdys13 67 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ Sergio Tascon-Morales “Localized Questions in Medical Visual Question Answering” Appears in Medical Image Computing and Computer Assisted Interventions (MICCAI), 2023 ü 症例画像に対する質疑応答 オレンジが正解、⾚が不正解 質問領域に対して 切り抜いて認識(Crop region) / 矩形部を注⼒的に認識(Draw region) / 質問領域を注⼒しつつ全体を認識(Ours) だと提案⼿法が最も認識をしていた
68. © 20231229 @Tdys13 68 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ Bae, Seongsu, et al. "EHRXQA: A Multi-Modal Question Answering Dataset for Electronic Health Records with Chest X-ray Images." arXiv preprint arXiv:2310.18652 (2023). EHRXQA https://github.com/baeseongsu/ehrxqa ü Medical-VQAを推し進めるためのデータセット 電⼦健康記録(EHR)と胸部X線画像を組み合わせた多モーダルな質問応答⽤データセットを構築した研究 これまで公表されているオープンソースをより解くべき課題向けに構造化した研究なども登場している。 国際学会NeurIPS2023 採択 MIMIC-IV：テーブルモダリティ MIMIC-CXR：画像モダリティ Chest ImaGenome：MIMIC-CXRの⾼品質注釈バージョン の3タイプデータセットを統合し、Medical-QAに特化したデータセットを作成
69. © 20231229 @Tdys13 69 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ LLaVA https://llava-vl.github.io/ Liu, Haotian, et al. "Visual instruction tuning.” arXiv preprint arXiv:2304.08485 (2023). ü オープンソース LLaVa-Med 2023年7⽉にオープンソースとして発表されたLLaVAを医療に特化させたLLaVA-Med。 さらにLLaVA-Medもオープンソース化されている。 LLaVAを医療に特化させチューニングしたLLaVA-Med Microsoftが発表したLarge Language and Vision Assistantモデル CLIP ViT-L/14とVicunaをベースに構築されている。 国際学会NeurIPS2023採択 国際学会NeurIPS2023採択 ・論⽂引⽤ LLaVA-Med https://github.com/microsoft/LLaVA-Med Li, Chunyuan, et al. "Llava-med: Training a large language-and-vision assistant for biomedicine in one day." arXiv preprint arXiv:2306.00890 (2023).
70. © 20231229 @Tdys13 70 Medical Vision Question Answering(Medical-VQA/MVQA)領域の新提案 ・論⽂引⽤ LLaVA https://llava-vl.github.io/ Liu, Haotian, et al. "Visual instruction tuning.” arXiv preprint arXiv:2304.08485 (2023). ü オープンソース LLaVa-Med LLaVA-Med / LLaVA / GPT-4の⽐較。 LLaVA-Medは医学知識を⽤いて正確に回答が可能。 LLaVAはハルシネーションを起こしているように振る舞う。 GPT-4は⾔語のみだが、Captionを伝えた上で対話を実施すると 知識のある回答をしてくれる。 ・論⽂引⽤ LLaVA-Med https://github.com/microsoft/LLaVA-Med Li, Chunyuan, et al. "Llava-med: Training a large language-and-vision assistant for biomedicine in one day." arXiv preprint arXiv:2306.00890 (2023).
71. © 20231229 @Tdys13 71 Vision Language Model / Large Vision Foundation Model領域の新提案 ・論⽂引⽤ Ma, DongAo, et al. "Foundation Ark: Accruing and Reusing Knowledge for Superior and Robust Performance." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü 複数の胸部X線データセットを学習 多数のオープンデータセットを統合し学習したFoundation Model。 多数のオープンデータセット内の異なる専⾨家のアノテーションから知識を突合、再利⽤し ⾼性能な基盤モデルを開発。 国際学会 MICCAI2023 採択 BestPaper受賞 ImageNet(IN)で事前学習しCXRでfinetuneしたSimMIMよりも Ark-6が最も精度が⾼く分類とセグメンテーション出来ている 統合したデータセット Pの上から5種がArk-5, 6種がArk-6
72. © 20231229 @Tdys13 72 Vision Language Model / Large Vision Foundation Model領域の新提案 ・論⽂引⽤ Ma, DongAo, et al. "Foundation Ark: Accruing and Reusing Knowledge for Superior and Robust Performance." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü 複数の胸部X線データセットを学習 • 研究概要：前述 - 従来の課題①：専⾨医レベルに到達するには膨⼤ なアノテーション済みデータが必要。 Google-CXRは821,544枚のアノテーション済み データを学習している。 • 課題に対する本研究の新規提案：オープンデータを結 合しアノテーターの知識と多様な対象画像を再利⽤。 - 学習に5-6種のオープンデータを使⽤する。 • 学習モデルArkについて - Teacher-Student Modelを採⽤ - Student側、Cyclic Pretrainingを実施 - モデルが複数のタスクから順番に学習し、過 去のタスクにて蓄積された情報を再利⽤して いく。 - Teacher側への伝搬 - EMAを⽤いてStudentモデル1エポックの学 習に基づき更新され、すべてのタスク、すべ てのラベルにおいて学習が進む。
73. © 20231229 @Tdys13 73 Vision Language Model / Large Vision Foundation Model領域の新提案 ・論⽂引⽤ Ma, DongAo, et al. "Foundation Ark: Accruing and Reusing Knowledge for Superior and Robust Performance." International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer Nature Switzerland, 2023. ü 複数の胸部X線データセットを学習 (a) Linear probingの結果 1,2,10においてArk-6はAUCが⼤きく上回っている また3においてはArk-6とCXR-FMと同等 (b) ⼩規模データ環境において認識精度がArk-5,6ともにCXR-FMを上回っている Arkモデルがより少ない学習データで⾼品質の表現を捉えることが出来る (a) 性別における偽陰性率(FN Rate) ⽐較した結果、Arkモデルは性別の不均衡データに対して頑健である ことが判明した。 (b) 推論時に⼥性患者データを⼊⼒した際のAUC 緑円はCXR-FMだが、Arkモデルより差が開いている。
74. © 20231229 @Tdys13 74 ・論⽂引⽤ Silva-Rodriguez, Julio, et al. "A Foundation LAnguage-Image model of the Retina (FLAIR): Encoding expert knowledge in text supervision." arXiv preprint arXiv:2308.07898 (2023). FLAIR projectpページ https://jusiro.github.io/projects/flair ü 複数の眼底画像データセットを学習 Vision-Languageモデル FLAIRの提案。 37のオープンデータセットから97ターゲット、284,660枚の眼底画像を収集しデータセットを作成した。 arXiv FLAIRのモデル概略 各Encoder部の詳細なし 学習に使⽤していない疾患症例に 対してもzero-shotで ⾼精度な推論が可能である。 Vision Language Model / Large Vision Foundation Model領域の新提案
75. © 20231229 @Tdys13 75 ・論⽂引⽤ Nguyen, Duy MH, et al. "LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching." arXiv preprint arXiv:2306.11925 (2023). github LVM-Med https://github.com/duyhominhnguyen/LVM-Med ü 複数のデータセットを学習 55のオープンデータセットから 130万枚の医⽤画像(CT、MRI、X線、超⾳波、病理、内視鏡、⽪膚、眼底)を学習した LVM-Med arXiv LVM-Medが対応する部位⼀覧 Vision Language Model / Large Vision Foundation Model領域の新提案 実験結果の⽐較 学習データセットの割合
76. © 20231229 @Tdys13 76 ・論⽂引⽤ Nguyen, Duy MH, et al. "LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching." arXiv preprint arXiv:2306.11925 (2023). github LVM-Med https://github.com/duyhominhnguyen/LVM-Med ü 複数のデータセットを学習 Vision Language Model / Large Vision Foundation Model領域の新提案 • 研究概要：前述 - 従来の課題①：限定的なアノテーション付きデータを⽤いて 新しいタスクへ微調整で適合出来るような医療特化の事前学 習モデルはまだ確⽴されたものがなかった。 • 課題に対する本研究の新規提案：医療に特化したLVMの開発 - ⼤規模画像データで学習することで精度と汎化性能向上を⽬ 指す。 • 学習モデルLVM-Medについて - ⾃⼰教師あり対照学習を採⽤し、画像のpair-wise類似度メト リックスに基づき学習。 - Encoder, ProjectorにはResnet50 or ViTが使⽤されている。 - 出⼒された結果からグラフマッチングをにより画像の特徴埋 め込み間の関係性を捉えて学習する。 • 有効性検証 - セグメンテーション、分類、detectionなど15種のタスクにお いて検証をした。
77. © 20231229 @Tdys13 77 ・論⽂引⽤ Nguyen, Duy MH, et al. "LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching." arXiv preprint arXiv:2306.11925 (2023). github LVM-Med https://github.com/duyhominhnguyen/LVM-Med ü 複数のデータセットを学習 Vision Language Model / Large Vision Foundation Model領域の新提案 2D Segmentationの精度⽐較 3D Segmentationの精度⽐較 プロンプトベースSegmentationの精度⽐較 学習済み、未学習症例を含めた2D Segmentationの精度⽐較 各実験にてLVM-Medは好成績を達成した
78. © 20231229 @Tdys13 78 ・論⽂引⽤ Huang, Zhi, et al. "Leveraging medical Twitter to build a visual‒language foundation model for pathology AI." bioRxiv (2023): 2023-03. ü 病理画像向けVision-Language Model Xから収集した病理画像と解説ツイートを基に独⾃データセットを作成し、 提案基盤モデルであるPLIP(Pathology Language-Image Pairing)を学習、 学習結果からプロンプト⼊⼒による画像探索や、類似画像探索を実⾏する研究 bioRxiv X(Twitter)に投稿されている病理画像と疾患名をペアで収集して 208,414枚のペアデータが格納されたデータセットを作成 Vision Language Model / Large Vision Foundation Model領域の新提案 収集したデータセットでVision-Language モデル(PLIP)の学習を⾏う PLIPを⽤いて画像探索等の⾔語・画像応対を実施する
79. © 20231229 @Tdys13 79 個⼈的に関⼼のある領域 ・論⽂引⽤ Kobayashi, Kazuma, et al. "Sketch-based semantic retrieval of medical images." Medical Image Analysis (2023): 103060. 国⽴がん研究センター スケッチでCTやMRI画像を検索できる⼈⼯知能技術による⾰新的な医⽤画像検索システムを開発 https://www.ncc.go.jp/jp/information/researchtopics/2023/1222/index.html ü 類似画像探索 ⾃らスケッチをした医⽤画像に類似した画像探索を提案する研究 とても⾯⽩い！ Medical Image Analysis掲載
80. © 20231229 @Tdys13 80 個⼈的に関⼼のある領域 ・論⽂引⽤ Wang, Boxin, et al. "DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models." arXiv preprint arXiv:2306.11698 (2023). Microsoft Research Blog DECODINGTRUST: A Comprehensive Assessment of Trustworthiness in GPT Models https://www.microsoft.com/en-us/research/blog/decodingtrust-a-comprehensive-assessment-of-trustworthiness-in-gpt-models/ ü Trustworthy AI LLMのための信頼性評価プラットフォームを開発した。 信頼性評価の基準として公平性、プライバシー、攻撃性などの視点が考慮される。 国際学会 NeurIPS2023採択 国際学会 NeurIPS2023採択 ・論⽂引⽤ Zou, Ke, et al. "EvidenceCap: Towards trustworthy medical image segmentation via evidential identity cap.” arXiv preprint arXiv:2301.00349 (2023). エビデンスや確信度に基づいたセグメンテーションの提案
81. © 20231229 @Tdys13 81 『AI×医⽤画像』の現状と可能性(2023年) まとめ • 基盤モデルやLLM、LVMを医療領域へ応⽤した研究や 引き続き精度向上を⽬的とした研究などが多く投稿された。 • 学会と技術流⾏は半年ほどギャップが有るため 2024年開催の各学会では、更にLLMやLVM、Diffusionモデルなど 多くの発展的研究が発表されるはず。
82. © 20231229 @Tdys13 2. 3. 4. 1. 82 ⾃⼰紹介 研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2023 - 部位別カオスマップ，技術紹介 まとめ
83. © 20231229 @Tdys13 83 今後の医療AI領域の⾏く末は？？ 様々な調査機関・企業が診断⽀援・診療⽀援領域におけるAI市場予測を⽴てている。 『全世界で188億ドルにまで市場成⻑する』と⾒込む予測も出てきたりしている。 ・引⽤ Artificial intelligence (AI) in healthcare market size worldwide from 2021 to 2030 https://www.statista.com/statistics/1334826/ai-in-healthcare-market-size-worldwide/ ・引⽤ 株式外社⽮野経済研究所 診断・診療⽀援AIシステム市場に関する調査を実施（2023年） https://yano.co.jp/press-release/show/press_id/3241
84. © 20231229 @Tdys13 84 2023年の⽇本における医療AI事業(会社・組織⼀覧) 2023.12 とどろき調べ
85. © 20231229 @Tdys13 85 2023年の⽇本における医療AI事業(会社・組織×協業先・共同研究先) 2023.12 とどろき調べ
86. © 20231229 @Tdys13 86 とどろきが個⼈的に調べたものなので不⾜等あると思います！ 不⾜分は勉強させてください！！ ここのリスト、23企業+α ⼀挙に紹介するよ！！ 2023年の⽇本における医療AI事業(会社・組織×協業先・共同研究先)
87. © 20231229 @Tdys13 87 2023年の⽇本における医療AI事業(脳部) 引⽤ 株式会社ERISA SupportBrain https://dementiarisk.erisa.co.jp/?_gl=1*go6wg4*_ga*MTUyNjE2OTE4NS4xNzAyOTkyNzU3*_ga_49ZNR17NEW*MTcwMzYwOTQ4MS40LjEuMTcwMzYwOTQ4OS4wLjAuMA.. 株式会社ERISA AI（⼈⼯知能）が健康⽀援 ERISA独⾃の3年後の認知症将来リスク検査サービス 脳MRI画像解析がより⾝近に https://prtimes.jp/main/html/rd/p/000000002.000128514.html p メモ - AIによる「現在の脳萎縮パターン判定」と「3年後の認知症リスク判定」の2サービスを提供 - 検査結果レポートの郵送が39,800円、検査結果レポートの郵送＆医師によるオンライン説明が49,800円 - メディカルスキャニングクリニックを展開する検診グループと連携。 [株式会社ERISA×国内⼤⼿検診グループ] ERISA独⾃の3年後の認知症将来リスク検査サービスSupportBrainを ⾸都圏40クリニックで提供開始。
88. © 20231229 @Tdys13 88 2023年の⽇本における医療AI事業(眼部) 引⽤ OUI inc. アジアドライアイ診断基準に則った、世界初のドライアイAI診断モデルの開発 https://prtimes.jp/main/html/rd/p/000000034.000064389.html p メモ - 既に医療機器実⽤化をしたスマートフォンアタッチメント型細隙灯顕微鏡を⽤いてデータを収集。 - アジアにおけるドライアイの診断基準で最も重要な臨床パラメータの 涙液層破壊時間（TFBUT - tear breakup time)の推定を⾏い、ドライアイ診断AIの開発を⽬指した。 - 79症例動画から学習を実施、感度0.778/特異度0.857に到達。 [OUI Inc.×慶應義塾⼤学医学部眼科学教室] アジアドライアイ診断基準に則った、世界初のドライアイAI診断モデルの開発 &研究論⽂をジャーナル誌に発表。
89. © 20231229 @Tdys13 89 2023年の⽇本における医療AI事業(眼部) p メモ - ⾃治医科⼤学が萎縮型加齢⻩斑変性症の眼底画像を収集し、DeepEyeVisionが開発したAIアルゴリズムで ⾃然経過の測定と解析を実施する。 - AIによる解析結果を元に、⽇本⼈の萎縮型AMD発症と成⻑に対する イメージングバイオマーカーを明らかにし、将来の治療薬導⼊に備えた探索を⾏う。 [DeepEyeVision株式会社×⽇本ベーリンガーインゲルハイム株式会社×⾃治医科⼤学] AIを活⽤し、眼科領域における有効な治療法の探索を⽬的とした共同研究を開始。 引⽤ ⽇本ベーリンガーインゲルハイム株式会社 ⾃治医科⼤学、DeepEyeVisionとベーリンガーインゲルハイム、AIを活⽤し、眼科領域における有効な治療法の探索を⽬的とした共同研究を開始 https://deepeyevision.com/news20230130/
90. © 20231229 @Tdys13 90 2023年の⽇本における医療AI事業(眼部) p メモ - MiiS社製のハンディ型眼底画像撮影装置ライアンスコープと AI機能を⽤いた⽩斑や出⾎等の症状を検出するジュリーアイを販売開始した。 - ライアンスコープおよびジュリーアイは既に薬事認証を取得している。 [クレアボ・テクノロジーズ株式会社×Medimaging Integrated Solution Inc.] MiiS社製「眼底撮影装置 ライアンスコープ」および 「画像解析ソフトウエア ジュリーアイ」の⽇本独占販売開始。 引⽤ クレアポ・テクノロジーズ株式会社 MiiS社製「眼底撮影装置 ライアンスコープ」および「画像解析ソフトウエア ジュリーアイ」の⽇本独占販売開始について https://www.clairvotech.com/news/Miis_release_0210.html
91. © 20231229 @Tdys13 91 2023年の⽇本における医療AI事業(⼝腔内) p メモ - 2019年に⻭周病発⾒AIの共同研究開始を発表していた。 - 開発した⻭周病発⾒AIアプリケーションは富⼭県⻭科医師会協⼒の下、⾃治体での実証実験にて 「⻭周病罹患可能性を判定するAIアプリケーションの健診利⽤」を想定している。 - 今後は薬事承認取得を⽬指す。 [株式会社NTTドコモ×東北⼤学] ⻭周病発⾒AIアプリケーションが 厚⽣労働省「⻭周病等スクリーニングツール開発⽀援事業」に認定。 薬事承認取得を⽬指す。 引⽤ 株式会社NTTドコモ 「⻭周病発⾒ AI アプリケーション」が 厚⽣労働省「⻭周病等スクリーニングツール開発⽀援事業」に選定 https://www.docomo.ne.jp/binary/pdf/info/news_release/topics_230929_01.pdf
92. © 20231229 @Tdys13 92 2023年の⽇本における医療AI事業(乳部) p メモ - 慶應義塾⼤学病院を含めた9施設との共同研究にて収集した7,000枚超の乳房超⾳波画像をAIの学習と評価に⽤いた。 - 本機器は検診等のスクリーニング段階での利⽤を⽬的として開発をした。 - 性能評価を踏まえ、2023年2⽉に薬事承認を申請した(審査中)。 [株式会社Smart Opinion×慶應義塾⼤学病院等9病院] 乳がん向け乳房超⾳波画像AI診断⽀援ソフトウェアの医療機器承認を申請。 引⽤ 株式会社Smart Opinion 乳がん向け乳房超⾳波画像AI診断⽀援ソフトウェアの医療機器承認を申請 https://www.smartopi.com/metiseyepmda
93. © 20231229 @Tdys13 93 2023年の⽇本における医療AI事業(⼼臓部) p メモ - 発作が起きていない正常時の⼼電図波形から⼼房細動の兆候をAIで検出するSaMD。 - 新医療機器として薬事承認を申請した(審査中)。 - 性能評価試験の結果は欧州⼼臓学会議(ESC2023)にて発表済み。 [株式会社カルディオインテリジェンス×国際医療福祉⼤学三⽥病院等3施設] 正常な⼼電図波形から代表的な不整脈である ⼼房細動の“兆候”を検出するAI医療機器の医療機器承認を申請。 引⽤ 株式会社カルディオインテリジェンス 発作性⼼房細動の“兆候”を検出し⾒逃しを防ぐAI医療機器を新医療機器承認申請 https://prtimes.jp/main/html/rd/p/000000018.000063574.html
94. © 20231229 @Tdys13 94 2023年の⽇本における医療AI事業(肺部) p メモ - 2020年に薬事承認を取得した後、2021年に軽微変更を実施した。 今回IDATEN制度を活⽤し、さらなる製品のバージョンアップデートを実施した。 - 旧モデルより感度が向上し、旧モデルでは偽陽性や偽陰性だった難しい症例に対しても改善が⾒られた。 [エルピクセル株式会社] 薬事承認取得済みAI医療機器であるEIRL Chest Noduleに対する IDATEN制度を利⽤した製品バージョンアップを完了。 検出精度を向上させた新モデルをリリース。 引⽤ エルピクセル株式会社 胸部X線画像から「肺がん」が疑われる肺結節候補域を検出する医⽤画像解析ソフトウェア「EIRL Chest Nodule」、IDATEN制度を活⽤し、検出感度を向上させた新モデルをリリース https://prtimes.jp/main/html/rd/p/000000059.000010005.html
95. © 20231229 @Tdys13 95 2023年の⽇本における医療AI事業(肺部) p メモ - 胸部単純X線画像を解析し、線維化を伴う間質性肺疾患(線維化ILD)に⾒られる所⾒を検出し 確信度スコアを提⽰するプログラム。 - エムスリー株式会社と札幌医科⼤学が実施した共同研究で開発したAIモデルを改良し製品化。 - 4,000枚以上の検査画像データを学習に使⽤した。 [エムスリー株式会社×⽇本ベーリンガーインゲルハイム株式会社] 共同開発した線維化を伴う間質性肺疾患の検出⽀援を⾏う AI医療機器「BMAX」の承認取得・提供開始。 引⽤ ⽇本ベーリンガーインゲルハイム株式会社 エムスリーと⽇本ベーリンガーインゲルハイムが共同開発した線維化を伴う間質性肺疾患の検出⽀援を⾏うAI医療機器「BMAX」の承認取得・提供開始 https://www.boehringer-ingelheim.com/jp/press-release/20231130-01
96. © 20231229 @Tdys13 96 2023年の⽇本における医療AI事業(胃部) p メモ - 消化器内視鏡専⾨医が正確にアノテーションをした「がん画像」150枚、「正常画像」150枚の計300枚を 基に⽔増し113万枚まで増やして学習を実施した。 - 評価データとして「学習時に使⽤した症例とは異なる、別の1年間に収集された症例」である 137症例(がん画像:462枚、正常画像:396枚)を使い評価を実施。陽性的中率は81.3%、陰性的中率は80.4%となった。 - 製品化については明⾔されていない。 [理化学研究所×国⽴がん研究センター東病院] 早期胃癌の範囲診断に向けた研究成果を発表。 引⽤ 理化学研究所 AIで早期胃がんの範囲診断が可能に https://www.riken.jp/press/2023/20230606_1/
97. © 20231229 @Tdys13 97 2023年の⽇本における医療AI事業(胃部) p メモ - 2023年12⽉26⽇に医師の診断補助を⾏う内視鏡画像診断⽀援システム(販売名：gastroAI-model G)の 製造販売承認を取得したことを発表した。 - 当初は「腫瘍性・⾮腫瘍性を鑑別するAI」として薬事承認を申請したが、協議を経て「検出⽀援⽤途」 となったと公表した。 - 販売開始は2024年4⽉以降。 [株式会社AIメディカルサービス] 早期胃がんに特化したAI搭載の内視鏡画像診断⽀援ソフトウェアの 製造販売承認を取得。 引⽤ AIメディカルサービス 早期胃がんに特化した AI搭載の内視鏡画像診断⽀援ソフトウェアの製造販売承認を取得 https://www.ai-ms.com/news/product/20231226
98. © 20231229 @Tdys13 98 2023年の⽇本における医療AI事業(腹部) p メモ - 放射線治療を計画する際の対象部位の輪郭作成をAIで⽀援するSaMDで、 腹部を含めた全⾝19部位の臓器⾃動輪郭を⽣成が可能。 - 今後適応部位をさらに12部位増やす⾒込み。 - NVIDIA製AIフレームワークであるMONAIをベースにAIモデルの作成が⾏われた。 - 国内1製品⽬は富⼠フイルム製SYNAPSE Radiotherapy。 [株式会社ひょうご粒⼦線メディカルサポート×エヌビディア合同会社] 放射線治療計画⽀援プログラム Ai-Segが薬事承認を取得。 AI技術を⽤いた放射線治療計画⽀援プログラムは国内2製品⽬。 引⽤ 株式会社ひょうご粒⼦線メディカルサポート Ai-Seg https://hibms-hyogo.co.jp/product/ai-seg/ NVIDIA のAIテクノロジを活⽤して開発された放射線治療計画⽀援プログラムが薬事承認を取得 https://blogs.nvidia.co.jp/2023/09/28/medical-imaging-casestudies-hibms/
99. © 20231229 @Tdys13 99 2023年の⽇本における医療AI事業(腹部) p メモ - 神⼾⼤学との共同研究成果2報を報告した、今後社会実装に向けた有効性検証を実施する。 - 膵臓がんが発⽣前段階で⾒られる膵臓の腫⼤・萎縮等の軽微な形状変化を検出して 膵臓がんに罹患するリスクの⾼さを評価する技術開発も⾏う。 [富⼠フイルム株式会社×神⼾⼤学] AI技術を活⽤した⾮造影/造影CT画像から 膵臓がんの検出を⽀援する技術を開発。 引⽤ 富⼠フイルム株式会社 富⼠フイルムと神⼾⼤学 AI技術を活⽤して⾮造影CT画像から膵臓がんの検出を⽀援する技術を開発 https://www.fujifilm.com/jp/ja/news/list/10834 富⼠フイルム株式会社 富⼠フイルムと神⼾⼤学 AI技術を⽤いて造影CT画像から膵臓がんの検出を⽀援する技術を開発 https://www.fujifilm.com/jp/ja/news/list/9315
100. © 20231229 @Tdys13 100 2023年の⽇本における医療AI事業(腹部) p メモ - 撮像した画像の信号値が異なる領域を⾃動抽出し、カラーマップを作成する解析ソフトウェア。 - このHACARUS社が薬事認証を取得した画像解析ソフトウェアである Cal.Liver.Lesionの独占販売権をバイエル薬品が有する。 [株式会社HACARUS×バイエル薬品株式会社] AI技術を活⽤した肝細胞癌のMRI画像解析ソフトウェア Cal.Liver.Lesionの販売を開始 引⽤ バイエル薬品株式会社 Cal.Liver.Lesion https://radiology.bayer.jp/products/cal-liver-lesion 株式会社HACARUS ーHACARUSとバイエル薬品ー 共同開発を⾏ったAIを活⽤したオンプレミス型の画像解析ソフトウェア「Cal.Liver.Lesion」発売のお知らせ https://prtimes.jp/main/html/rd/p/000000080.000026090.html
101. © 20231229 @Tdys13 101 2023年の⽇本における医療AI事業(⾻部) p メモ - 胸部X線画像から⾻の状態を数値化して解析を⾏うAI医療機器、 ⾻の状態が若年平均値と⽐較して低い場合は⾻粗しょう症の精密検査(別検査)へ促す。 - 同社は愛知県蒲郡市で⾏った「市の肺がん検診時の⾻粗しょう症リスク評価」実証実験の中間報告を開⽰しており 年間3,324⼈の⾻粗しょう症リスク評価、約500⼈の⾻粗しょう症治療開始、 ⾻折予防により約2,936万円の医療費・介護費削減効果が期待されると試算した。 [iSurgery株式会社] 胸部X線写真から⾻を検査するAI医療機器 医⽤画像解析ソフトウェアChest Bone Indicator販売開始 引⽤ iSurgery株式会社 胸部X線写真から⾻を検査するAI医療機器「医⽤画像解析ソフトウェア Chest Bone Indicator」販売開始 https://prtimes.jp/main/html/rd/p/000000004.000061960.html iSurgery社 Chest Bone Indicator https://www.isurgery.tech/chest-bone-indicator
102. © 20231229 @Tdys13 102 2023年の⽇本における医療AI事業(⽪膚部) p メモ - 2023年6⽉に⽶・GoogleはGoogleレンズで⽪膚の状態を検索する機能を発表した(⽇本未上陸) - 上記機能の⽇本における有効性評価と検出精度向上を⽬的として共同研究を開始 [⼤阪⼤学⼤学院医学系研究科×グーグル合同会社] 写真に基づき⽪膚の状態を検出する機械学習モデルの ⽇本における有効性評価と検出精度向上を⽬的とした共同研究 引⽤ ⼤阪⼤学 AI技術を活⽤した⽪膚状態検出モデル検証 Googleとの共同研究を開始 〜⽪膚疾患に悩むすべての⼈に正確な情報を〜 https://www.med.osaka-u.ac.jp/archives/38056
103. © 20231229 @Tdys13 103 2023年の⽇本における医療AI事業(病理部) p メモ - 2017年より共同研究を開始。 - 対象胃がんは7種類。腺癌：管状腺癌・低分化腺癌、乳頭腺癌、粘液癌、印環細胞癌、消化管間質腫瘍、 MALTリンパ腫、びまん性⼤細胞型B細胞性リンパ腫(7種類で⽇本の胃がん発⽣種の9割をカバー)。 - 6施設のデータを学習、1施設のデータを評価で実施し、AUC0.96に到達。 - 今後はプログラム医療機器として薬事承認を⽬指す。 [株式会社エビデント×呉医療センター・中国がんセンター等7施設] 共同研究で開発した胃がんAI病理診断⽀援ソフトウェアが AUC0.96を達成。薬事承認を⽬指す。 引⽤ 株式会社エビデント 胃がんAI病理診断⽀援ソフトウェア、連続症例における評価でAUC0.96を達成 https://www.evidentscientific.com/ja/press-releases/stomach-cancer-ai-pathological-diagnosis-support-software/
104. © 20231229 @Tdys13 104 2023年の⽇本における医療AI事業(病理部) p メモ - 既に胃⽣検及び⼤腸⽣検の病理組織画像から腫瘍の有無を判定するAIモデルを作成し、 感度・特異度95%前後に到達している。 - さらなる感度・特異度の向上を⽬的とするとともに、プログラム医療機器としての薬事承認取得を⽬指す。 - 研究協⼒機関として、⽇本病理学会・メドメイン株式会社・PSP株式会社が連ねる。 [東京⼤学⼤学院医学系研究科×東京⼤学×国⽴情報学研究所] 医療機器プログラムとしての実装化を⾒据えた胃・⼤腸⽣検AIモデルの開発。 引⽤ 東京⼤学医学部 ⼈体病理学・病理診断学 医療機器プログラムとしての実装化を⾒据えた胃・⼤腸⽣検AIモデルの開発 https://www.pathology.m.u-tokyo.ac.jp/ai%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E9%96%8B%E7%99%BA-1/
105. © 20231229 @Tdys13 105 2023年の⽇本における医療AI事業(その他) p メモ - 前⽴腺がん患者を対象にした、AIベースの放射線治療計画システムを⽤いて⽣成された 照射可能な強度変調回転放射線治療計画の臨床的評価を実施した論⽂を公開した。(AIでの放射線治療計画 ソフトウェアは富⼠フイルム社、ひょうご粒⼦線メディカルサポート社が薬事承認を既に取得している) - またこのシステムを⽤いて⼭梨県全域を実証実験とするプロジェクトに採択された。 [アイラト株式会社×東北⼤学⼤学院医学系研究科] AIによる⾃動放射線治療計画ソフトウェアAIVOTのプロトタイプを⽤いた 前⽴腺がんに対するAI⾃動放射線治療計画の有効性結果が公開。 引⽤ アイラト株式会社 放射線治療AIで医療DXを⽀援する東北⼤発スタートアップ アイラト、⼭梨県が実施の第５期「TRY!YAMANASHI!実証実験サポート事業」に採択！ 前⽴腺癌に対する後ろ向き評価結果も公開！ https://prtimes.jp/main/html/rd/p/000000005.000119113.html
106. © 20231229 @Tdys13 106 2023年の⽇本における医療AI事業(その他) p メモ - コルポスコープを⽤いて撮影した⼦宮頸部画像に対して、酢酸加⼯の反応度を検出・表⽰するAIソフトウェア。 - このソフトウェアは⾮医療機器のため、薬液の反応箇所をAIで検出するシステムである。 [株式会社HACARUS×京都⼤学⼤学院医学研究科] コルポスコピー検査の精度向上を⽬的としたAIソフトウェアを開発 引⽤ 株式会社HACARUS コルポスコピー検査の精度向上に向けたAIソフトウェアを開発 https://prtimes.jp/main/html/rd/p/000000079.000026090.html
107. © 20231229 @Tdys13 107 2023年の⽇本における医療AI事業(その他) p メモ - オリンパス社はMedTech Innovator Asia Pasificの協⼒の下、初めてアクセラプログラムを開催。 - 初代優勝のVesicaAI社は筋層⾮浸潤性膀胱がんを⾃動検出するAIプログラムを開発している。 [オリンパス株式会社] アクセラレーションプログラムを初めて開催、 膀胱鏡検査による膀胱がんの早期発⾒⽀援を⽬的としたVesica AI社(⽶)が優勝。 引⽤ オリンパス株式会社 「Olympus Asia Pacific Innovation Program」の初代優勝チームに ⽶国Vesica AI社を選出 https://prtimes.jp/main/html/rd/p/000000177.000049310.html
108. © 20231229 @Tdys13 108 2023年の⽇本における医療AI事業(その他) p メモ - NVIDIA製ソフトウェアであるClara for Medical DevicesとハードウェアであるNVIDIA IGXを Medtronic製GI Geniusに統合することを発表。 [Medtronic×NVIDIA] FDA認可済み内視鏡診断⽀援機器GI GeniusにNVIDIAの医療機器向け機能を統合 引⽤ NVIDIA Medtronic と NVIDIA が協⼒し医療機器向け AI プラットフォームを構築 https://www.nvidia.com/ja-jp/about-nvidia/press-releases/2023/medtronic-and-nvidia-collaborate-to-build-ai-platform-for-medical-devices/
109. © 20231229 @Tdys13 109 2023年の⽇本における医療AI(その他) 引⽤ 医療スタートアップ クアドリティクス社の『⼼拍変動解析に基づくてんかん発作警告機（仮称）』 厚⽣労働省による初めてのプログラム医療機器の優先審査対象品⽬に指定 https://prtimes.jp/main/html/rd/p/000000001.000123656.html クアドリティクス株式会社は 「⼼拍変動解析に基づくてんかん発作警告機」が プログラム医療機器の優先審査対象品⽬に 指定されたことを公表した。 医療AIプラットフォーム技術研究組合(HAIP)は 第三期試⾏運⽤として採択企業の製品を カタログサイトとして医療従事者向けに展開することを報告した。 引⽤ 医療AIプラットフォームの第3期試⾏運⽤を開始 https://prtimes.jp/main/html/rd/p/000000002.000113605.html HAIP カタログサイト https://poc-catalog.haip-catalog.com/
110. © 20231229 @Tdys13 110 2023年の⽇本における医療AI(その他) 引⽤ アイリス 「スタートアップワールドカップ2023」世界⼤会で優勝 https://prtimes.jp/main/html/rd/p/000000042.000035813.html ⽇本初の保険適⽤済みAI医療機器を展開するアイリス株式会社は スタートアップワールドカップ2023に⽇本代表として参加し、 世界⼤会で優勝したことを報告した。 症状検索エンジン「ユビー」を展開するUbie株式会社は ユビーがGoogle Play ベストオブ2023において 優れたAI部⾨で⼤賞を受賞したことを発表した。 引⽤ ユビー 「Google Play ベスト オブ 2023 優れた AI 部⾨」で⼤賞を受賞 https://prtimes.jp/main/html/rd/p/000000064.000048083.html
111. © 20231229 @Tdys13 111 2023年の⽇本における医療AI(その他) 引⽤ AI医療機器「重度転倒予測AIプログラム」の医薬品医療機器総合機構との対⾯助⾔準備⾯談が終了 https://prtimes.jp/main/html/rd/p/000000505.000006776.html 株式会社FRONTEOは 電⼦カルテに記されたテキストを解析することで 患者の転倒予測をするAIプログラムに関する 製品化進捗を公表した。 医⽤画像データプラットフォーム開発を⼿掛けるカリスト株式会社は カリスト社のビジネスモデルに関する研究が 医⽤画像系の国際学会であるSPIE Medical Imagingに 採択されたと発表した。 引⽤ カリスト株式会社 https://callisto-ai.com/archives/3141
112. © 20231229 @Tdys13 112 2023年の⽇本における医療AI(その他) 引⽤ NEC NEC、東北⼤学病院、橋本市⺠病院、「医師の働き⽅改⾰」に向けて、医療現場におけるLLM活⽤の有効性を実証 https://jpn.nec.com/press/202312/20231213_01.html ⽇本電気株式会社(NEC)は 電⼦カルテなどの情報を元に、LLMで医療⽂書を ⾃動⽣成する実証実験を和歌⼭県・橋本市⺠病院にて実施し 作業時間を年間63時間削減⾒込みと結果を公表した。 現役医学⽣が起業した株式会社Pleepは 診察やり取りの⾳声⼊⼒とAI要約でカルテ作成業務を⽀援する GPT搭載webアプリmedimoを発表した。 引⽤ ⾳声⼊⼒とAI要約でカルテ作成業務をラクにするwebアプリ「medimo」、医療関係者向けに無料体験版の先⾏予約を開始 https://prtimes.jp/main/html/rd/p/000000001.000124331.html
113. © 20231229 @Tdys13 113 2023年の⽇本における医療AI(その他) 引⽤ 満を持してデビュー！⼤規模⾔語モデル(LLM)「tsuzumi」記者会⾒速報 https://group.ntt/jp/magazine/blog/tsuzumi/ NTTは独⾃LLMモデルであるtsuzumiを 2024年3⽉から提供開始と発表した。 業界特化領域として既に利⽤されている メディカル領域(電カル連携)を1例として上げた。 富⼠フイルム株式会社は ⽇本医学放射線学会が主導して収集した 医⽤画像データベース(J-MID)をクラウド管理することを発表した。 約4億枚の画像をクラウド管理する。 引⽤ 富⼠フイルム株式会社 ⽇本医⽤画像データベース(J-MID)向け次世代クラウド管理基盤を構築 https://www.fujifilm.com/jp/ja/news/list/9314
114. © 20231229 @Tdys13 114 2023年の世界における医療AI(その他) 引⽤ 医療業界向け⽣成 AI「MedLM」を発表 https://cloud.google.com/blog/ja/topics/healthcare-life-sciences/introducing-medlm-for-the-healthcare-industry Googleは医療業界向けのLLMである MedLMを発表した。 ヘルスケアに関わる様々な場⾯での活⽤を⾒越して 多くの企業と連携も発表した。 マイクロソフトは マイクロソフトが発表したLLMである LLaVa(Large Language and Vision Assistant)を 医療向けに追加学習したLLaVa-Medのオープンソース化を発表した。 引⽤ LLaVA-Med: Large Language and Vision Assistant for BioMedicine https://github.com/microsoft/LLaVA-Med
115. © 20231229 @Tdys13 115 2023年の世界における医療AI(その他) 引⽤ Meta Llama2 https://ai.meta.com/llama/ Meta(旧Facebook)は独⾃LLMである Llama2を発表した。 引⽤ MEDITRON-70B: Scaling Medical Pretraining for Large Language Models https://arxiv.org/pdf/2311.16079.pdf github meditronプロジェクトページ https://github.com/epfLLM/meditron 有志がLlama2を医療に特化させた Meditronを発表した。
116. © 20231229 @Tdys13 116 『AI×医⽤画像』の現状と可能性(2023年) まとめ <ひと⼝メモ> • 研究開発をしていた製品の • 医療機器承認に関するリリースなどが多く⾒られた。 • また医療機器申請を実施していくリリース等も増えている。 • 医療機器化せず、⾮医療機器でAIサービスを展開する企業も増えた。
117. © 20231229 @Tdys13 117 AI医療機器の紹介 ここから医療機器の話& ⽇本で薬事承認された AI医療機器を全部紹介
118. © 20231229 @Tdys13 118 医療機器には『医療機器分類』と分類に紐づく『規制』が設けられている 国際基準に合わせ，⼈体へのリスクより『クラスⅠ~Ⅳの分類』が適⽤される 医療機器の分類について
119. © 20231229 @Tdys13 119 「プログラムが医療機器に該当するか」に関してはきちんとフローが決まっている ルールに則り該当性を確認する必要がある 医療機器の分類について 引⽤： プログラムの医療機器該当性に関するガイドラインの⼀部改正について https://www.mhlw.go.jp/content/11120000/001082227.pdf
120. © 20231229 @Tdys13 120 AI医療機器開発については、⼤きく6パターンに分けられる。 それぞれで各社の製品化戦略と開発座組が存在する。 医療機器の開発について 2023.06 轟が⽇本、各国のAI医療機器開発企業を独⾃に調査し作成 各例の詳細も作成済み(本スライドには未掲載)
121. © 20231229 @Tdys13 121 ⽇本国内で薬事承認されたAI医療機器29製品 2023.12 とどろき調べ
122. © 20231229 @Tdys13 122 ⽇本国内で薬事承認されたAI医療機器29製品 2023.12 とどろき調べ
123. © 20231229 @Tdys13 123 ⽇本国内で薬事承認されたAI医療機器29製品 2023.12 とどろき調べ
124. © 20231229 @Tdys13 124 ⽇本国内で薬事承認されたAI医療機器29製品 2023.12 とどろき調べ
125. © 20231229 @Tdys13 125 ⽇本国内で薬事承認されたAI医療機器29製品 2023.12 とどろき調べ
126. © 20231229 @Tdys13 126 ⽇本国内で薬事承認されたAI医療機器29製品 2023.12 とどろき調べ
127. © 20231229 @Tdys13 127 ⽇本国内で薬事承認されたAI医療機器29製品 2023.12 とどろき調べ
128. © 20231229 @Tdys13 128 ⽇本国内で薬事承認されたAI医療機器29製品 2023.12 とどろき調べ
129. © 20231229 @Tdys13 129 ⽇本国内で薬事承認されたAI医療機器29製品(COVID-19系) 2023.12 とどろき調べ
130. © 20231229 @Tdys13 130 ⽇本国内で薬事承認されたAI医療機器29製品(COVID-19系) 2023.12 とどろき調べ
131. © 20231229 @Tdys13 引⽤： Artificial Intelligence and Machine Learning (AI/ML)-Enabled Medical Devices https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices 131 AI医療機器のリスト(⽶国) ⽶・FDAがAI/ML搭載されている医療機器リストを最新版にアップデートして公表した。 合計692機器が認可を受けている。 リスト中には⽇本で薬事認証に当たる製品も含まれているため、 ⽇本国内でも薬事認証製品まで含めると、29製品以上のAI医療機器が認可されている。
132. © 20231229 @Tdys13 132 『AI×医⽤画像』の現状と可能性(2023年) まとめ <ひと⼝メモ> • 2023.12.29現在，AI医療機器の薬事承認取得はさらに増えた • 2023年は薬事承認申請を⽬指すと公表した企業も増えた • AI機能を搭載している薬事認証製品も含めると更に多くなる
133. © 20231229 @Tdys13 2. 3. 4. 1. 133 ⾃⼰紹介 研究トレンド紹介 - 医⽤画像関連研究紹介 ⽇本のビジネストレンド紹介2023 - 部位別カオスマップ，技術紹介 まとめ
134. © 20231229 @Tdys13 134 まとめ n 今年の動向 - 研究：掲載していない研究も含め、精度向上よりも汎化性能向上やOOD対応、リソース制限化での最 適化など、この数年の課題に対する研究が多くを占めた。 - 事業：⾮医療機器でAIサービスを展開・AI医療機器を輸⼊して展開など各社の取り組みも多岐に渡っ てきた。また医療機器化、薬事承認取得を⽬指すと述べる企業が増えた。 n 来年の予測 - 研究：基盤モデル、LLM、LVMの医療応⽤研究が来年は数多く出る。 それと同時に(逆説的だが)以下に少量のデータで基盤モデル同等の精度を達成するか等の研究も出る。 - 事業：現在、特定臨床研究や臨床研究でAIのデータ収集を⾏っている企業の事業化などが発表されて くる - 関⼼・注⽬： ①⽣成AI関連で事業化を⾏うファーストペンギンとなる企業が現れるか ②Big Techカンパニーが⽇本で医療AIサービスを展開するか ③2製品⽬の保険適⽤されるAI医療機器が出てくるか ④AI医療機器の現場利⽤における医療費削減論⽂等で影響度が⼤きな論⽂など出てくるか
135. © 20231229 @Tdys13 135 最後に 様々な技術が時代とともに進化した テクノロジー×医療はやっぱり⾯⽩い！！！