画像分類コンペティション 優勝モデル ・Residual Blockを持つ構造 UNet ‒ 主にセグメンテーションジャンル ・ISBI2015 医⽤画像セグメンテーションチャレンジ 優勝モデル ・short cut pathを持つU-Netというモデル He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.
ResNet ‒ 主に分類ジャンル UNet ‒ 主にセグメンテーションジャンル He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. ResBlock U-Net
‒ 主にセグメンテーションジャンル × He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. ResBlock U-Net
and Mathieu Rubeaux. "Kidney tumor segmentation using an ensembling multi-stage deep learning approach. A contribution to the KiTS19 challenge." arXiv preprint arXiv:1909.00735 (2019). 2019年のみで33コンペが開催された(全て医⽤画像処理タスク) 医⽤画像処理学会が⽀援してコンペが開催されていることも多く, 上位⼊賞者は学会にて成果報告を⾏い,論⽂としてPublishすることが多い 引⽤: ・Grand Challenges in Biomedical Image Analysis https://grand-challenge.org/challenges/
引⽤: Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).
モデルの重み(初期値)をランダムにした場合の精度⽐較 →ほぼ精度は変わらない ・何が嬉しい? 学習の収束速度が早まる 引⽤: Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).
モデルの重み(初期値)をランダムにした場合の精度⽐較 →ほぼ精度は変わらない ・何が嬉しい? 学習の収束速度が早まる 引⽤: Raghu, Maithra, et al. "Transfusion: Understanding transfer learning with applications to medical imaging." arXiv preprint arXiv:1902.07208 (2019).
et al. "Gastric pathology image classification using stepwise fine-tuning for deep neural networks.” Journal of healthcare engineering 2018 (2018). 胃病理画像に適応させるため,転移学習を2度⾏う ( ImageNet->胃病理画像(広域)->胃病理画像(拡⼤) )
HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019). 「深層学習による診断を本当に信じるか?」という少し緊張の⾛るタイトルの論⽂ →具体的には『医⽤画像領域におけるドメインシフト問題』を取り上げている
特定のタスク解決に特化したモデルが出来上がってしまう問題 解決するためには? 右上図のような「機材などの影響で映り⽅が異なる医⽤画像」に対して 汎化性能を担保できるかが肝となる 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
「開発時に集めた胸部X線の訓練画像とテスト画像では上⼿くいく」が, 「臨床時に集められた胸部X線画像では上⼿くいかない」といった 特定のタスク解決に特化したモデルが出来上がってしまう問題 解決するためには? 右上図のような「機材などの影響で映り⽅が異なる医⽤画像」に対して 汎化性能を担保できるかが肝となる 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
・対象領域は? 胸部X線画像 ・使⽤モデルは? DenceNet101 ・検証⽅法は? 3つの各データセットを学習したモデルを⽤いて 3つのデータセットをテストした際の精度検証 3つのデータセット詳細 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
同じ時に最も分類精度が⾼くなる ↓ 別のデータセットで学習した際は劣ってしまうのは 汎化性能が担保されていないのでは? 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
ドメインシフトに関して考慮されてないことが多い 実験結果 SOTA編:4ジャンルにて精度向上のために何をするか? 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
近年,放射線画像に関する⼤規模データを ⽣成する研究が多くされてるにもかかわらず, ドメインシフトに関して考慮されてないことが多い 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
⽣成する研究が多くされてるにもかかわらず, ドメインシフトに関して考慮されてないことが多い 引⽤: Pooch, Eduardo HP, Pedro L. Ballester, and Rodrigo C. Barros. "Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification." arXiv preprint arXiv:1909.01940 (2019).
al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. SOTA編:4ジャンルにて精度向上のために何をするか? ※マルチモダリティ系とは 複数種類の画像(CT画像やMR画像,X線画像など)を 複合的に⽤いる研究 現場などではCT,MRIなど複合的に⾒た上で 判断することが多く,より臨床に近い形へと近づけている MR画像とCT画像を⽤いて両画像の特徴を持ったMR-CT画像を作成し,肝臓腫瘍候補を検出する研究
・対象領域は? 腹部CT画像 ・使⽤モデルは? 新規提案モデル① (mutual-information based Cycle GAN-左図) MR-CT画像の⽣成のため ・検証⽅法は? 腫瘍のセグメンテーション精度 (評価指標 : Dice) 引⽤: Wei, Dongming, et al. "Synthesis and Inpainting-Based MR-CT Registration for Image-Guided Thermal Ablation of Liver Tumors." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147. MICCAI2019採択 PACS内にある腹部CT画像から,造影剤の影を捉えた上で求める相の画像のみを抽出する研究 医師が注⽬する場所→
・対象領域は? 腹部CT画像 ・使⽤モデルは? SENet ・検証⽅法は? 医師が相を⾒抜く際に注⽬する部分(前ページ参照)を AIも注⽬できるか,Grad-CAMを⽤いて検証 引⽤: Zhou, Bo, et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147.
引⽤: Zhou, Bo, et al. "CT Data Curation for Liver Patients: Phase Recognition in Dynamic Contrast-Enhanced CT." Domain Adaptation and Representation Transfer and Medical Image Learning with Less Labels and Imperfect Data. Springer, Cham, 2019. 139-147.
擬似変換する 引⽤: Yuan, Wenguang, et al. "Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation from Multimodal Unpaired Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019. GANを⽤いてペアになっていない画像からペア画像を⽣成し, 他のモダリティに映る病変を⾃動セグメンテーションする研究
Yuan, Wenguang, et al. "Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation from Multimodal Unpaired Images." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242. AIの専⾨知識を持たない臨床医が機械学習⽀援ツール「AutoML」を⽤いて、 疾患分類の⾼精度モデルを構築することに成功した
Google Cloud Auto MLプラットフォーム上に流す」 という基礎研修を10時間受けた臨床医) ・対象領域は? 2クラス: (B)眼底画像,(E)⼩児胸部X線画像 4クラス: (A)OCT画像データセット 7クラス: (C)⽪膚画像 15クラス: (D)成⼈胸部X線画像 ・使⽤モデルは? AutoML ・検証⽅法は? 病変部位を分類できるか (評価指標 : AUPRC) 引⽤: Faes, Livia, et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242.
Google Cloud Auto MLプラットフォーム上に流す」 という基礎研修を10時間受けた臨床医) ・対象領域は? 2クラス: (B)眼底画像,(E)⼩児胸部X線画像 4クラス: (A)OCT画像データセット 7クラス: (C)⽪膚画像 15クラス: (D)成⼈胸部X線画像 ・使⽤モデルは? AutoML ・検証⽅法は? 病変部位を分類できるか (評価指標 : AUPRC) ü ①臨床医がAutoMLを⽤いて病変分類モデル構築 正 解 予測 (結果の⾒⽅) 正解列のクラス名を⾒て,予測⾏のクラス名を⾒る 新たな研究領域編 引⽤: Faes, Livia, et al. "Automated deep learning design for medical image classification by health-care professionals with no coding experience: a feasibility study." The Lancet Digital Health 1.5 (2019): e232-e242.
et al. "Deep Q Learning Driven CT Pancreas Segmentation with Geometry-Aware U-Net." IEEE transactions on medical imaging (2019). 深層強化学習×U-Netを⽤いた膵臓の⾃動セグメンテーション研究
引⽤: Prakash, Aayush, et al. "Structured domain randomization: Bridging the reality gap by context-aware synthetic data." 2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019.
モデル :VGG19(pretrain-ImageNet)→ランダムフォレスト データ :左下5種(緑内障208眼,健全眼149眼) a - 眼底画像のG(RGBのうち)のみ b - 視神経乳頭,神経線維層の層厚マップ c - 視神経乳頭,神経線維層のデビエーションマップ d - ⻩斑,神経節細胞複合体層の層厚マップ e -⻩斑,神経節細胞複合体層のデビエーションマップ 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13 引⽤: ・An, Guangzhou, et al. "Glaucoma Diagnosis with Machine Learning Based on Optical Coherence Tomography and Color Fundus Images." Journal of healthcare engineering 2019 (2019).
モデル :VGG19(pretrain-ImageNet)→ランダムフォレスト データ :左下5種(緑内障208眼,健全眼149眼) a - 眼底画像のG(RGBのうち)のみ b - 視神経乳頭,神経線維層の層厚マップ c - 視神経乳頭,神経線維層のデビエーションマップ d - ⻩斑,神経節細胞複合体層の層厚マップ e -⻩斑,神経節細胞複合体層のデビエーションマップ タスク :分類問題 検証 :K-folds Cross Validation (K=10) 評価指標:AUC 結果 :AUC=0.963 引⽤ ・理化学研究所 プレスリリース 2019 03.28 ⼈⼯知能による⾼精度緑内障⾃動診断 https://www.riken.jp/press/2019/20190328_2/#note13 ・An, Guangzhou, et al. "Glaucoma Diagnosis with Machine Learning Based on Optical Coherence Tomography and Color Fundus Images." Journal of healthcare engineering 2019 (2019).
(腫瘍部orその他) 4クラスセグメンテーション結果 (腫瘍部4種類) a : 元画像 b : アノテーション画像 c : U-Net h : 提案⼿法(Fixed) I : 提案⼿法(Adaptive) 結果画像 引⽤ ・Tokunaga, Hiroki, et al. "Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019.
・Han, Changhee, et al. "Learning more with less: conditional PGGAN-based data augmentation for brain metastases detection using highly-rough annotation on MR images." arXiv preprint arXiv:1902.09856 (2019). ・⼀⾔ この研究のみならず,多くの研究を⾏い,著名学会にて研究成果を発表している 例) 医療ビックデータ研究センター×東⼤×ケンブリッジ⼤学×国⽴医療研究センター病院の共同研究 →精度を向上させるため,医⽤画像のバリエーションをConditional-PGGANを⽤いて増やす研究