Lin, and Chiou-Ting Hsu. "Source-Guided Adversarial Learning and Data Augmentation for Domain Generalization." SN Computer Science 1.6 (2020): 1-12. Zhou, Kaiyang, et al. "Domain generalization: A survey." IEEE Transactions on Pattern Analysis and Machine Intelligence (2022). ü そもそもDomain Generalizationとは 学習に利⽤ Source domains 推論に利⽤ Target domains 『学習時/推論時のデータ傾向が異なることで推論精度が劣ってしまう問題』に対して 未知データにも最低限対応できるように汎化性能を上げる⼿法 Sketch画⾵の画像は 学習に使⽤されていない これらにも対応するには??
Ziqi, et al. "Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. 国際学会 CVPR2022 採択 ü 学習時/推論時で異なるモダリティに対応① 実験例 学習-MRI T2画像 推論-MRI Flair画像, T1画像 , T1強調画像
Synthesizerを⽤いて、撮像⼿法が異なる画像に対するドメイン汎化を実現した。 ・論⽂引⽤ Xu, Yanwu, et al. "Adversarial Consistency for Single Domain Generalization in Medical Image Segmentation." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022. 国際学会 MICCAI2022 採択 ü 学習時/推論時で異なるモダリティに対応② 実験例 学習-⼼臓bSSFP撮像法 推論-⼼臓LGE(遅延造影)撮像法
"Federated Learning for Medical Applications: A Taxonomy, Current Trends, Challenges, and Future Research Directions." arXiv preprint arXiv:2208.03392 (2022). ü そもそも連合学習とは おおまかな流れ ① ⼤元のサーバーにて学習されたモデルパラメータを各クライアントへ配布 ② モデルパラメータをクライアントのローカルデータを⽤いてモデルアップデート ③ アップデートされたモデルパラメータの更新差分を⼤元のサーバーへ戻す ④ 各クライアントにてアップデートされたモデルパラメータを統合して①に戻る 良い点 ・院内データ等を病院外へ持ち出す必要がない。 ・パラメータの差分のみを病院外へ出すため、個⼈情報等の対応が要らなくなる 懸念点 ・クライアント間(各医療機関)の保有するデータの不均衡性にどう対応するか ・同⼀患者が複数医療機関を受診している場合、統合が難しい
"Distributed contrastive learning for medical image segmentation." Medical Image Analysis 81 (2022): 102564. ジャーナル誌 Medical Image Analysis 採択 ü 対照学習を⽤いた未アノテーションなローカルデータの学習 各クライアントの保有する未アノテーションデータから特徴ベクトルを抽出し共有し合い、対照学習を実施、 その後アノテーション済みデータを⽤いて転移学習を⾏う連合学習×対照学習×転移学習の新提案。 結論:アノテーションがされていないデータに対する連合学習でのセグメンテーション精度と汎化性能を⼤幅に向上させた。
et al. "ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. 国際学会 CVPR2022 採択 ü 医⽤画像と遺伝⼦データの意味対応を利⽤した対照学習
et al. "RadTex: Learning Efficient Radiograph Representations from Text Reports." MICCAI Workshop on Resource-Efficient Medical Image Analysis. Springer, Cham, 2022. 国際学会 MICCAI2022 採択 ü 診断レポートからより効率的に画像の表現を学習
artificial intelligence solutions for the detection of tuberculosis https://www.nature.com/articles/s41598-021-03265-0 ü 拡散モデルとは 国際学会NeurIPS2020 採択 拡散モデル/Diffusion ModelはGANやVAEと同じく学習した画像に近しい画像を⽣成するモデル。 ガウシアンノイズからノイズを除去するプロセスを深層学習にてモデル化する。 実験により⽣成された画像 復元した際の 誤差をなるべく⼩さくする
and Risks of Foundation Models https://arxiv.org/abs/2108.07258 ü 基盤モデルとは 基盤モデル/Foundation Modelは⼤量かつ様々なデータ(⾔語、画像、⾳声、等) で学習し、 各ジャンルのタスクに適応可能なモデル。 ChatGPT(⾔語→⾔語), StableDiffusion(⾔語→画像), whisper(⾳声→⾔語), CLIP(⾔語→ベクトル)などがある。 arXiv 2021
Chambon, Pierre, et al. "Adapting pretrained vision-language foundational models to medical imaging domains." arXiv preprint arXiv:2210.04133 (2022). arXiv ü テキストプロンプトからの医⽤画像⽣成研究①
Chambon, Pierre, et al. "RoentGen: Vision-Language Foundation Model for Chest X-ray Generation." arXiv preprint arXiv:2211.12737 (2022). arXiv ü テキストプロンプトからの医⽤画像⽣成研究②
胸部X線画像⽣成モデルへ改良する。 【データ】 胸部X線&放射線レポートデータセット*1 【提案技術】 ① 前研究(1つ前に紹介)から、より多様な疾患症例を⽣成するため 胸部X線画像と対応する様々な形式の放射線レポートでの Text Encoder部とU-Net部事前学習⽅法を模索。 ② その結果フリーズさせたCLIPのTextEncoderを初期値として使いながら Text Encoder部とU-Net部を追加学習して、同時に微調整することが 最も精度が出ることが判明した。 ③ 医学的に適する構造を学習しているため、⾮現実的な⽣成画像は 出⼒されなくなった。 *1:MIMIC-CXR Database v2.0 https://physionet.org/content/mimic-cxr/2.0.0/ ・論⽂引⽤ Chambon, Pierre, et al. "RoentGen: Vision-Language Foundation Model for Chest X-ray Generation." arXiv preprint arXiv:2211.12737 (2022).
Yuehao, et al. "Neural rendering for stereo 3d reconstruction of deformable tissues in robotic surgery." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022. 国際学会 MICCAI2022 採択 Best Student Paper受賞 ü NeRF技術を応⽤した画像3D再構成 処置具に注⽬
"Neural rendering for stereo 3d reconstruction of deformable tissues in robotic surgery." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2022. ü NeRF技術を応⽤した画像3D再構成 【概要】 NeRF技術を応⽤し単視点のステレオ画像から処置具にマスクをしつつ、 対象疾患部のみ3D再構成を⾏う研究。 【データ】 in-house DaVinci robotic prostatectomy data(⾮公開) 【提案技術】 ① 動的な⼿術シーンをdynamic neural radiance field methodを ⽤いて作成する。 ② 作成したシーンから処置具をマスクするため重要度マップを作成する。 ③ 作成した重要度マップよりStereo Depth画像を⽣成し3D再構成を実現。 アーキテクチャ 上段:⼊⼒画像、下段:結果画像 結果画像からは処置具が消え、 対象疾患部を中⼼に3D再構成が施された。
Huiyu, Nicholas Ayache, and Hervé Delingette. "Data Stealing Attack on Medical Images: Is it Safe to Export Networks from Data Lakes?." arXiv preprint arXiv:2206.03391 (2022). 国際学会 MICCAI2022 採択 ü Privacy対策
"Amos: A large-scale abdominal multi-organ benchmark for versatile medical image segmentation." arXiv preprint arXiv:2206.08023 (2022). Mei, Xueyan, et al. "RadImageNet: An open radiologic deep learning research dataset for effective transfer learning." Radiology: Artificial Intelligence 4.5 (2022): e210315. 腹部多臓器のデータセット ”AMOS” 15種の臓器をボクセルアノテーションしている 500症例の3DCT画像, 100症例の3DMR画像データセット 国際学会 MICCAI2022にてコンペティション開催 国際学会 NeurIPS2022にて論⽂採択 ü 今年も多くの医⽤画像オープンデータセットが公表された 放射線画像/エコー画像のデータセット “RadImageNet” 165種の疾患ラベリングが施された135万枚の医⽤画像 北⽶放射線学会 RSNA2022採択
Health Researchが 医⽤画像系オープンデータセットを集約して公開。 モダリティのみならず、permissionsで検索もできる ・引⽤ NIHR A collection of open source imaging data sets. https://nhsx.github.io/open-source-imaging-data-sets/ NIH CANCER IMAGING ARCHIVE https://www.cancerimagingarchive.net/ National Institute for Healthが 腫瘍関連の医⽤画像系オープンデータセットを集約して公開。 ⾃分でデータを投稿もでき、多くの研究者がお世話になっている
Challenge 2022 https://amos22.grand-challenge.org/ ・RadImageNet https://www.radimagenet.com/copy-of-home ・NIHR A collection of open source imaging data sets. https://nhsx.github.io/open-source-imaging-data-sets ・NIH CANCER IMAGING ARCHIVE https://www.cancerimagingarchive.net/
ジャーナル誌 Cancer Science 掲載 p 技術メモ - データ :8施設から収集した 7,194枚の乳房エコー画像 8施設→慶應⼤、帝京⼤、杏林⼤、国がん中央病院、 国がん東病院、埼⽟医科⼤、北⾥研究所病院、東京医療センター 学習-4,028枚 / 推論-3,166枚 - モデル :CNN(詳細なし) - 評価⽅法 :ROC p メモ - BI-RADS基準を採⽤し、そのスコアとの⼀致度を測る。 BI-RADS基準は1~5で数字が上がるほど精密検査必須となる。 - まずは1,500枚のアノテーション済み画像で検証し、その後 7,194枚の画像で本格検証を実施。 - 最終的な感度91.6%/特異度90.7% 論⽂引⽤ Hayashida, Tetsu, et al. "Establishment of a deep‐learning system to diagnose BI‐RADS4a or higher using breast ultrasound for clinical application." Cancer science 113.10 (2022): 3528.
メモ - 開発中の⼈⼯知能技術を⽤いた⼿術ナビゲーションを胃がん⼿術に対して適⽤することを⽬的とし、 膵臓周辺の郭清ラインについてAIモデルによる予測の可能性について検討した。 - AIモデルによって、膵臓の輪郭を概ね良好にトレースすることができた。 [株式会社ヒューマノーム研究所] AIを⽤いた⼿術ナビゲーションシステム開発に関する研究発表 論⽂引⽤ Sato, Yuya, et al. "Preliminary study for developing a navigation system for gastric cancer surgery using artificial intelligence." Surgery Today (2022): 1-6.
p 技術メモ - データ :70,950枚の超⾳波B画像 - 対象 :肝腫瘤 - モデル :VGG3種 - 評価⽅法 :accuracy、AUC(肝腫瘤予測) 4クラス分類の結果 悪性腫瘍分類の結果 Demo画⾯ HCC 99%と表⽰されている p メモ - Model1~3:VGG16をベースに微調整している - Model3で精度90%に到達した、 その他モデルも軒並み医師より⾼い結果となった - (コメント)他のモデルでも結果が⾒てみたい。 論⽂引⽤ Nishida, Naoshi, et al. "Artificial intelligence (AI) models for the ultrasonographic diagnosis of liver tumors and comparison of diagnostic accuracies between AI and human experts." Journal of gastroenterology 57.4 (2022): 309-321.
p メモ - 炎症性腸疾患関連腫瘍 99 病変 862 枚から構築した - 約 80%の正診率で腫瘍の進⾏度を正しく診断でき、経験ある専⾨医と同程度もしくはそれ以上の結果だった。 [株式会社両備システムズ×岡⼭⼤学] AIを⽤いた炎症性腸疾患関連腫瘍の内視鏡診断システムを開発 論⽂引⽤ Yamamoto, Shumpei, et al. "The diagnostic ability to classify neoplasias occurring in inflammatory bowel disease by artificial intelligence and endoscopists: A pilot study.” Journal of Gastroenterology and Hepatology 37.8 (2022): 1610-1616.
Ichihara, and Masayuki Tsuneki. "A deep learning model for breast ductal carcinoma in situ classification in whole slide images." Virchows Archiv 480.5 (2022): 1009-1022. ② Kanavati, Fahdi, et al. "A Deep Learning Model for Cervical Cancer Screening on Liquid-Based Cytology Specimens in Whole Slide Images." Cancers 14.5 (2022): 1159. p メモ - メドメイン社発の論⽂が2022年で4本の論⽂がジャーナル誌に掲載された。 論⽂引⽤ ③ Tsuneki, Masayuki, Makoto Abe, and Fahdi Kanavati. "A deep learning model for prostate adenocarcinoma classification in needle biopsy whole-slide images using transfer learning." Diagnostics 12.3 (2022): 768. 論⽂引⽤ ④ Tsuneki, Masayuki, Makoto Abe, and Fahdi Kanavati. "Transfer Learning for Adenocarcinoma Classifications in the Transurethral Resection of Prostate Whole-Slide Images.” Cancers 14.19 (2022): 4744.
睡眠検診における解析AIを開発開始 引⽤ Google .inc Partnering with iCAD to improve breast cancer screening https://blog.google/technology/ai/icad-partnership-breast-cancer-screening/ 引⽤ 株式会社ACCELStars アイ・エム・アイ株式会社と東⼤発ベンチャーのACCELStars、 睡眠障害の早期発⾒を⽬的とした睡眠検診(SASスクリーニング)におけるサービス及び解析を⽀援するAIの共同開発の開始 https://www.accelstars.com/news/2022-06-29.html