Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
眼科AIコンテスト2024_特別賞_6位Solution
Search
Akifumi Matsumoto
December 01, 2024
Science
0
240
眼科AIコンテスト2024_特別賞_6位Solution
第5回眼科AI学会総会で実施された眼科AIコンテスト2024での特別賞受賞講演資料です。今後参加される方々の参考になれば幸いです。
Akifumi Matsumoto
December 01, 2024
Tweet
Share
Other Decks in Science
See All in Science
白金鉱業Meetup Vol.16_【初学者向け発表】 数理最適化のはじめの一歩 〜身近な問題で学ぶ最適化の面白さ〜
brainpadpr
10
1.8k
深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介
kentaitakura
0
270
2024-06-16-pydata_london
sofievl
0
570
学術講演会中央大学学員会いわき支部
tagtag
0
120
Science of Scienceおよび科学計量学に関する研究論文の俯瞰可視化_LT版
hayataka88
0
1k
重複排除・高速バックアップ・ランサムウェア対策 三拍子そろったExaGrid × Veeam連携セミナー
climbteam
0
160
ACL読み会2024@名大 REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation
takuma_matsubara
0
110
はじめてのバックドア基準:あるいは、重回帰分析の偏回帰係数を因果効果の推定値として解釈してよいのか問題
takehikoihayashi
2
1.1k
機械学習による確率推定とカリブレーション/probabilistic-calibration-on-classification-model
ktgrstsh
2
330
最適化超入門
tkm2261
14
3.4k
白金鉱業Meetup Vol.16_数理最適化案件のはじめかた・すすめかた
brainpadpr
3
1.2k
Snowflakeによる統合バイオインフォマティクス
ktatsuya
PRO
0
560
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1366
200k
Building Better People: How to give real-time feedback that sticks.
wjessup
366
19k
It's Worth the Effort
3n
183
28k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
GitHub's CSS Performance
jonrohan
1030
460k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
39
1.9k
Site-Speed That Sticks
csswizardry
3
270
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
YesSQL, Process and Tooling at Scale
rocio
170
14k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
570
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
28
2.2k
Transcript
第5回眼科AI学会総会 眼科AIコンテスト解析内容
解析環境 【解析環境】 Google Colaboratory (使用GPU:A100) 【使用したプログラミング言語】 Python 【主に使用したライブラリ】 Pytorch Lightning,
timm, AutoGluon クラウド上の環境構築済みの解析環境を使用した
解法の全体像 前処理 モデル構築 アンサンブル 引用: http://www.joir.jp/data/
前処理:Ben‘s Preprocessing ・2015年にKaggleで開催された糖尿病網膜症の重症度を予測する 「Diabetic Retinopathy Detection」で有効と報告された。 ・ 画像の各ピクセルについて、その周囲の一定範囲内のピクセルの平均 的な色(局所平均)を計算し、その値を各ピクセルから引く。 ・局所平均色を「50%グレー」、RGB値が約
(128, 128, 128) の中間的な明 るさになるように補正する。 Graham B. Kaggle diabetic retinopathy detection competition report. University of Warwick; 2015.
モデル構築時に工夫したこと ①画像分類モデルと特徴量抽出モデル、表データモデルを使用し、 異なるアプローチで汎化性能の向上を目的とした。 ②特徴量抽出モデルでは、多くの眼底写真を学習済みである公開モデル を使用することで、汎化性能の向上に取り組んだ。 ③より正確な性能評価を実施するため全モデルで5-Fold Cross Validationを 用いて、性能評価および予測を実施した。 ④画像分類モデルでは、データ拡張を訓練時のみではなく、予測時にも
回転等のデータ拡張を実施するTest Time Augmentation (TTA)を採用した。
①画像分類モデル 学習用データ 予測結果 訓練 1 2 (例)眼底写真 引用: http://www.joir.jp/data/ 分類
メタボリックシンドローム あり: 0.80 なし: 0.20 尤度 画像からMETSを予測するモデル
使用した事前学習済モデル一覧 1.efficientvit_b2.r288_in1k 2.tiny_vit_21m_384.dist_in22k_ft_in1k 3.xcit_small_12_p16_224.fb_dist_in1k 4.coatnet_2_rw_224.sw_in12k_ft_in1k 5.tf_efficientnet_b3.ns_jft_in1k 6.inception_next_tiny.sail_in1k 7.efficientnetv2_rw_m.agc_in1k 8.convformer_m36.sail_in22k_ft_in1k 9.wide_resnet50_2.racm_in1k
10.mobilenetv3_large_100.ra_in1k 11.efficientnet_b0.ra_in1k 様々な構造を持つモデルを構築した
②特徴量抽出モデル【RETFound, RET-CLIP】 学習用データ 特徴量 公開モデル 1 2 (例)眼底写真 引用: http://www.joir.jp/data/
特徴量 画像から特徴量(表データ)を抽出 Feature1 Featuer2 File1 1.3438 -3.5634 File2 -2.5326 3.6456
基盤モデル:RETFound ・2023年Nature誌に掲載、160万枚の眼底写真を学習した基盤モデル ・糖尿病性網膜症や緑内障などの眼疾患以外にも、パーキンソン病、脳 卒中、心不全などの全身疾患の発症を予測するといった様々なタスクに 応用が可能 https://github.com/rmaphoh/RETFound_MAE
基盤モデル:RET-CLIP ・2024年arXivに掲載、約39万枚の眼底写真を学習した基盤モデル ・画像と診療情報に関するテキストデータの両方の特徴を学習しており、 様々な眼疾患の診断タスクにおいてより高精度な病期を含めた診断が可 能となる。 https://github.com/sStonemason/RET-CLIP
③年齢推定モデル【JOIR年齢推定モデル】 学習用データ 年齢 公開モデル 1 2 (例)眼底写真 引用: http://www.joir.jp/data/ 回帰
JOIR公開モデルを用いて年齢を予測した Age File1 49 File2 28
年齢評価モデル<JOIR> ・Japan Ocular Imaging Registryで収集されたデータを用いて、 眼底写真から年齢を推定する公開モデル ・健康診断施設(単施設)より収集した眼底異常所見がなく、身体状況 が健康であった12,734人12,734枚のデータを使用 ・実年齢とAIモデルが予測した 年齢との平均的な絶対値の誤差が2.39歳
という性能で予測可能なモデル http://www.joir.jp/data/
④抽出した特徴量による表形式モデル 学習用データ 学習 (精度で評価) 1 (例)表データ 表データから予測するAutoMLに基づくモデルを構築 Feature1 Featuer2 Age
File1 1.3438 -3.5634 49 File2 -2.5326 3.6456 28 予測結果 2 分類 メタボリックシンドローム あり: 0.80 なし: 0.20 予測確率 1. RETFound特徴量 + 予測年齢 2. RET-CLIP特徴量 + 予測年齢
AutoGluon 数行のコードで性能の高いモデルが構築可能なAutoML ・表データに対する機械学習モデルを自動で構築。 ・データの前処理、モデルの選択、チューニングまでを自動化する。 (参考)
⑤アンサンブルモデル 画像分類モデル 1.efficientvit_b2.r288_in1k 2.tiny_vit_21m_384.dist_in22k_ft_in1k 3.xcit_small_12_p16_224.fb_dist_in1k 4.coatnet_2_rw_224.sw_in12k_ft_in1k 5.tf_efficientnet_b3.ns_jft_in1k 6.inception_next_tiny.sail_in1k 7.efficientnetv2_rw_m.agc_in1k 8.convformer_m36.sail_in22k_ft_in1k
9.wide_resnet50_2.racm_in1k 10.mobilenetv3_large_100.ra_in1k 11.efficientnet_b0.ra_in1k 加重平均 アンサンブル モデル① 表データモデル 1. RETFound特徴量 + 予測年齢 2. RET-CLIP特徴量 + 予測年齢 平均精度: 0.6666 平均精度: 0.6372 平均精度: 0.6428 加重平均 アンサンブル モデル② 平均精度: 0.6676 異なる複数のモデルを検討し、汎化性能の向上を目指した
最後に ・このような画像における実践的なディープラーニングの学習機会を設 けていただきました日本眼科AI学会及び関係者の皆様に感謝申し上げま す。 ・画像解析の経験がない状態でしたが、画像解析自体はハードルが高く ないものであることを実感できたとともに、画像による分類というタス ク1つに対して無数のアプローチが存在することに感銘を受けました。 ・今後も機械学習の勉強、今回習得した技術を医療に貢献できるように チャレンジしていきたいと思います。