Upgrade to Pro — share decks privately, control downloads, hide ads and more …

【論文紹介】医用画像への転移学習の有効性について Transfusion: Understan...

uchi_k
September 13, 2019

【論文紹介】医用画像への転移学習の有効性について Transfusion: Understanding Transfer Learning for Medical Imaging

特に医用画像を対象としたタスクにおいて、ImageNetなどの自然画像から学習したモデルを用いた転移学習がよく行われていますがそれは本当に有効なの?という疑問を検証した論文を紹介します。
結果として、転移学習はパフォーマンスにほとんど影響がなく、収束速度が早くなるという限定的な恩恵であることが明らかになり、さらにこの速度向上は、事前学習されたモデルの重みを使うのではなくその統計量から平均と分散を一致させることによっても十分得られることが新たにわかりました。
他にもいろいろ面白い実験があり、転移学習の実態をよく知ることができる論文です。

uchi_k

September 13, 2019
Tweet

More Decks by uchi_k

Other Decks in Research

Transcript

  1. Uchihashi Kenshi uchi_k @wednesdaymuse About me •yuni, inc CEO •Freelance

    Machine Learning Engineer / Researcher •xpaper.challenge ӡӦ •former ະ౿, ژେ৘ใӃ ੴҪݚڀࣨ), FreakOut Machine Learning Engineer
  2. #Abstract #ImageNet #datasize #global / local tecsture ࣗવը૾ͱҩ༻ը૾ʹ͸ଟ͘ͷҧ͍͕͋Δ *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT

    $IF9QFSU ௨ৗɺҩྍը૾ॲཧλεΫ͸ɺؔ৺ͷ͋Δ਎ମྖҬͷେ͖ͳը૾͔Β ࢝·ΓɺපมΛࣝผ͢ΔͨΊʹϩʔΧϧςΫενϟͷόϦΤʔγϣϯ Λ࢖༻͍͕ͯ͘͠ɺ͜Ε͸શମతͳओ୊Λಛఆ͍ͨ͠*NBHF/FUͷ λεΫͱ͸ର৅త ໢ບͷ؟ఈը૾Ͱ͸ɺখ͞ͳԫ৭ͷʮ఺ʯ͕ඍখಈ຺ᚅͱ౶೘පੑ໢ ບ঱ͷஹީͰ͋Γʢ""0ɺʣɺڳ෦9ઢͰ͸ɺہॴతͳന͍ෆ ಁ໌ͳൗ఺͕ѹີͱഏԌͷ௃ީ *NBHF/FU͸໿ສຕͷը૾͕͋Δͷʹରͯ͠ɺҩ༻ը૾͸਺ઍʙ ਺ेສͷΦʔμʔɻ͔ͭɺʢϩʔΧϧςΫενϟΛ࢖༻͢ΔͨΊʹʣ αΠζͷେ͖͍ը૾ͩͬͨΓ͢Δ
  3. #Abstract #class number #transfer learning ࣗવը૾Ͱֶशͨ͠ϞσϧΛҩ༻ը૾ʹసҠֶश͢Δͷ͸ຊ౰ʹ༗ޮʁ *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU *NBHF/FU͸Ϋϥε෼ྨ͕ͩɺ౶೘පੑ໢ບ঱਍அ͸Ϋϥε

    Ͱɺ9ઢʹΑΔڳ෦පม਍அ͸ʙΫϥε ͦͷΫϥε਺ͷଟ͔͞Βɺඪ४ͷ*NBHF/FUͰ͸ޙஈͷϨΠϠʔʹύ ϥϝʔλ͕ूத͓ͯ͠Γɺҩ༻ը૾΁ͷస༻ʹ࠷దͰ͸ͳ͍Մೳੑ͕ ͋Δ ࣗવը૾ͰҰൠతͳ*NBHF/FU͔Βɺҩ༻ը૾ͰҰൠతͳͭͷσʔ λʹసҠֶशΛߦ͍ɺਫ਼౓΍ϑΟϧλʔɺֶश଎౓ͳͲͷ؍఺͔Βղ ੳͨ͠
  4. #Dataset #AUC-ROC ࣗવը૾ͱͯ͠*NBHF/FUΛɺҩ༻ը૾ͱͯ͠໢ບը૾ͱڳ෦9ઢը૾ΛऔΓ্͛Δ ໢ບը૾ͷσʔληοτͰɺ؟ఈ͔ΒࡱӨͨ͠ºͷը૾ɻ౶ ೘පੑ໢ບ঱ʢ%3ʣͳͲͷ؟࣬ױͷ਍அʹར༻͞ΕΔɻάϨʔυ   ͷॱʹॏ঱౓͕ߴ·Γɺ"6$30$Λ༻͍ͯධՁ͞ΕΔ *NBHF/FU SFUJOBMGVOEVTQIPUPHSBQIT

    $IF9QFSU SFUJOBMGVOEVTQIPUPHSBQIT $IF9QFSU ڳ෦9ઢը૾ͷσʔληοτͰɺºͷը૾ɻͭͷҟͳΔڳ෦ පมʢແؾഏɺ৺ංେɺѹີɺුजɺڳਫʣͷ਍அʹར༻͞ΕΔɻ"6$ Λ༻͍ͯධՁɻ ͖͍͠஋Λ͍Ζ͍Ζม͑ͨͱ͖ͷਅཅੑ ͱِཅੑͷׂ߹มԽΛϓϩοτͨ͠΋ͷ
  5. #Model #ResNet50 #Inception-v3 #CNN 3FT/FU *ODFQUJPOW ελϯμʔυͳ$//Λύλʔϯ࢖༻ ҩྍܥసҠֶशͰ࿦จ࣮੷͕͋Δ3FT/FU *ODFQUJPOWΛ࠾༻ EDPOWPMVUJPO

    CBUDIOPSNBMJ[BUJPO 3F-6ΛੵΈॏͶΔجຊత ͳߏ੒ͷ΋ͷΛ$#3ͱͯ͠ఆٛ͠ɺ*NBHF/FUͷඪ४αΠζͱൺ΂ ͯ -BSHF ΍ 5JOZ ͷϞσϧΛ࡞ͬͨ
  6. #Figure #weight scaling #Xavier algorithm సҠֶशʹ͸ɺֶश͞Εͨಛ௃ͱؔ܎ͳ͘ ॏΈͷεέʔϦϯά͕վળ͢Δͱ͍͏ϝϦοτ͕͋Δ ॏΈͷεέʔϦϯάʹ͸ɺ9BWJFSΞϧΰϦζϜ͕Α͘༻͍ΒΕΔ USVODBUFE Ψ΢ε෼෍Λ༻͍ͯॳظԽɻO͸ͦΕͧΕ઀ଓ਺ɻ

    ͜Εʹର͠ɺࣄલֶश͞ΕͨॏΈͷฏۉͱ෼ࢄͷΈΛ࢖ͬͯʢpMUFS͸ શࣺͯͯͯʣˣਖ਼ن෼෍͔ΒJJEʹऔΓग़ͨ͠ॏΈͰॳظԽ͢Δͱɺ ࣄલֶश͞ΕͨεέʔϦϯά৘ใͷΈΛอ͍࣋ͯ͠Δ͜ͱͱ౳ՁͰ͋ Δɻ సҠֶशͷॏΈεέʔϦϯάվળͷ෦෼ͷΈΛऔΓग़ͯ͠ɺऩଋ଎౓΁ ͷد༩Λௐ΂͍ͨ