[論文解説] Domain Aligned CLIP for Few-shot Classification

大規模事前学習モデルの CLIP を少数の学習画像から成る下流の分類タスクへ適応させる手法である Domain Aligned CLIP の解説資料です。本手法では画像特徴のモーダル内アラインメントおよび 画像/テキスト特徴のモーダル間アランメントを取るよう少量のパラメータを学習することで、既存手法を上回る認識性能を達成しています。

Transcript

1. %PNBJO
   "MJHOFE
   $-*1
   GPS
   'FXTIPU
   $MBTTJGJDBUJPO .VIBNNBE
   8BMFFE
   (POEBM
   +PDIFO
   (BTU
   *OJHP
   "MPOTP
   3VJ[
   3JDIBSE
   %SPTUF
   5PNNBTP
   .BDSJ
   4VSFO
   ,VNBS
   -VJUQPME 4UBVEJHM "NB[PO 8"$7
    IUUQTBSYJWPSHBCT ൃදɿ/BPLJ
   ,BUP
2. ֓ཁɾબఆཧ༝ • ֓ཁ • $-*1
   Λগ਺ͷֶशը૾͔Β੒ΔԼྲྀͷ෼ྨλεΫ΁దԠͤ͞Δख๏Ͱ͋Δ %PNBJO
   "MJHOFE
   $-*1
   %"$
   ΛఏҊ͠
   طଘख๏Λ্ճΔੑೳΛୡ੒ • ը૾ಛ௃ͷϞʔμϧ಺ΞϥΠϯϝϯτ͓Αͼ ը૾ςΩετಛ௃ͷϞʔμϧؒΞϥϯϝϯτʹΑΓԼྲྀλεΫ΁దԠ • બఆཧ༝ • ཁૉٕज़ͷਅ৽͠͞͸ͳ͍͕
   Ξϓϩʔνͷબ୒͕ཧʹ͔ͳ͓ͬͯΓࢀߟʹͳͬͨͨΊ 
3. $-*1 <3BEGPSE
   *$.-`> • େྔͷը૾ςΩετϖΞΛ༻͍ͯը૾ςΩετΤϯίʔμΛରরදݱֶश • ೚ҙͷςΩετϓϩϯϓτΛ༻͍ͨ [FSPTIPU
   ਪ࿦͕Մೳ 
4. ;FSPTIPU
   ਪ࿦ͷݶք $-*1
   ͷ൚Խੑೳ͸ࣄલֶशσʔλͷ෼෍ʹґଘ͢Δ ˠ
   ԼྲྀλεΫͷυϝΠϯʹΑͬͯ͸ [FSPTIPU
   ੑೳ͕͋·Γग़ͳ͍  ඈߦػը૾ೝࣝ ंؒڑ཭ೝࣝ ஍ཧతҐஔೝࣝ ෺ମͷΧ΢ϯτ
5. ԼྲྀλεΫͷσʔλΛ׆༻ͯ͠ೝࣝੑೳΛվળ͍ͨ͠ $-*1
   ΛԼྲྀλεΫ΁ద߹ͤ͞ΔΞϓϩʔν  'VMM
   GJOFUVOJOH • େن໛ͳܭࢉϦιʔε͕ඞཁ • աֶश͠΍͍͢  'FXTIPU
   BEBQUBUJPO • ʢख๏ʹΑΔ͕ʣϦιʔεޮ཰΍αϯϓϧޮ཰ʹ༏ΕΔ • σʔλऔಘ͕ࠔ೉ͳλεΫ΁΋ద༻Մೳ ԼྲྀλεΫ΁ͷద߹ 
6. 'FXTIPU
   "EBQUBUJPO
   ख๏ɿ5JQ"EBQUFS <;IBOH
   &$$7`> ,FZWBMVF
   ΩϟογϡϞσϧʹΑΓֶशͳ͠ͰԼྲྀλεΫ΁దԠ • গ਺ֶशσʔλͷը૾ಛ௃ͱϥϕϧʹج͖ͮΞμϓλʔʢ૚ͷ .-1ʣΛߏங • ֶशը૾ͷಛ௃ྔͱͷྨࣅ౓ʹج͖ͮͦΕΒͷϥϕϧΛॏΈ࿨͢Δ͜ͱͰ༧ଌ஋Λࢉग़  $-*1
   ͷ༧ଌ݁Ռͱ Ξϯαϯϒϧ ΤϯίʔμΛϑϦʔζͯ͠ GJOFUVOJOH
   ͢Δ͜ͱͰ ߋʹੑೳվળͰ͖Δ
7. 'FXTIPU
   "EBQUBUJPO
   ख๏ɿ5JQ"EBQUFS
   ͷ՝୊఺ ,FZWBMVF
   ΩϟογϡϞσϧʹΑΓֶशͳ͠ͰԼྲྀλεΫ΁దԠ • গ਺ֶशσʔλͷը૾ಛ௃ͱϥϕϧʹج͖ͮΞμϓλʔʢ૚ͷ .-1ʣΛߏங • ֶशը૾ͷಛ௃ྔͱͷྨࣅ౓ʹج͖ͮͦΕΒͷϥϕϧΛॏΈ࿨͢Δ͜ͱͰ༧ଌ஋Λࢉग़  ը૾ಛ௃͕Ϋϥεຖʹ ෼཭͞Ε͍ͯΔͱ͸ݶΒͳ͍ ΞμϓλʔΛ GJOFUVOJOH
   ͢Δͱ୯ҰϞʔμϧͰͷ ೝࣝੑೳ͸େ͖͘ѱԽ ঺հ࿦จ͸͜ͷ໰୊΁ରॲ͠ ୯ҰϞʔμϧͰͷೝࣝੑೳΛվળ • $-*1
   ͸ ը૾ςΩετಛ௃ͷ ΞϥΠϯϝϯτΛऔΔΑ͏ֶश͞ΕΔ • ԼྲྀλεΫͷυϝΠϯΪϟοϓ
8. 'FXTIPU
   "EBQUBUJPO
   ख๏ɿ$P0Q <;IPV
   *+$7`> ςΩετϓϩϯϓτͷ DPOUFYUT
   XPSET
   Λֶशʢ$POUFYU
   0QUJNJ[BUJPOʣ • $-*1
   ʹ͓͍ͯखಈઃܭʢϓϩϯϓτΤϯδχΞϦϯάʣ͞Ε͍ͯΔ෦෼  ͜ͷ෦෼
9. 'FXTIPU
   "EBQUBUJPO
   ख๏ɿ$P0Q
   ͷ՝୊఺ ςΩετϓϩϯϓτͷ DPOUFYUT
   XPSET
   Λֶशʢ$POUFYU
   0QUJNJ[BUJPOʣ • $-*1
   ʹ͓͍ͯखಈઃܭʢϓϩϯϓτΤϯδχΞϦϯάʣ͞Ε͍ͯΔ෦෼  ৽ͨͳΫϥε΁ͷରॲʹ͸ͳΒͳ͍ ʢ$-*1
   ͷޠኮʹ͸ݶք͕͋Δ ʣ σʔληοτʹΑΓΫϥε໊ͱࢹ֮ίϯηϓτͷ ରԠؔ܎ʹ͸όΠΞε͕͋Δ BDPVTUJD@HVJUBS QSPKFDUJMF ˠ ը૾ಛ௃ͱΞϥΠϯϝϯτͷऔΕͨςΩετಛ௃ΛಘΔ͜ͱ͕Ͱ͖ͳ͍
   4
   3FO
   FU
   BM
   %FMWJOH
   JOUP
   UIF
   PQFOOFTT
   PG
   $-*1
   "$-
   
10. %PNBJO
    "MJHOFE
    $-*1
    %"$ ఏҊख๏ %"$7
    
    %"$75
    ͱ $-*1
    
    5JQ"EBQUFS
    ͷύΠϓϥΠϯ • %"$7ɿ$-*1
    ͷը૾ಛ௃ΛԼྲྀλεΫ΁దԠͤ͞Δ • %"$75ɿ%"$7
    ʹՃ͑
    ςΩετಛ௃ΛԼྲྀλεΫ΁దԠͤ͞Δ  Ͳͷख๏΋ॏΈΛݻఆ ஈ֊ͷֶश͔Β੒Δ࿮૊Έ
11. %"$7  ը૾Τϯίʔμͷ্ʹ૚ͷઢܗ૚ʢΞμϓλʔʣ𝐻! Λ෇Ճ  ΞμϓλʔΛগ਺σʔλΛ༻͍ͯ TVQFSWJTFE
    DPOUSBTUJWF
    PCKFDUJWFʢԼࣜʣͰֶश ˠ ը૾ಛ௃Λ໨తσʔλͷΫϥεຖʹ෼཭ͤ͞Δ  దԠޙͷը૾ಛ௃Λ༻͍ͨ LFZWBMVF
    ΩϟογϡϞσϧʹΑΓਪ࿦  𝑔
12. %"$7 ରরֶशʹΑΓը૾ಛ௃͕Ϋϥεຖʹ෼཭͞ΕΔ 
13. %"$75 %"$7
    ͱͷΞϯαϯϒϧԼͰ $-*1
    ͷςΩετಛ௃Λ௚઀ GJOFUVOJOH
    ͢Δ • %"$7
    ͷύϥϝʔλ͸ݻఆ • ը૾ಛ௃ͱΞϥΠϯϝϯτͷऔΕͨςΩετಛ௃ΛಘΔ  ͜ͷߦྻΛ GJOFUVOJOH
14. طଘख๏ͱͷੑೳൺֱ طଘͷ GFXTIPU
    BEBQUBUJPO
    ख๏ͱͷੑೳൺֱ݁Ռ  *NBHF/FU
    Ͱͷൺֱ݁Ռɿ όοΫϘʔϯʹؔΘΒͣطଘख๏Λ্ճΔੑೳ σʔληοτͷฏۉਫ਼౓ʢ3FT/FUʣ
15. ෼෍֎σʔλ΁ͷؤ݈ੑ *NBHF/FU
    ֶशϞσϧͷ DSPTTEBUBTFU
    FWBMVBUJPO
    ݁Ռ • %"$7
    ͕࠷΋ߴ͍ੑೳΛࣔͨ͠ʢରরֶशͷޮՌ͔ʣ • 'JOFUVOJOH
    ͸ؤ݈ੑʹѱӨڹΛ༩͑Δʁʢ5JQ"EBQUFS
    ΋ಉ༷ͷ݁Ռʣ 
16. "CMBUJPO
    4UVEZ  7JTVBM
    "EBQUBUJPO 5FYUVBM
    BEBQUBUJPO ΞϯαϯϒϧͷॏΈ ରরֶश࣌ʹಉҰը૾ ͷෳ਺ͷϏϡʔΛ࡞੒͢Δ͔ %"$7 %"$75
17. ·ͱΊɾॴײ • ·ͱΊ • $-*1
    Λগ਺ͷֶशը૾͔Β੒ΔԼྲྀͷ෼ྨλεΫ΁దԠͤ͞Δख๏Ͱ͋Δ %PNBJO
    "MJHOFE
    $-*1
    %"$
    ΛఏҊ͠
    طଘख๏Λ্ճΔੑೳΛୡ੒ • ॴײ • ج൫Ϟσϧ͕ୡ੒Ͱ͖͍ͯͳ͍͜ͱ΋ଟ͍ͷͰ
    ద੾ͳ׆༻͕ඞཁͦ͏ • $-*1
    ͷςΩετಛ௃ͷ൚༻ੑ͸ҙ֎ͱͦ͜·Ͱͳ͍༷ࢠ • ରরֶशͳͲͷڑ཭ֶशख๏ͷϙςϯγϟϧͷߴ͞Λ࠶ೝࣝͨ͠ • ࣄલֶशͰ΋ڭࢣ͋ΓֶशΑΓ༏Εͨ݁Ռ͕ग़͍ͯͨΓ͢Δ • ڭࢣ͋ΓઃఆͰ΋͜ͷลΓͷٕज़͕σϑΝΫτʹͳ͍͔ͬͯ͘΋ʁ