[論文解説] Domain Aligned CLIP for Few-shot Classification

%PNBJO"MJHOFE$-*1GPS 'FXTIPU$MBTTJGJDBUJPO .VIBNNBE8BMFFE(POEBM +PDIFO(BTU *OJHP"MPOTP3VJ[ 3JDIBSE%SPTUF 5PNNBTP.BDSJ 4VSFO,VNBS -VJUQPME
4UBVEJHM "NB[PO 8"$7 IUUQTBSYJWPSHBCT ൃදɿ/BPLJ,BUP

֓ཁɾબఆཧ༝ • ֓ཁ • $-*1Λগ਺ͷֶशը૾͔Β੒ΔԼྲྀͷ෼ྨλεΫ΁దԠͤ͞Δख๏Ͱ͋Δ %PNBJO"MJHOFE$-*1 %"$ ΛఏҊ͠ طଘख๏Λ্ճΔੑೳΛୡ੒ •
ը૾ಛ௃ͷϞʔμϧ಺ΞϥΠϯϝϯτ͓Αͼ ը૾ςΩετಛ௃ͷϞʔμϧؒΞϥϯϝϯτʹΑΓԼྲྀλεΫ΁దԠ • બఆཧ༝ • ཁૉٕज़ͷਅ৽͠͞͸ͳ͍͕ Ξϓϩʔνͷબ୒͕ཧʹ͔ͳ͓ͬͯΓࢀߟʹͳͬͨͨΊ

$-*1 <3BEGPSE *$.-`> • େྔͷը૾ςΩετϖΞΛ༻͍ͯը૾ςΩετΤϯίʔμΛରরදݱֶश • ೚ҙͷςΩετϓϩϯϓτΛ༻͍ͨ [FSPTIPUਪ࿦͕Մೳ

;FSPTIPUਪ࿦ͷݶք $-*1ͷ൚Խੑೳ͸ࣄલֶशσʔλͷ෼෍ʹґଘ͢Δ ˠԼྲྀλεΫͷυϝΠϯʹΑͬͯ͸ [FSPTIPUੑೳ͕͋·Γग़ͳ͍ ඈߦػը૾ೝࣝ ंؒڑ཭ೝࣝ ஍ཧతҐஔೝࣝ ෺ମͷΧ΢ϯτ

ԼྲྀλεΫͷσʔλΛ׆༻ͯ͠ೝࣝੑೳΛվળ͍ͨ͠ $-*1ΛԼྲྀλεΫ΁ద߹ͤ͞ΔΞϓϩʔν 'VMMGJOFUVOJOH • େن໛ͳܭࢉϦιʔε͕ඞཁ • աֶश͠΍͍͢ 'FXTIPUBEBQUBUJPO
• ʢख๏ʹΑΔ͕ʣϦιʔεޮ཰΍αϯϓϧޮ཰ʹ༏ΕΔ • σʔλऔಘ͕ࠔ೉ͳλεΫ΁΋ద༻Մೳ ԼྲྀλεΫ΁ͷద߹

'FXTIPU"EBQUBUJPOख๏ɿ5JQ"EBQUFS <;IBOH &$$7`> ,FZWBMVFΩϟογϡϞσϧʹΑΓֶशͳ͠ͰԼྲྀλεΫ΁దԠ • গ਺ֶशσʔλͷը૾ಛ௃ͱϥϕϧʹج͖ͮΞμϓλʔʢ૚ͷ .-1ʣΛߏங • ֶशը૾ͷಛ௃ྔͱͷྨࣅ౓ʹج͖ͮͦΕΒͷϥϕϧΛॏΈ࿨͢Δ͜ͱͰ༧ଌ஋Λࢉग़
$-*1ͷ༧ଌ݁Ռͱ Ξϯαϯϒϧ ΤϯίʔμΛϑϦʔζͯ͠ GJOFUVOJOH͢Δ͜ͱͰ ߋʹੑೳվળͰ͖Δ

'FXTIPU"EBQUBUJPOख๏ɿ5JQ"EBQUFSͷ՝୊఺ ,FZWBMVFΩϟογϡϞσϧʹΑΓֶशͳ͠ͰԼྲྀλεΫ΁దԠ • গ਺ֶशσʔλͷը૾ಛ௃ͱϥϕϧʹج͖ͮΞμϓλʔʢ૚ͷ .-1ʣΛߏங • ֶशը૾ͷಛ௃ྔͱͷྨࣅ౓ʹج͖ͮͦΕΒͷϥϕϧΛॏΈ࿨͢Δ͜ͱͰ༧ଌ஋Λࢉग़ ը૾ಛ௃͕Ϋϥεຖʹ ෼཭͞Ε͍ͯΔͱ͸ݶΒͳ͍
ΞμϓλʔΛ GJOFUVOJOH ͢Δͱ୯ҰϞʔμϧͰͷ ೝࣝੑೳ͸େ͖͘ѱԽ ঺հ࿦จ͸͜ͷ໰୊΁ରॲ͠ ୯ҰϞʔμϧͰͷೝࣝੑೳΛվળ • $-*1͸ ը૾ςΩετಛ௃ͷ ΞϥΠϯϝϯτΛऔΔΑ͏ֶश͞ΕΔ • ԼྲྀλεΫͷυϝΠϯΪϟοϓ

'FXTIPU"EBQUBUJPOख๏ɿ$P0Q <;IPV *+$7`> ςΩετϓϩϯϓτͷ DPOUFYUTXPSETΛֶशʢ$POUFYU0QUJNJ[BUJPOʣ • $-*1ʹ͓͍ͯखಈઃܭʢϓϩϯϓτΤϯδχΞϦϯάʣ͞Ε͍ͯΔ෦෼ ͜ͷ෦෼

'FXTIPU"EBQUBUJPOख๏ɿ$P0Qͷ՝୊఺ ςΩετϓϩϯϓτͷ DPOUFYUTXPSETΛֶशʢ$POUFYU0QUJNJ[BUJPOʣ • $-*1ʹ͓͍ͯखಈઃܭʢϓϩϯϓτΤϯδχΞϦϯάʣ͞Ε͍ͯΔ෦෼ ৽ͨͳΫϥε΁ͷରॲʹ͸ͳΒͳ͍ ʢ$-*1ͷޠኮʹ͸ݶք͕͋Δ ʣ σʔληοτʹΑΓΫϥε໊ͱࢹ֮ίϯηϓτͷ
ରԠؔ܎ʹ͸όΠΞε͕͋Δ BDPVTUJD@HVJUBS QSPKFDUJMF ˠ ը૾ಛ௃ͱΞϥΠϯϝϯτͷऔΕͨςΩετಛ௃ΛಘΔ͜ͱ͕Ͱ͖ͳ͍ 43FO FUBM %FMWJOHJOUPUIFPQFOOFTTPG$-*1 "$-

%PNBJO"MJHOFE$-*1 %"$ ఏҊख๏ %"$7%"$75 ͱ $-*15JQ"EBQUFSͷύΠϓϥΠϯ • %"$7ɿ$-*1ͷը૾ಛ௃ΛԼྲྀλεΫ΁దԠͤ͞Δ • %"$75ɿ%"$7ʹՃ͑
ςΩετಛ௃ΛԼྲྀλεΫ΁దԠͤ͞Δ Ͳͷख๏΋ॏΈΛݻఆ ஈ֊ͷֶश͔Β੒Δ࿮૊Έ

%"$7 ը૾Τϯίʔμͷ্ʹ૚ͷઢܗ૚ʢΞμϓλʔʣ𝐻! Λ෇Ճ ΞμϓλʔΛগ਺σʔλΛ༻͍ͯ TVQFSWJTFEDPOUSBTUJWFPCKFDUJWFʢԼࣜʣͰֶश ˠ ը૾ಛ௃Λ໨తσʔλͷΫϥεຖʹ෼཭ͤ͞Δ
దԠޙͷը૾ಛ௃Λ༻͍ͨ LFZWBMVFΩϟογϡϞσϧʹΑΓਪ࿦ 𝑔

%"$7 ରরֶशʹΑΓը૾ಛ௃͕Ϋϥεຖʹ෼཭͞ΕΔ

%"$75 %"$7ͱͷΞϯαϯϒϧԼͰ $-*1ͷςΩετಛ௃Λ௚઀ GJOFUVOJOH͢Δ • %"$7ͷύϥϝʔλ͸ݻఆ • ը૾ಛ௃ͱΞϥΠϯϝϯτͷऔΕͨςΩετಛ௃ΛಘΔ ͜ͷߦྻΛ
GJOFUVOJOH

طଘख๏ͱͷੑೳൺֱ طଘͷ GFXTIPUBEBQUBUJPOख๏ͱͷੑೳൺֱ݁Ռ *NBHF/FUͰͷൺֱ݁Ռɿ όοΫϘʔϯʹؔΘΒͣطଘख๏Λ্ճΔੑೳ σʔληοτͷฏۉਫ਼౓ʢ3FT/FUʣ

෼෍֎σʔλ΁ͷؤ݈ੑ *NBHF/FUֶशϞσϧͷ DSPTTEBUBTFUFWBMVBUJPO݁Ռ • %"$7͕࠷΋ߴ͍ੑೳΛࣔͨ͠ʢରরֶशͷޮՌ͔ʣ • 'JOFUVOJOH͸ؤ݈ੑʹѱӨڹΛ༩͑Δʁʢ5JQ"EBQUFS΋ಉ༷ͷ݁Ռʣ

"CMBUJPO4UVEZ 7JTVBM"EBQUBUJPO 5FYUVBMBEBQUBUJPO ΞϯαϯϒϧͷॏΈ ରরֶश࣌ʹಉҰը૾ ͷෳ਺ͷϏϡʔΛ࡞੒͢Δ͔ %"$7 %"$75

·ͱΊɾॴײ • ·ͱΊ • $-*1Λগ਺ͷֶशը૾͔Β੒ΔԼྲྀͷ෼ྨλεΫ΁దԠͤ͞Δख๏Ͱ͋Δ %PNBJO"MJHOFE$-*1 %"$ ΛఏҊ͠ طଘख๏Λ্ճΔੑೳΛୡ੒ •
ॴײ • ج൫Ϟσϧ͕ୡ੒Ͱ͖͍ͯͳ͍͜ͱ΋ଟ͍ͷͰ ద੾ͳ׆༻͕ඞཁͦ͏ • $-*1ͷςΩετಛ௃ͷ൚༻ੑ͸ҙ֎ͱͦ͜·Ͱͳ͍༷ࢠ • ରরֶशͳͲͷڑ཭ֶशख๏ͷϙςϯγϟϧͷߴ͞Λ࠶ೝࣝͨ͠ • ࣄલֶशͰ΋ڭࢣ͋ΓֶशΑΓ༏Εͨ݁Ռ͕ग़͍ͯͨΓ͢Δ • ڭࢣ͋ΓઃఆͰ΋͜ͷลΓͷٕज़͕σϑΝΫτʹͳ͍͔ͬͯ͘΋ʁ

[論文解説] Domain Aligned CLIP for Few-shot Classif...

[論文解説] Domain Aligned CLIP for Few-shot Classification

Naoki Kato

More Decks by Naoki Kato

Other Decks in Research

Featured

Transcript

%PNBJO"MJHOFE$-1GPS 'FXTIPU$MBTTJGJDBUJPO .VIBNNBE8BMFFE(POEBM +PDIFO(BTU OJHP"MPOTP3VJ[ 3JDIBSE%SPTUF 5PNNBTP.BDSJ 4VSFO,VNBS -VJUQPME

֓ཁɾબఆཧ༝ • ֓ཁ • $-1Λগ਺ͷֶशը૾͔Β੒ΔԼྲྀͷ෼ྨλεΫ΁దԠͤ͞Δख๏Ͱ͋Δ %PNBJO"MJHOFE$-1 %"$ ΛఏҊ͠ طଘख๏Λ্ճΔੑೳΛୡ੒ •

$-1 <3BEGPSE $.-`> • େྔͷը૾ςΩετϖΞΛ༻͍ͯը૾ςΩετΤϯίʔμΛରরදݱֶश • ೚ҙͷςΩετϓϩϯϓτΛ༻͍ͨ [FSPTIPUਪ࿦͕Մೳ

;FSPTIPUਪ࿦ͷݶք $-*1ͷ൚Խੑೳ͸ࣄલֶशσʔλͷ෼෍ʹґଘ͢Δ ˠԼྲྀλεΫͷυϝΠϯʹΑͬͯ͸ [FSPTIPUੑೳ͕͋·Γग़ͳ͍ ඈߦػը૾ೝࣝ ंؒڑ཭ೝࣝ ஍ཧతҐஔೝࣝ ෺ମͷΧ΢ϯτ

ԼྲྀλεΫͷσʔλΛ׆༻ͯ͠ೝࣝੑೳΛվળ͍ͨ͠ $-*1ΛԼྲྀλεΫ΁ద߹ͤ͞ΔΞϓϩʔν 'VMMGJOFUVOJOH • େن໛ͳܭࢉϦιʔε͕ඞཁ • աֶश͠΍͍͢ 'FXTIPUBEBQUBUJPO

'FXTIPU"EBQUBUJPOख๏ɿ5JQ"EBQUFS <;IBOH &$$7`> ,FZWBMVFΩϟογϡϞσϧʹΑΓֶशͳ͠ͰԼྲྀλεΫ΁దԠ • গ਺ֶशσʔλͷը૾ಛ௃ͱϥϕϧʹج͖ͮΞμϓλʔʢ૚ͷ .-1ʣΛߏங • ֶशը૾ͷಛ௃ྔͱͷྨࣅ౓ʹج͖ͮͦΕΒͷϥϕϧΛॏΈ࿨͢Δ͜ͱͰ༧ଌ஋Λࢉग़

'FXTIPU"EBQUBUJPOख๏ɿ$P0Q <;IPV +$7`> ςΩετϓϩϯϓτͷ DPOUFYUTXPSETΛֶशʢ$POUFYU0QUJNJ[BUJPOʣ • $-1ʹ͓͍ͯखಈઃܭʢϓϩϯϓτΤϯδχΞϦϯάʣ͞Ε͍ͯΔ෦෼ ͜ͷ෦෼

'FXTIPU"EBQUBUJPOख๏ɿ$P0Qͷ՝୊఺ ςΩετϓϩϯϓτͷ DPOUFYUTXPSETΛֶशʢ$POUFYU0QUJNJ[BUJPOʣ • $-1ʹ͓͍ͯखಈઃܭʢϓϩϯϓτΤϯδχΞϦϯάʣ͞Ε͍ͯΔ෦෼ ৽ͨͳΫϥε΁ͷରॲʹ͸ͳΒͳ͍ ʢ$-1ͷޠኮʹ͸ݶք͕͋Δ ʣ σʔληοτʹΑΓΫϥε໊ͱࢹ֮ίϯηϓτͷ

%PNBJO"MJHOFE$-1 %"$ ఏҊख๏ %"$7%"$75 ͱ $-15JQ"EBQUFSͷύΠϓϥΠϯ • %"$7ɿ$-*1ͷը૾ಛ௃ΛԼྲྀλεΫ΁దԠͤ͞Δ • %"$75ɿ%"$7ʹՃ͑

%"$7 ը૾Τϯίʔμͷ্ʹ૚ͷઢܗ૚ʢΞμϓλʔʣ𝐻! Λ෇Ճ ΞμϓλʔΛগ਺σʔλΛ༻͍ͯ TVQFSWJTFEDPOUSBTUJWFPCKFDUJWFʢԼࣜʣͰֶश ˠ ը૾ಛ௃Λ໨తσʔλͷΫϥεຖʹ෼཭ͤ͞Δ

%"$7 ରরֶशʹΑΓը૾ಛ௃͕Ϋϥεຖʹ෼཭͞ΕΔ

%"$75 %"$7ͱͷΞϯαϯϒϧԼͰ $-*1ͷςΩετಛ௃Λ௚઀ GJOFUVOJOH͢Δ • %"$7ͷύϥϝʔλ͸ݻఆ • ը૾ಛ௃ͱΞϥΠϯϝϯτͷऔΕͨςΩετಛ௃ΛಘΔ ͜ͷߦྻΛ

طଘख๏ͱͷੑೳൺֱ طଘͷ GFXTIPUBEBQUBUJPOख๏ͱͷੑೳൺֱ݁Ռ *NBHF/FUͰͷൺֱ݁Ռɿ όοΫϘʔϯʹؔΘΒͣطଘख๏Λ্ճΔੑೳ σʔληοτͷฏۉਫ਼౓ʢ3FT/FUʣ

෼෍֎σʔλ΁ͷؤ݈ੑ *NBHF/FUֶशϞσϧͷ DSPTTEBUBTFUFWBMVBUJPO݁Ռ • %"$7͕࠷΋ߴ͍ੑೳΛࣔͨ͠ʢରরֶशͷޮՌ͔ʣ • 'JOFUVOJOH͸ؤ݈ੑʹѱӨڹΛ༩͑Δʁʢ5JQ"EBQUFS΋ಉ༷ͷ݁Ռʣ

"CMBUJPO4UVEZ 7JTVBM"EBQUBUJPO 5FYUVBMBEBQUBUJPO ΞϯαϯϒϧͷॏΈ ରরֶश࣌ʹಉҰը૾ ͷෳ਺ͷϏϡʔΛ࡞੒͢Δ͔ %"$7 %"$75

·ͱΊɾॴײ • ·ͱΊ • $-1Λগ਺ͷֶशը૾͔Β੒ΔԼྲྀͷ෼ྨλεΫ΁దԠͤ͞Δख๏Ͱ͋Δ %PNBJO"MJHOFE$-1 %"$ ΛఏҊ͠ طଘख๏Λ্ճΔੑೳΛୡ੒ •