[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features

Google DeepMind が2025年2月に公開した SigLIP 2 についての輪講資料です。
多様な下流タスクの性能を改善するよう CLIP 型モデルを改良した手法であり実用性に優れるほか、多くの技術と関連があるため分野の俯瞰にも役立つ内容となっています。

Transcript

1. <ྠߨ>
   4JH-*1
   
   .VMUJMJOHVBM
   7JTJPO -BOHVBHF
   &ODPEFST
   XJUI
   *NQSPWFE
   4FNBOUJD
   6OEFSTUBOEJOH
   -PDBMJ[BUJPO
   BOE
   %FOTF
   'FBUVSFT (PPHMF
   %FFQ.JOE IUUQTBSYJWPSHBCT ൃදɿ/BPLJ
   ,BUP
2. ֓ཁ 4JH-*1
   
   4JHNPJE-PTT
   -BOHVBHF*NBHF
   1SFUSBJOJOH
   W • (PPHMF
   %FFQ.JOE
   ͕೥݄ʹެ։ͨ͠ Φʔϓϯ΢ΣΠτͷଟݴޠ ը૾ςΩετΤϯίʔμϑΝϛϦʔ • ॳ୅ 4JH-*1
   ͷγάϞΠυֶशΛϕʔεʹ ݸผͷݚڀͰఏҊ͞Ε͖ͯͨվྑΛ୯Ұͷ܇࿅Ϩγϐʹ౷߹ • θϩγϣοτ෼ྨ
   ը૾⁶ςΩετݕࡧʹՃ͑ ϩʔΧϦθγϣϯ 
   ີ༧ଌλεΫ΁ͷੑೳΛେ͖͘վળ • બఆཧ༝ɿ$-*1
   ܕϞσϧΛಥ͖٧ΊͨΑ͏ͳݚڀͰ͋Γ
   ࣮༻ੑ͓Αͼֶशڭࡐͱͯ͠΋༏Ε͍ͯΔΑ͏ʹײͨͨ͡Ί 
3. 4JH-*1
   
   ͷ࿮૊Έ ॳ୅ 4JH-*1 <;IBJ
   *$$7`>
   Λϕʔεʹෳ਺ͷվળΛద༻  
   σίʔμΛ༻͍ͨ Ωϟϓγϣϯ༧ଌɾ ࢀরදݱଛࣦ 
   ڭࢣϞσϧΛ༻͍ͨ ࣗݾৠཹɾϚεΫ༧ଌ 
   ΞΫςΟϒσʔλ ΩϡϨʔγϣϯ
4. Ϟσϧߏ଄ɾσʔληοτɾֶशઃఆ Ϟσϧߏ଄ • ը૾ςΩετΤϯίʔμɿ7J5
   PS
   4P7J5N <"MBCEVMNPTIJO
   /FVS*14`> • (FNNB
   ଟݴޠτʔΫφΠβ <(FNNB
   5FBN
   > σʔληοτɿ8FC-*
   σʔληοτ <$IFO
   *$-3`> 8FC
   ্ͷը૾ͱςΩετΛେن໛ʹूΊͨଟݴޠσʔληοτ ֶशઃఆ • "EBN8
   MS
   F
   XFJHIU
   EFDBZ
   F
   HSBEJFOU
   DMJQQJOH • όοναΠζL
   DPTJOF
   TDIFEVMF
   X
   XBSNVQ • ࠷େ୆ͷ 516WF Λ࢖༻ʢ͓ͦΒ͘ 7J5Hʣ  େن໛ͳϞσϧɾσʔλɾ ܭࢉࢿݯ͸લఏ ςΩετ௕ɿτʔΫϯݻఆ ॳ୅ 4JH-*1
   ͱಉ͡Τϯίʔμߏ੒
5. 4P7J5 <"MBCEVMNPTIJO
   /FVS*14`> ܭࢉࢿݯʹରͯ͠࠷దͳϞσϧܗঢ়ʢ෯
   ਂ͞
   .-1
   ࣍ݩ਺ʣΛ ཧ࿦తʹಋग़ͨ͠ 4IBQFPQUJNJ[FE
   7JTJPO
   5SBOTGPSNFS • ༩͑ΒΕͨܭࢉίετʢ('-01T
   º εςοϓ਺ʣʹ͓͍ͯԼྲྀλεΫޡ͕ࠩ ࠷খʹͳΔΑ͏ͳϞσϧܗঢ়Λ֦ுεέʔϦϯάଇʹج͖ͮղੳతʹಋग़ • 4P7J5N
   ͸ 7J5H
   ͱಉ౳ͷੑೳΛ൒෼ҎԼͷਪ࿦ίετͰୡ੒  4P7J5N
   WT
   7J5H
6. 8FC-*
   σʔληοτ <$IFO
   *$-3`> 8FC
   ͔Βऩू͞Εͨ#ը૾
   #ςΩετͷଟݴޠσʔληοτ  ݴޠ಺༁ʢBMUUFYUʣ ݴޠ಺༁ʢ0$3ʣ ը૾ςΩετϖΞ਺ छͷ7-λεΫͰ ॏෳআڈΛ࣮ࢪ ඇެ։ English French Thai Chinese Alt-text OCR "free stock photo of matrix and sidekick" "carte joyeux noël anges et étoiles" "ทานตะวันเปนดอกไมที่หัน หนาเขาหาดวงอาทิตย" "太行山 脉 长治 太行山 大 峡谷 林州 河北 平原 长城" "card", "telecom", "5624" "joyeux noël" n/a n/a ը૾આ໌จʢBMUUFYUʣ΍ 0$3
   ςΩετΛநग़
7. ϕʔεϥΠϯɿ4JH-*1
   <;IBJ
   *$$7`> $-*1
   ౳ͷࢹ֮ݴޠࣄલֶशʹ͓͚ΔରরֶशΛೋ஋෼ྨ໰୊΁ஔ͖׵͑ • ϛχόον಺ͷը૾ςΩετϖΞͷରԠඇରԠΛγάϞΠυଛࣦͰֶश • όον಺ͰͷιϑτϚοΫεਖ਼نԽ͕ෆཁͱͳΓܭࢉޮ཰΍ೝࣝੑೳʹ༏ΕΔ  γάϞΠυଛࣦͷٖࣅίʔυ ࣮ࡍ͸෼ࢄֶशΛޮ཰Խ ͢ΔͨΊ࣮૷Λ࠷దԽ ʢৄࡉׂѪʣ
8. ࢹ֮ࣄલֶशख๏ -PD$B <8BO
   /FVS*14`>
   Ͱ༻͍ΒΕ͍ͯΔͭͷλεΫΛ ิॿଛࣦͱͯ͠ར༻͢Δ͜ͱͰϩʔΧϦθʔγϣϯੑೳΛվળ Ωϟϓγϣϯ༧ଌɾࢀরදݱଛࣦ  
   ը૾શମͷ ΩϟϓγϣϯΛ༧ଌ 
   Ωϟϓγϣϯ͔Β ۣܗ࠲ඪΛ༧ଌ 
   ۣܗྖҬͷ ΩϟϓγϣϯΛ༧ଌ BMUUFYU
   ͷ OHSBN
   Λର৅ʹ ΦʔϓϯϘΩϟϒϥϦݕग़ثΛ͔͚ ྖҬΩϟϓγϣϯϖΞσʔλΛ࡞੒ DBVTBM
   BUUFOUJPO
   NBTL
   Λ༻͍ͯ ࣗݾճؼతʹΩϟϓγϣϯΛ σίʔυ͢Δ͜ͱͰจ຺Λߟྀ
9. ࣗݾৠཹ %*/0 <$BSPO
   *$$7`>
   ͰఏҊ͞Ε
   4*-$ </BFFN
   &$$7`>
   Ͱࢹ֮ݴޠࣄલֶशʹ ׆༻͞Ε͍ͯΔࣗݾৠཹΛิॿଛࣦͱͯ͠ར༻ • ہॴը૾ΛੜెϞσϧ΁ೖྗ͠
   ग़ྗಛ௃ΛڭࢣϞσϧʢੜెͷࢦ਺Ҡಈฏۉʣʹ͚ۙͮΔ • ಛ௃ྔͷہॴతηϚϯςΟΫεΛվળ  4*-$
   ͷ࿮૊Έ Image Encoder (Teacher) A cute cat EMA Image Encoder (Student) Text Encoder Projection Projection & Centering Stop gradient Global-view Local-view Text Local crop Global crop 4JH-*1
   
   Ͱ͸ͭͷ ੜెϞσϧΛ࢖༻ ͦͷଞͷࣗݾৠཹઃఆ͸ 4*-$
   Λ౿ऻ ަࠩΤϯτϩϐʔଛࣦ 4*-$
   ͸ରরଛࣦΛ࢖༻
10. ϚεΫ༧ଌ  5*14 <.BOJOJT
    *$-3`>
    ʹ฿͍
    ϚεΫ༧ଌΛࢹ֮ݴޠࣄલֶशʹಋೖ • ੜెϞσϧʹ͓͚Δը૾ύονͷΛϚεΫ͠ ͦͷ෦෼ͷಛ௃ྔΛڭࢣϞσϧʹ͚ۙͮΔ • ࣗݾৠཹͱಉҰͷڭࢣϞσϧΛ࢖༻͢ΔͨΊܭࢉίετ͕཈͑ΒΕΔ ద༻ظؒ ໨త γάϞΠυଛࣦ શظؒ ϕʔεͷଛࣦ Ωϟϓγϣϯ༧ଌ ɾࢀরදݱଛࣦ શظؒ ϩʔΧϦθʔγϣϯ ੑೳ޲্ ࣗݾৠཹɾϚεΫ༧ଌ ֶशऴ൫ͷΈ ີಛ௃औಘ 4JH-*1
    
    ͷଛࣦؔ਺Ұཡ
11. ෳ਺ղ૾౓΁ͷରԠ • ݻఆղ૾౓Ϟσϧ • ղ૾౓
    ύοναΠζϞσϧͷ࣌఺ͷνΣοΫϙΠϯτʹର͠
    ҐஔຒΊࠐΈΛϦαΠζͯ͠໨తղ૾౓Ͱ࢒ΓͷֶशΛ࣮ࢪ • ΞεϖΫτอ࣋ɾՄมղ૾౓Ϟσϧʢ/B'MFYʣ • ୯ҰϞσϧͰෳ਺ͷγʔέϯε௕Λαϙʔτ͢Δ 'MFYJ7J5 <#FZFS
    $713`>
    ͱ ը૾ΛຊདྷͷΞεϖΫτൺͰॲཧ͢Δ /B7J5 <%FIHIBOJ
    /FVS*14`>
    ͷٕज़Λ ૊Έ߹ΘͤͨόϦΞϯτ • ϥϯμϜαϯϓϦϯάͨ͠γʔέϯε௕ҎԼʹऩ·Γͭͭ ΞεϖΫτൺͷ࿪ΈΛͰ͖Δ͚ͩখ͘͞อͬͨલॲཧΛߦ͏͜ͱͰֶश • ݻఆղ૾౓Ϟσϧͷ࣌఺ͷνΣοΫϙΠϯτΛຊઃఆͰ࢒Γֶश • จॻը૾ͷॲཧ΍ 0$3
    ౳ͷλεΫͷੑೳʹ༏ΕΔ 
12. ΞΫςΟϒσʔλΩϡϨʔγϣϯ খن໛Ϟσϧ 7J5#
    ͷੑೳΛఈ্͛͢ΔͨΊ
    "$*% "DUJWF
    $VSBUJPO
    BT
    *NQMJDJU
    %JTUJMMBUJPO <6EBOEBSBP
    $713`>
    Λద༻ • ֶश཰ΛFʹԼ͛
    ॏΈݮਰΛऔΓআ͖
    γάϞΠυଛࣦͷΈͰ "$*%
    Λ༻͍ͯ #ࣄྫ෼ GJOFUVOJOH
    ͢Δ • 'JOFUVOJOH
    ͷ֤εςοϓͰ͸ڭࢣϞσϧͱֶशதϞσϧΛ༻͍ͯ ֶशαϯϓϧͷ lMFBSOBCJMJUZz
    είΞΛࢉग़͠
    ্ҐΛֶशʹ࢖༻ • ௿඼࣭σʔλΛআ֎ͨ͠ΩϡϨʔγϣϯσʔληοτ <&WBOT
    /FVS*14`>
    Ͱ 4PN Λ#ࣄྫ෼ GJOFUVOJOH
    ͨ͠΋ͷΛڭࢣϞσϧͱͯ͠ར༻  ൺֱ࣮ݧ͕ܝࡌ͞Ε͓ͯΒͣ༗ޮੑ͕ෆಁ໌ σʔλΛϑΟϧλ͢Δ ৠཹͳͷͰ l*NQMJDJUz
13. ධՁ݁Ռɿθϩγϣοτ෼ྨɾݕࡧ  ଟݴޠݕࡧ 9.
    ͷ ੑೳվળ෯͕ಛʹେ͖͍ ͍ͣΕͷϞσϧαΠζͰ΋ طଘͷΦʔϓϯϞσϧΛ ্ճΔੑೳΛୡ੒
14. ධՁ݁Ռɿ7-.
    ͷը૾Τϯίʔμͱͯ͠ͷར༻ 4JH-*1
    
    Λ 7-.
    ͷը૾Τϯίʔμͱͯ͠༻͍ͨͱ͖ͷੑೳΛධՁ • (FNNB
    
    #
    --. <(FNNB
    5FBN
    >
    ͱ૊Έ߹ΘͤΔ͜ͱͰ 7-.
    Λߏங • ֶशํ๏ɿෳ਺ͷ 7-
    λεΫͰ --.
    ͷΈΛֶशͨ͠ޙ
    
    ໨తλεΫͰ 7-.
    શମΛ GJOFUVOJOHʢ1BMJ(FNNB
     <4UFJOFS
    >
    Λ౿ऻʣ  छͷԼྲྀλεΫͰͷฏۉੑೳ ϞσϧαΠζͷ౳͍͠ ൺֱख๏ͷੑೳΛ྇կ
15. ධՁ݁Ռɿ֤छີ༧ଌλεΫ ౚ݁ͨ͠ 5SBOTGPSNFS
    ͷಛ௃දݱΛ༻͍ͯ ηάϝϯςʔγϣϯ
    ୯؟σϓεਪఆ
    ๏ઢਪఆͷੑೳΛධՁ • ਪఆํ๏ɿ/"7*
    ͷΈ %15
    σίʔμ <3BOGUM
    *$$7`>
    Λ࢖༻
    ଞ͸ઢܗࣝผ • 4JH-*1
    
    ͸ಛʹηάϝϯςʔγϣϯͱ୯؟σϓεਪఆͷੑೳͰ༏Ґ  ධՁ݁Ռ
16. ධՁ݁ՌɿΦʔϓϯϘΩϟϒϥϦηάϝϯςʔγϣϯ $BU4FH <$IP
    $713`>
    ͷϑϨʔϜϫʔΫͰը૾ςΩετΤϯίʔμΛධՁ  $0$04UVGGL
    Ϋϥε
    Ͱ $BU4FH
    Λֶश͠
    ޠኮͷҟͳΔσʔληοτͰධՁ N*P6 ը૾ςΩετຒΊࠐΈͷ ྨࣅ౓ߦྻΛࣗݾ஫ҙͰ ϦϑΝΠϯ͢Δख๏ 4JH-*1
    ΍େαΠζͷ 0QFO$-*1
    Λ ্ճΔੑೳΛୡ੒
17. ධՁ݁ՌɿΦʔϓϯϘΩϟϒϥϦݕग़ 08-7J5 <.JOEFSFS
    &$$7`>
    ʹը૾ςΩετΤϯίʔμΛ૊ΈࠐΈ ΦʔϓϯϘΩϟϒϥϦݕग़ͷੑೳΛධՁ  08-7J5
    ͷ࿮૊Έ ධՁ݁Ռ ը૾Τϯίʔμͷ্ʹ෼ྨϩʔΧϦθʔγϣϯϔουΛ ෇Ճͯ͠ݕग़σʔληοτͰϞσϧશମΛ GJOFUVOJOH ͍ͣΕͷσʔληοτͰ΋ 4JH-*1
    Λ্ճΔੑೳ ʢ$-*1
    Λ༻͍ͨΦϦδφϧ 08-7J5
    ͷੑೳʹ ΋উ͍ͬͯΔʣ
18. ެ։Ϟσϧ 5SBOTGPSNFST
    ͔Β֤छֶशࡁΈϞσϧΛར༻Մೳ  θϩγϣοτ෼ྨͷਪ࿦ίʔυྫ
19. θϩγϣοτ෼ྨͷਪ࿦݁Ռྫ  IUUQTIVHHJOHGBDFDPCMPHTJHMJQ
20. ೔ຊޠͰͷਪ࿦݁Ռྫ ೔ຊޠؒͰͷ༧ଌ஋ͷॱংؔ܎͸֓Ͷద੾͕ͩ ӳޠͱൺ΂ͯ஋͕খ͞Ίͳ༷ࢠ  ϥϕϧ 🐻 CFBS ۽͕ͪ͜ΒΛݟ͍ͯΔ ඖͷ۽ ۽ ΧϝϥΛݟ͍ͯͳ͍۽ ΫϚ ΧϝϥΛݟ͍ͯΔ۽ ඖͷ۽ ςσΟϕΞ ݘ ೣ ༧ଌ஋            
21. ·ͱΊɾॴײ ·ͱΊ • ଟݴޠ ը૾ςΩετΤϯίʔμ 4JH-*1
    
    ΛϦϦʔε • ॳ୅ 4JH-*1
    ʹσίʔμϕʔεͷଛࣦ
    ࣗݾڭࢣ෇͖ଛࣦ
    ΞΫςΟϒσʔλΩϡϨʔγϣϯͳͲΛಋೖ • ೝࣝ
    ϩʔΧϦθʔγϣϯ
    ີ༧ଌλεΫͳͲ෯޿͍λεΫͰߴੑೳ 7-.
    ͷΤϯίʔμͱͯ͠΋ར༻Մೳ ॴײ • ৽نੑΑΓ΋Ϟσϧͷ࣮༻ੑʹৼΓ੾ͬͨݚڀͱ͍͏ҹ৅ • ޻෉͸ݟΒΕΔ͕ଞͷେن໛Ϟσϧͱಉ༷ʹϦιʔε͋Γ͖ͷख๏Ͱ͋Γ ܭࢉޮ཰Λվળ͢Δํ޲Ͱͷ෼໺ͷਐల͕ඞཁͦ͏