[読み会] Learning Representations by Humans, for Humans

読み会資料
Learning Representations by Humans, for Humans(ICML2021)

Transcript

1. ൃදऀɿ༶໌఩
   ೥݄೔
   !ಡΈձ -FBSOJOH
   3FQSFTFOUBUJPOT
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   CZ
   )VNBOT
   GPS
   )VNBOT
2. ࿦จ৘ใͱબΜͩཧ༝  બ୒ཧ༝
   • ਓؒʹରͯ͠৘ใٕज़Ͱ࡞༻ʢհೖʣʹ͍ͭͯ஌ΔͨΊ
   • )VNBOJOUIFMPPQܥͷ࿦จ
   
3. ߩݙɿਓؒΛհͯ͠ਓؒʹ༗ӹͳදݱΛ֫ಘՄೳʹ  എܠɿػցֶश͕ൃల͖ͯͯ͠ɼҙࢥܾఆʹ࢖ΘΕ͖͍ͯΔ
   ໰୊ɿ҆શੑɼެฏੑͳͲΛߟྀ͢ΔࡍʹӏವΈʹͣ͠Β͍
   ఏҊɿਓ͕ؒཧղՄೳͳํ๏Ͱ৘ใΛఏࣔ͠ɼ 

   
   
   
   
   
   
   
   
   ਓؒͷ࠷ऴܾఆΛࢧԉ͢ΔϑϨʔϜϫʔΫ.P.ΛఏҊ
   ݁ՌɿͭͷλεΫΛ࣮ࢪɽ 

   
   
   
   
   
   
   
   
   ਓؒͷҙࢥܾఆʹରͯ͠޲্ͤ͞Δ͜ͱΛࣔͨ͠
4. ͍··Ͱͷҙࢥܾఆࢧԉɿग़ྗΛӏವΈ͠ͳ͍  ػցͷग़ྗ
   
   Λਓ͕ؒड͚औΓɼߦಈ
   
   ΛͱΔ ̂ y a fθ ̂ y x a
5. ͍··Ͱͷख๏ɿΑ͍ग़ྗΛֶशʢ܇࿅࣌ʣ  ڭࢣ͋ΓֶशͰྑ͍ग़ྗʹͳΔΑ͏ʹֶश fθ ̂ y x y L(y, ̂ y)
6. ݱ࣮ɿਪ࿦݁Ռͱߦಈ͸Ұக͠ͳ͍  ਓ͕ؒؒʹೖΔͷͰ
   
   ʹͳΔ͜ͱ͕͋Δ
   ҙࢥܾఆͷঢ়گʹΑͬͯػցͱਓؒͷҙࢥܾఆ͕Ұக͠ͳ͍ ̂ y ≠ a fθ ̂ y x a ≠ ̂ y
7. ཧ૝ɿਓؒͷҙࢥܾఆΛ࠷దԽ  ਓؒͷߦಈΛؚΊͯ࠷దԽ͢Δ͜ͱ͕ཧ૝
   
   ͕ͨͩͷग़ྗͰਓؒʹͱͬͯཧղ͠೉͍ ̂ y y fθ ̂ y x a = h(x, ̂ y) L(y, a)
8. ՄࢹԽ ఏҊख๏ɿਓؒͰ΋ཧղͰ͖Δํ๏Ͱࢧԉ͍ͨ͠  ਓ͕͍ؒΔͨΊɼޯ഑Λ఻೻Ͱ͖ͳ͍ y දݱֶश x ϕ a = h(z, ̂ y) L(y, a) z
9. ਓؒͷ୅ཧϞσϧΛઃఆͯ͠ɼޯ഑Λ఻೻Մೳʹʂ  y x ϕ a = h(z, x) L(y, a) h z
10. දݱΛ࢖ͬͨద੾ͳՄࢹԽ͸೉͍͠  දݱ
    
    ͔Βਓ͕ؒཧղͰ͖ΔΑ͏ʹ͢ΔͨΊʹɼ 
 ՄࢹԽͷૢ࡞͕ඞཁ
    • ๮άϥϑ΍ɼը૾ɼϋΠϥΠτͱ͔ʜ
    ҙࢥܾఆʹରͯ͠ɼྑ͍հೖ͕ߦ͑ΔΑ͏ͳՄࢹԽ͸ͦΕ͚ͩͰݚڀʹ ͳΔ͘Β͍೉͍͠
    ຊݚڀͰ͸ɼྑͦ͞͏ͳՄࢹԽΛબΜͰར༻͢Δ z
11. ࣮ݧɿͭͷλεΫͰ༗ޮੑΛࣔ͢  λεΫɿߴ࣍ݩσʔλΛ௿࣍ݩʹѹॖͨ͠ͱ͖ʹ 

    
    
    
    
    
    
    
    
    
    
    
    
    
    ༗༻ͳදݱΛ֫ಘͰ͖Δ͔ʁ
    λεΫɿ࣮ࡍͷλεΫͰ΋ 
 ɹɹɹɹ
    
    ֫ಘͨ͠දݱʹΑΔࢧԉ͸༗ޮ͔ʁ
    λεΫɿػց͕஌Γಘͳ͍௥Ճ৘ใ΋ 
 ɹɹɹɹ
    
    දݱͱͯ֫͠ಘͰ͖Δ͔ʁ
12. λεΫɿྑ͍දݱΛ֫ಘͰ͖Δ͔ʁ  ࣍ݩѹॖΛͯ͠σʔλͷՄࢹԽ͕ՄೳʹͳΔ
    • طଘͷ࣍ݩѹॖ͸౷ܭతͳ࠷దԽ͔͠ߟ͍͑ͯͳ͍
    ߴ࣍ݩͳσʔλΛਓ޻తʹ࡞Γɼ෼ྨ໰୊ʹऔΓ૊Ή
    • ௚ަࣹӨͨ࣌͠ʹɼz9zͱz0zͷܗʹฒͿΑ͏ʹ࡞੒
13. λεΫɿදݱϞσϧͱ୅ཧϞσϧ  දݱϞσϧ
    • Yͷઢܕࣸ૾ߦྻ
    ୅ཧϞσϧ
    • Ұ૚ͰYͷ৞ΈࠐΈωοτϫʔΫ
    • ਓؒͷࢹ֮Λ͓͓·͔ʹ࠶ݱ͢Δ
14. λεΫɿ݁Ռ  "DDVSBDZ
    
    ˠ
    
    ͷ࣮ݧࢀՃऀ͕ਫ਼౓Λୡ੒
15. λεΫɿϦΞϧͳσʔλͰ΋ࢧԉͰ͖Δ͔  ϩʔϯ৹ࠪΛ୊ࡐʹͨ͠λεΫ
    • 
    ׬ࡁͨ͠ɼ 
    ଺ೲɼ 
    ঝೝɼ 
    ڋ൱
    • ଛࣦؔ਺ɿ
    .5VSLͰࢀՃऀΛूΊܭճ౴ΛूΊͨ
    ໨ඪɿදݱʹΑΔΞυόΠεͰ 

    
    
    
    
    
    
    
    
    ҙࢥܾఆͷࢧԉ͕Մೳ͔Ͳ͏͔ y = 1 y = 0 a = 1 a = 0 l(y, a) = 1y≠a
16. λεΫɿإද৘ʹΑͬͯදݱΛՄࢹԽ  'BDJBM
    BWBUBSΛ࢖ͬͯɼإද৘ͰՄࢹԽΛߦ͏
    • $IFSOP ff
    GBDFT
    إύʔπʹͦΕͧΕ਺஋͕ରԠͯ͠มԽ
17. λεΫɿදݱϞσϧͱ୅ཧϞσϧ  දݱϞσϧ
    • શ݁߹ͷϢχοτΛ૚
    ୅ཧϞσϧ
    • શ݁߹ͷϢχοτΛ૚
18. λεΫɿ௚઀తͳΞυόΠεͱಉ౳  /P
    BEWJDFΑΓ޲্
    ༧ଌΞυόΠεͱಉ౳
19. λεΫɿਓ͔ؒ͠஌Γಘͳ͍৘ใ΋֫ಘͰ͖Δ͔  ਓ͔ؒ͠஌Γಘͳ͍৘ใʢ஌ࣝɼৗࣝͱ͔ʣΛදݱͱͯ֫͠ಘ Ͱ͖Δ͔ΛΈ͍ͨ
    ҩྍ਍அͷλεΫΛઃܭ
    • ௥Ճ৘ใ
    
    Λઃఆ͢Δ
    ˠ
    ਓ͔ؒ͠ݟΕͳ͍
    • ͜ͷ௥Ճ৘ใ͸ग़ྗʹӨڹΛٴ΅͢ઃఆ
    σʔληοτࣗମ͸ਓ޻తʹੜ੒ s
20. λεΫɿදݱϞσϧͱ୅ཧϞσϧ  දݱϞσϧ
    • ॏΈͱಛ௃ྔͷઢܗ࿨ ୅ཧϞσϧ
    • ॏΈͱಛ௃ྔͷઢܗ࿨ ௥Ճ৘ใͷઢܗ࿨
21. λεΫɿ 
    • ७ਮʹ܇࿅Λߦ͏৔߹
    .P.
    • දݱ΋Ұॹʹ܇࿅͢Δ
    .P.Ҏ֎Ͱ͸ɼ௥Ճ৘ใʹ Αͬͯաֶश͕ى͖΍͍͢ h(.BDIJOF)
22. ·ͱΊͱײ૝  ·ͱΊ
    ਓ͔ؒΒਓؒͷͨΊʹҙࢥܾఆΛࢧԉ͢Δ 
 ϑϨʔϜϫʔΫΛఏҊ
    ਓؒͷ࠷ऴܾఆΛࢧԉͰ͖ΔΑ͏ʹɼදݱΛֶश͠ՄࢹԽ