Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[輪講] Transformer Layers as Painters

Naoki Kato
January 15, 2025

[輪講] Transformer Layers as Painters

重みを凍結した事前学習済み Transformer のレイヤー全体に渡り、情報を削除または再編成することによる影響を広範に調査した研究を紹介します。実験の結果、Transformer の中間層には大きな一貫性があること、Transformer は学習時と異なる実行方法に比較的頑健であることが確認され、レイヤーのスキップや並列化により認識性能とレンテンシを簡単にトレードオフできることが示唆されています。

Naoki Kato

January 15, 2025
Tweet

More Decks by Naoki Kato

Other Decks in Research

Transcript

  1. ֓ཁɾબఆཧ༝ • ֓ཁ • ࣄલֶशࡁΈ 5SBOTGPSNFSͷϨΠϠʔͷ࡟আ΍࠶ฤ੒ͷӨڹΛௐࠪ • தؒ૚ʹ͸େ͖ͳҰ؏ੑ͕͋Δ͜ͱΛ֬ೝ • Ұ෦ͷλεΫͰ͸ϨΠϠʔΛεΩοϓͨ͠Γ

     ֶश࣌ͱҟͳΔॱংͰ࣮ߦͯ͠΋ؤ݈Ͱ͋Δ͜ͱΛ֬ೝ • બఆཧ༝ • ࣄલֶशϞσϧͷ׆༻͸५୔ͳϦιʔε͕ͳͯ͘΋ख͕ग़ͤΔͨΊ • ͦͷଞγʔϯͰ΋໾ཱͪͦ͏ͳ൚༻ੑͷߴ͍஌ݟͰ͋Δͱײͨͨ͡Ί 
  2. 5SBOTGPSNFSʹ͍ͭͯͷԾઆ • 5SBOTGPSNFSͷ֤ϨΠϠʔ͸ಉҰͷߏ଄Λ࣋ͪ  ϨΠϠʔͷҐஔͱύϥϝʔλͷΈ͕ҟͳΔ ˠ ֤ϨΠϠʔ͕ೖྗʹ৘ใΛ෇Ճ͍ͯ͘͠Α͏ͳߏ଄ • ֤ϨΠϠʔΛըՈ QBJOUFS

    ʹྫ͑ͯߟ͑Δͱ ࣮ߦํ๏Λมߋͯ͠΋໰୊ͳͦ͞͏ʹࢥ͑Δ • Ұ෦ͷϨΠϠʔΛεΩοϓ • ϨΠϠʔͷॱংΛมߋ • ෳ਺ͷϨΠϠʔΛฒྻ࣮ߦ • ্هΞφϩδʔʹண૝ΛಘͨݕূΛߦ͏  جຊతͳϨΠϠʔߏ଄
  3. ݕূ߲໨ ࣄલֶशࡁΈͷ 5SBOTGPSNFSͰҎԼΛ֬ೝ͢ΔݕূΛ࣮ࢪ  ϨΠϠʔ͸ڞ௨ͷදݱۭؒΛ࢖༻͢Δ͔  ͢΂ͯͷϨΠϠʔ͸ඞཁ͔  ͢΂ͯͷதؒ૚͸ಉ͡ػೳΛՌ͍ͨͯ͠Δ͔ 

    ϨΠϠʔͷॱং͸ॏཁ͔  ϨΠϠʔΛฒྻʹ࣮ߦͰ͖Δ͔  λεΫʹΑͬͯॱংͷॏཁੑ͸มԽ͢Δ͔  ϧʔϓ࣮ߦ͸ฒྻԽ͞ΕͨϨΠϠʔʹ໾ཱ͔ͭ  Ͳͷ࣮ߦํ๏ͷੑೳ௿Լ͕࠷΋খ͍͔͞ 
  4. ݕূϞσϧ ҎԼͷࣄલֶशϞσϧͰݕূΛ࣮ࢪʢجຊతʹॏΈ͸ݻఆʣ • -MBNB# <5PVWSPO > • ࣗݾճؼܕͷσίʔμ • ੜ੒λεΫʹར༻͞ΕΔ

    • ૚ ԯύϥϝʔλ • #&35-BSHF <%FMWJO > • ૒ํ޲ܕͷΤϯίʔμ • 'JOFUVOJOHͯ͠ೝࣝλεΫ౳ʹར༻͞ΕΔ • ૚ ԯύϥϝʔλ 
  5. ҎԼͷࣄલֶशϞσϧͰݕূΛ࣮ࢪʢجຊతʹॏΈ͸ݻఆʣ • -MBNB# <5PVWSPO > • ࣗݾճؼܕͷσίʔμ • ੜ੒λεΫʹར༻͞ΕΔ •

    ૚ ԯύϥϝʔλ • #&35-BSHF <%FMWJO > • ૒ํ޲ܕͷΤϯίʔμ • 'JOFUVOJOHͯ͠ೝࣝλεΫ౳ʹ • ૚ ԯύϥϝʔλ ݕূϞσϧ  -MBNBͷߏ଄ IUUQTHJUIVCDPNNJDSPTPGU-MBNB0OOY ʢݩ࿦จʹ෼͔Γ΍͍͢ਤ͕ͳ͍ʣ
  6. ҎԼͷࣄલֶशϞσϧͰݕূΛ࣮ࢪʢجຊతʹॏΈ͸ݻఆʣ • -MBNB# <5PVWSPO > • ࣗݾճؼܕͷσίʔμ • ੜ੒λεΫʹར༻͞ΕΔ •

    ૚ ԯύϥϝʔλ • #&35-BSHF <%FMWJO > • ૒ํ޲ܕͷΤϯίʔμ • 'JOFUVOJOHͯ͠ೝࣝλεΫ౳ʹར༻͞ΕΔ • ૚ ԯύϥϝʔλ ݕূϞσϧ  ओʹ .BTLFE-BOHVBHF .PEFMJOHλεΫͰֶश #&35ͷࣄલֶश
  7. ϕϯνϚʔΫํ๏ • -MBNB • ӈදͷσʔληοτͰධՁ • ֤ϕϯνϚʔΫ஋Λʙʹਖ਼نԽ͠ ͦΕΒͷதԝ஋Λൺֱ • #&35

    • (-6&ϕϯνϚʔΫ <8BOH >ͰධՁ • ͭͷࣗવݴޠཧղλεΫͰߏ੒ • ϕϯνϚʔΫ஋ͷ୯७ฏۉΛൺֱ • ʢධՁखॱʹ GJOFUVOJOHؚ͕·ΕΔʣ  σʔληοτ λεΫ "3$ TDJFODFFYBNRVFTUJPOT )FMMB4XBH DPNNPOTFOTF (4., .BUI8PSE1SPCMFNT 8JOP(SBOEF 8JOPHSBE4DIFNB $IBMMFOHF -".#"%" XPSEQSFEJDUJPO -MBNBͷධՁσʔληοτ
  8. λεΫʹΑͬͯॱংͷॏཁੑ͸มԽ͢Δ͔ • ந৅త "3$ ਺ֶత (4., ਪ࿦ϕϯνϚʔΫ͸ ΄ͱΜͲͷ࣮ߦํ๏Ͱ࠷΋ٸܹʹੑೳ͕௿Լ • Ծઆɿ

    • ஈ֊తͳਪ࿦λεΫ͸ҙຯతͳλεΫʢ$PNNPOTFOTF౳ʣΑΓ΋ ϨΠϠʔͷॱংʹහײ • ਪ࿦λεΫʹ͸ߏ଄ͱҙຯͷ྆ํ͕ؔ܎ • Ϟσϧͷճͷύε಺Ͱ͋Δఔ౓͸ॱংґଘͷਪ࿦͕ߦΘΕ͍ͯΔ  ˠ ਺ֶతਪ࿦తͳλεΫ͸ҙຯతͳλεΫΑΓ΋ॱংʹґଘ͢Δ
  9. ݕূ݁Ռ·ͱΊ  ϨΠϠʔ͸ڞ௨ͷදݱۭؒΛ࢖༻͢Δ͔ ˠ :FT  ͢΂ͯͷϨΠϠʔ͸ඞཁ͔ ˠ /P 

    ͢΂ͯͷதؒ૚͸ಉ͡ػೳΛՌ͍ͨͯ͠Δ͔ ˠ /P  ϨΠϠʔͷॱং͸ॏཁ͔ ˠ ଟগ͸ೖΕସ͑ͯ΋໰୊ͳ͍  ϨΠϠʔΛฒྻʹ࣮ߦͰ͖Δ͔ ˠ :FTʢ਺ֶλεΫҎ֎ʣ  λεΫʹΑͬͯॱংͷॏཁੑ͸มԽ͢Δ͔ ˠ :FTʢਪ࿦λεΫͰॏཁʣ  ϧʔϓ࣮ߦ͸ฒྻԽ͞ΕͨϨΠϠʔʹ໾ཱ͔ͭ ˠ:FT  Ͳͷ࣮ߦํ๏ͷੑೳ௿Լ͕࠷΋খ͍͔͞ ˠ ϥϯμϜॱং ฒྻͷϧʔϓ 
  10. ٞ࿦ • ओཁͳൃݟ • ϨΠϠʔʹ͸ͭͷछྨ͕͋Δʢதؒ૚ͷൣғ͕࠷΋େ͖͍ʣ • தؒ૚͸৑௕Ͱ͸ͳ͍͕Ұ؏ੑ͕͋Γ දݱۭ͕ؒڞ༗͞ΕΔ • 5SBOTGPSNFS͸࣮ߦํ๏ͷมߋʹؤ݈

    • Ծઆ ࢒ࠩ઀ଓ͕දݱۭؒͷڞ༗ʹد༩͍ͯ͠ΔͷͰ͸ʁ ʢ࢒ࠩ઀ଓΛআ͍ͨ 5SBOTGPSNFSΛֶश͢Δͱੑೳ͕௿Լ͢Δʣ • ͦͷଞ஌ݟ • ෳ਺ͷϨΠϠʔͷ౷߹΍ Ϟσϧ΁ͷಈతͳ஌ࣝૠೖ͕Ͱ͖ͦ͏ • ਪ࿦ϨΠςϯγͱਫ਼౓Λ؆୯ͳํ๏ͰτϨʔυΦϑͰ͖Δ͜ͱ͕൑໌ 
  11. ؔ࿈ݚڀ ϓϧʔχϯάʹΑΔܰྔԽ৑௕ੑ࡟ݮ΍ਪ࿦ޮ཰ԽͳͲͷτϐοΫʹؔ࿈ • 5SBOTGPSNFSͷதؒ૚Λ࡟আͯ͠΋ͦΕ΄Ͳੑೳ͕௿Լ͠ͳ͍͜ͱΛ֬ೝ <,JN ><#IPKBOBQBMMJ > • ҰํͰ தؒ૚Λ࡟আͨ͠Ϟσϧ͸ࣄ࣮ʹؔ͢Δ࣭໰ʹ౴͑ͨΓ

    ௕͍Ԡ౴Λੜ੒͢Δੑೳ͕௿Լ࠶ֶशͯ͠΋ੑೳ͸໭Βͣ • 4IPSU(15 <.FO >ɿॏཁ౓ͷ௿͍ϨΠϠʔΛಛఆͯ͠࡟আ • %FOTFGPSNFS <1BHMJBSEJOJ >ɿॲཧϑϩʔͷมߋʹΑΔτϨʔυΦϑվળ • ֶशதͷϨΠϠʔγϟοϑϧʹΑΔؤ݈ੑ޲্ <'SFJCFSHFS > • ޮ཰తͳϓϧʔχϯάํ๏ΛఏҊ <%VUUB ><'MZOO > • ϨΠϠʔͷฒྻԽʹΑΔਪ࿦ͷޮ཰Խ <;PV > • ౚ݁ϨΠϠʔͷ࡟আ΍ೖΕସ͑ʹΑΔӨڹΛௐࠪ <-BE > 
  12. ॴײ • ༷ʑͳτϐοΫʹؔ࿈͢Δڵຯਂ͍ݚڀͩͱײͨ͡ • දݱۭؒͷ੾Γସ͑෦෼ͷϨΠϠʔͱͦΕҎ֎Ͱ ϨΠϠʔͷಇ͖͕ͲͷΑ͏ʹҟͳΔͷ͔ؾʹͳͬͨ • ϨΠϠʔͷάϧʔϓຖ΍ දݱۭؒͷ੾Γସ͑෦෼͔Ͳ͏͔ʹΑΓ ࠷దͳΞʔΩςΫνϟઃܭ͕ҟͳΓͦ͏

    • طଘͷΞʔΩςΫνϟͩͱදݱۭؒͷΞϥΠϝϯτΛͱΔΑ͏ͳ ม׵Λ͢ΔͨΊʹ৑௕ͳܭࢉύϥϝʔλׂ͕͔Ε͍ͯͦ͏ • ֤ϨΠϠʔͷಇ͖Λ໌֬ʹίϯτϩʔϧͯ͠  ໨తͷλεΫʹదͨ͠ϞσϧΛಈతʹ࡞੒Ͱ͖ͨΒ໘നͦ͏