[読み会] Knowledge distillation: A good teacher is patient and consistent

ಡΈձˏ ༶໌఩ ,OPXMFEHFEJTUJMMBUJPO   "HPPEUFBDIFSJTQBUJFOUBOEDPOTJTUFOU

࿦จ৘ใͱબ୒ཧ༝ • ࿦จ৘ใ • બ୒ཧ༝ • ஌ࣝৠཹͷ໰୊ઃఆͷڭࢣͱੜెͷؔ܎͸ɼ   ػցڭࣔͱྨࣅ͍ͯ͠ΔͨΊ

$7ٕज़ൃల͍ͯ͠Δ͚Ͳɼ࣮ࣾձͰ࢖͍ͮΒ͍ • എܠɿେن໛Ϟσϧ͸ੑೳ͕ߴ͍͕ɼܭࢉίετɼઃඋίε τ͕ߴ͗͢Δ • ˠݱ࣮తʹ͸খ͞ͳϞσϧͷํ͕࢖͍উख͕ྑ͘ॏཁ • େن໛ϞσϧͷೳྗΛ׆༻͢ΔͨΊʹɼੑೳҡ࣋ͨ͠··  
ϞσϧΛܰྔԽ͢Δ͜ͱ͕ٻΊΒΕ͍ͯΔ

,%͸ʮڭࢣͱੜెͷϞσϧϚονϯάʯͱղऍ • ϞσϧͷܰྔԽʹ͸ͭͷख๏͕༗໊ • .PEFMQSVOJOH • ϞσϧͷҰ෦ΛΧοτ͢Δ͜ͱͰɼܰྔԽΛ͓͜ͳ͏ɽ • Ϟσϧͷߏ଄ΛมߋͰ͖ͳ͍FH3FT/FUˠ.PCJMF/FU
• ,OPXMFEHFEJTUJMMBUJPO • ڭࢣʢେ͖Ίʣͱੜెʢখ͞ΊʣΛઃఆ͠ɽੜె͸ڭࢣͱ ಉ͡ೳྗΛ໨ࢦ͢

஌ࣝৠཹ͸ɼೖྗσʔλͱֶश͕࣌ؒେࣄ • ͜͜Ͱ͸ɼϞσϧΛܰྔԽ͢ΔͨΊʹɼ஌ࣝৠཹΛར༻ • ஌ࣝৠཹʹ͓͍ͯԿ͕େࣄͳͷ͔Λݟ͚ͭΔ • ੜెͱڭࢣ͸ಉ͡ೖྗΛ༻͍Δ͜ͱ͕େࣄ • ೖྗσʔλ͸σʔλ֦ு͢Δ΄Ͳྑ͍
• ֶश࣌ؒ͸ଟ͍ํ͕ྑ͍

໰୊ઃఆɾ࣮ݧઃఆ • ධՁࢦඪʹը૾ͷΫϥε෼ྨਫ਼౓Λ༻͍Δ • େن໛ϞσϧΛڭࢣͱઃఆ͠ɼ෼ྨਫ਼౓Λམͱͣ͞ʹɼϞσ ϧͷܰྔԽΛ໨ࢦ͢ɽ • ڭࢣɿ#J5ͷࣄલֶशϞσϧ •
ੜెɿ3FT/FU • σʔληοτ͸छྨ খதن໛ͭɼେن໛ͭ • Ϋϥε਺͸ σʔλαΠζ͸

ڭࢣͱੜెͷग़ྗ෼෍Λ͚ۙͮΔ • ஌ࣝৠཹͷֶशʹ༻͍ΔଛࣦͰ,-μΠόʔδΣϯε༻͍Δ • ͸ͦΕͧΕڭࢣͷ༧ଌɼੜెͷ༧ଌ • Ϟσϧͷग़ྗࣗମ͸ɼԹ౓෇͖ιϑτϚοΫε pt ,
ps KL(pt ||ps ) = ∑ i∈C [−pt,i log ps,i + pt,i log pt,i ]

ϋΠύϥઃఆͱ͔࣮ݧͷখٕͨͪ • ࠷దԽख๏ͱͯ͠"EBNΛ༻͍ΔɽϋΠύϥ͸σϑΥϧτ஋ • εέδϡʔϥ͸$PTJOFEFDBZΛ༻͍Δ • ֶश҆ఆͷͨΊɼޯ഑ͷେ͖͞Λʹ੍ݶ • όοναΠζΛʹઃఆɽͨͩ͠*NBHF/FU͸

.JYVQʹΑͬͯσʔλ֦ுΛ͢Δ • ͭͷ܇࿅σʔλͷϖΞΛࠞ߹ͯ͠৽͘͠σʔλΛ࡞੒<> • ܇࿅σʔλ͕ϛοΫε͞ΕΔ͚ͩͰͳ͘ɼϥϕϧ΋ϛοΫε • • ͔ΒҰ༷ʹαϯϓϦϯά͢Δ
ຊՈ͸ X = λX1 + (1 − λ)X2 , y = λy1 + (1 − λ)y2 λ ∈ [0,1] λ ∼ Beta(α, α) IUUQTBSYJWPSHBCT

ը૾ͷલॲཧ • σʔλͷલॲཧͰJODFQUJPOTUZMFDSPQΛ༻͍Δ • ݩσʔλͷը૾αΠζͷ ͰϥϯμϜʹΫϦοϓ • ΫϦοϓͨ͠ޙϥϯμϜͳΞεϖΫτൺʹม׵
• ม׵ͨ͋͠ͱݻఆαΠζ Y ʹϦαΠζ IUUQTBSYJWPSHBCT

ओுͷ͓͞Β͍ • ੜెͱڭࢣ͸ಉ͡ೖྗΛ༻͍Δ͜ͱ͕େࣄ • ೖྗσʔλ͸σʔλ֦ு͢Δ΄Ͳྑ͍ • ֶश࣌ؒ͸ଟ͍ํ͕ྑ͍ • ϩόετੑΛݟΔͨΊʹখதن໛σʔληοτͭΛར༻
• ަབྷҼࢠΛഉআ͢ΔͨΊʹ͞·͟·ͳϋΠύϥͰ࣮ݧ 1BUJFOU   UFBDIFS $POTJTUFOU   UFBDIFS

$POTJTUFOUUFBDIFS Ұ؏ͨ͠ڭࢣ ʹ͍ͭͯΈΔ • ڭࢣɼੜెͷઃఆΛͭ༻ҙ͢Δɽ • 'JYFEUFBDIFSɿڭࢣͷग़ྗ͕ݻఆ͞Ε͍ͯΔ • *OEFQFOEFOUOPJTFɿڭࢣɼੜెͰҟͳΔೖྗ
• $POTJTUFOUUFBDIJOHɿڭࢣͱੜెͰಉ͡ೖྗ • 'VODUJPONBUDIJOHɿ$POTJTUFOUUFBDIJOHʴσʔλ֦ு • Լೋ͕ͭҰ؏ͨ͠ڭࢣઃఆΛද͍ͯ͠Δɽ

Ұ؏ͨ͠ڭࢣ͸ਫ਼౓͕ߴ͍ଞ͸աֶशΛى͜͢

1BUJFOUUFBDIFS ೜଱ڧ͍ڭࢣ ʹ͍ͭͯΈΔ • Ұൠతͳڭࢣ͋Γֶशͷ৔߹ɼϥϕϧʹର͠ɼը૾͕େ͖͘ ࿪ΉՄೳੑ͕͋Δɽ • ͜͜Ͱ͸ɼ஌ࣝৠཹڭࢣͱੜెͷؔ਺Ϛονϯάͱղऍ •
Ұ؏ͯ͠ಉ͡ೖྗΛ༩͑ΔͳΒɼೖྗࣗମ͸࿪ΜͰ΋͍͍ ˠσʔλ֦ு͕༗ޮͳͷͰ͸ • σʔλ֦ுΛߦ͍ɼେ͖ͳΤϙοΫ਺Ͱֶश͢ΔͱΑΓੜె Ϟσϧͷੑೳ͕޲্͢Δ͜ͱΛݕূ͢Δ

աֶशΛճආ͠ͳ͕Βɼੑೳ͕޲্͢Δ • ੺͍ઢʢڭࢣʣͱಉ౳ͷੑೳʹ౸ୡ • ྘ઢʢసҠֶशʣΑΓ࠷ऴతʹ͸ੑೳ͕ྑ͍ • ΦϨϯδʢ͔ΒֶशʣΑΓੑೳ͕͍͍ˠɹ஌ࣝৠཹͷޮՌ͕͋Δ

େن໛σʔληοτʢ*NBHF/FUʣͰ஌ࣝৠཹ • Ұ؏ͨ͠ڭࢣ͸աֶश͍ͯ͠ͳ͍ • ·ͨσʔλ֦ு͢Δͱগͳ͍Τϙο Ϋ਺Ͱߴ͍ਫ਼౓Λୡ੒ • ˠJUFSBUJPO਺͸ಉ͡

ҟͳΔղ૾౓Ͱ΋஌ࣝৠཹ͕͏·͍͘͘ • ڭࢣ͕ߴ͍ղ૾౓ˠੜె͕௿͍ղ૾౓ͷํ͕ੑೳ͕ྑ͘ͳΔ

4IBNQPPΛ࢖ֶͬͯशͨ͠Βߴ଎ʹͳͬͨ • σʔλ֦ுʹΑͬͯੑೳ޲্ͨ͠ ͕ɼͦͷ෼ֶश͕࣌ؒ৳ͼͯ͠·͏ • "EBN͔ΒΑΓڧྗͳ࠷దԽख๏Ͱ ͋Δ4IBNQPPΛ࢖ͬͯΈΔɽ • ˠֶश଎౓͕ഒʹͳͬͨʂ
IUUQTBSYJWPSHBCT

సҠֶश͔ͭͬͯ΋஌ࣝৠཹ͍͍Μ͡Όͳ͍ • 1BUJFOUUFBDIFSͷͱ͖ɼసҠֶ श༗ޮ͔ͩͬͨΒ஌ࣝৠཹ స Ҡֶश΋͍͍ͷͰ͸ • ֶशॳظ͸సҠֶशΑ͔͚ͬͨ
Ͳɼ࠷ऴతʹ͸ٯస

஌ࣝৠཹ͸΍ͬͺΓ༗ޮ • ஌ࣝৠཹͬͯແͯ͘΋͍͍ͬͯ͜ ͱ͸ͳ͍ʁ • ஌ࣝৠཹ͕ͳ͍ͱաֶशΛى͜͢

·ͱΊͱײ૝ • ஌ࣝৠཹͰॏཁͳཁૉͱͯ͠ɼ • ɽڭࢣͱੜెͷೖྗ͕ಉ͡ • ɽσʔλ֦ுΛͨ͘͞Μ͢Δ • ɽֶशΤϙοΫ਺Λ૿΍͢ɹɹɹɹ͜ͱʹ͍ͭͯࣔͨ͠ɽ
• ஌ࣝৠཹͷ৽ख๏ΛఏҊͨ͠Θ͚Ͱ͸ͳ͍͕ɼطଘͷϞσϧΛ༻ ͍ͯɼܰྔϞσϧ͕4P5"ΛऔΕΔ͔΋͠Εͳ͍ϩϚϯΛײ͡Εͨ

[読み会] Knowledge distillation: A good teacher is...

[読み会] Knowledge distillation: A good teacher is patient and consistent

mei28

More Decks by mei28

Featured

Transcript

ಡΈձˏ ༶໌఩ ,OPXMFEHFEJTUJMMBUJPO   "HPPEUFBDIFSJTQBUJFOUBOEDPOTJTUFOU

࿦จ৘ใͱબ୒ཧ༝ • ࿦จ৘ใ • બ୒ཧ༝ • ஌ࣝৠཹͷ໰୊ઃఆͷڭࢣͱੜెͷؔ܎͸ɼ   ػցڭࣔͱྨࣅ͍ͯ͠ΔͨΊ

$7ٕज़ൃల͍ͯ͠Δ͚Ͳɼ࣮ࣾձͰ࢖͍ͮΒ͍ • എܠɿେن໛Ϟσϧ͸ੑೳ͕ߴ͍͕ɼܭࢉίετɼઃඋίε τ͕ߴ͗͢Δ • ˠݱ࣮తʹ͸খ͞ͳϞσϧͷํ͕࢖͍উख͕ྑ͘ॏཁ • େن໛ϞσϧͷೳྗΛ׆༻͢ΔͨΊʹɼੑೳҡ࣋ͨ͠··

,%͸ʮڭࢣͱੜెͷϞσϧϚονϯάʯͱղऍ • ϞσϧͷܰྔԽʹ͸ͭͷख๏͕༗໊ • .PEFMQSVOJOH • ϞσϧͷҰ෦ΛΧοτ͢Δ͜ͱͰɼܰྔԽΛ͓͜ͳ͏ɽ • Ϟσϧͷߏ଄ΛมߋͰ͖ͳ͍FH3FT/FUˠ.PCJMF/FU

஌ࣝৠཹ͸ɼೖྗσʔλͱֶश͕࣌ؒେࣄ • ͜͜Ͱ͸ɼϞσϧΛܰྔԽ͢ΔͨΊʹɼ஌ࣝৠཹΛར༻ • ஌ࣝৠཹʹ͓͍ͯԿ͕େࣄͳͷ͔Λݟ͚ͭΔ • ੜెͱڭࢣ͸ಉ͡ೖྗΛ༻͍Δ͜ͱ͕େࣄ • ೖྗσʔλ͸σʔλ֦ு͢Δ΄Ͳྑ͍

໰୊ઃఆɾ࣮ݧઃఆ • ධՁࢦඪʹը૾ͷΫϥε෼ྨਫ਼౓Λ༻͍Δ • େن໛ϞσϧΛڭࢣͱઃఆ͠ɼ෼ྨਫ਼౓Λམͱͣ͞ʹɼϞσ ϧͷܰྔԽΛ໨ࢦ͢ɽ • ڭࢣɿ#J5ͷࣄલֶशϞσϧ •

ڭࢣͱੜెͷग़ྗ෼෍Λ͚ۙͮΔ • ஌ࣝৠཹͷֶशʹ༻͍ΔଛࣦͰ,-μΠόʔδΣϯε༻͍Δ • ͸ͦΕͧΕڭࢣͷ༧ଌɼੜెͷ༧ଌ • Ϟσϧͷग़ྗࣗମ͸ɼԹ౓෇͖ιϑτϚοΫε pt ,

ϋΠύϥઃఆͱ͔࣮ݧͷখٕͨͪ • ࠷దԽख๏ͱͯ͠"EBNΛ༻͍ΔɽϋΠύϥ͸σϑΥϧτ஋ • εέδϡʔϥ͸$PTJOFEFDBZΛ༻͍Δ • ֶश҆ఆͷͨΊɼޯ഑ͷେ͖͞Λʹ੍ݶ • όοναΠζΛʹઃఆɽͨͩ͠*NBHF/FU͸

.JYVQʹΑͬͯσʔλ֦ுΛ͢Δ • ͭͷ܇࿅σʔλͷϖΞΛࠞ߹ͯ͠৽͘͠σʔλΛ࡞੒<> • ܇࿅σʔλ͕ϛοΫε͞ΕΔ͚ͩͰͳ͘ɼϥϕϧ΋ϛοΫε • • ͔ΒҰ༷ʹαϯϓϦϯά͢Δ

ը૾ͷલॲཧ • σʔλͷલॲཧͰJODFQUJPOTUZMFDSPQΛ༻͍Δ • ݩσʔλͷը૾αΠζͷ ͰϥϯμϜʹΫϦοϓ • ΫϦοϓͨ͠ޙϥϯμϜͳΞεϖΫτൺʹม׵

ओுͷ͓͞Β͍ • ੜెͱڭࢣ͸ಉ͡ೖྗΛ༻͍Δ͜ͱ͕େࣄ • ೖྗσʔλ͸σʔλ֦ு͢Δ΄Ͳྑ͍ • ֶश࣌ؒ͸ଟ͍ํ͕ྑ͍ • ϩόετੑΛݟΔͨΊʹখதن໛σʔληοτͭΛར༻

$POTJTUFOUUFBDIFS Ұ؏ͨ͠ڭࢣ ʹ͍ͭͯΈΔ • ڭࢣɼੜెͷઃఆΛͭ༻ҙ͢Δɽ • 'JYFEUFBDIFSɿڭࢣͷग़ྗ͕ݻఆ͞Ε͍ͯΔ • *OEFQFOEFOUOPJTFɿڭࢣɼੜెͰҟͳΔೖྗ

Ұ؏ͨ͠ڭࢣ͸ਫ਼౓͕ߴ͍ଞ͸աֶशΛى͜͢

1BUJFOUUFBDIFS ೜଱ڧ͍ڭࢣ ʹ͍ͭͯΈΔ • Ұൠతͳڭࢣ͋Γֶशͷ৔߹ɼϥϕϧʹର͠ɼը૾͕େ͖͘ ࿪ΉՄೳੑ͕͋Δɽ • ͜͜Ͱ͸ɼ஌ࣝৠཹڭࢣͱੜెͷؔ਺Ϛονϯάͱղऍ •

աֶशΛճආ͠ͳ͕Βɼੑೳ͕޲্͢Δ • ੺͍ઢʢڭࢣʣͱಉ౳ͷੑೳʹ౸ୡ • ྘ઢʢసҠֶशʣΑΓ࠷ऴతʹ͸ੑೳ͕ྑ͍ • ΦϨϯδʢ͔ΒֶशʣΑΓੑೳ͕͍͍ˠɹ஌ࣝৠཹͷޮՌ͕͋Δ

େن໛σʔληοτʢ*NBHF/FUʣͰ஌ࣝৠཹ • Ұ؏ͨ͠ڭࢣ͸աֶश͍ͯ͠ͳ͍ • ·ͨσʔλ֦ு͢Δͱগͳ͍Τϙο Ϋ਺Ͱߴ͍ਫ਼౓Λୡ੒ • ˠJUFSBUJPO਺͸ಉ͡

ҟͳΔղ૾౓Ͱ΋஌ࣝৠཹ͕͏·͍͘͘ • ڭࢣ͕ߴ͍ղ૾౓ˠੜె͕௿͍ղ૾౓ͷํ͕ੑೳ͕ྑ͘ͳΔ

4IBNQPPΛ࢖ֶͬͯशͨ͠Βߴ଎ʹͳͬͨ • σʔλ֦ுʹΑͬͯੑೳ޲্ͨ͠ ͕ɼͦͷ෼ֶश͕࣌ؒ৳ͼͯ͠·͏ • "EBN͔ΒΑΓڧྗͳ࠷దԽख๏Ͱ ͋Δ4IBNQPPΛ࢖ͬͯΈΔɽ • ˠֶश଎౓͕ഒʹͳͬͨʂ

సҠֶश͔ͭͬͯ΋஌ࣝৠཹ͍͍Μ͡Όͳ͍ • 1BUJFOUUFBDIFSͷͱ͖ɼసҠֶ श༗ޮ͔ͩͬͨΒ஌ࣝৠཹ స Ҡֶश΋͍͍ͷͰ͸ • ֶशॳظ͸సҠֶशΑ͔͚ͬͨ

஌ࣝৠཹ͸΍ͬͺΓ༗ޮ • ஌ࣝৠཹͬͯແͯ͘΋͍͍ͬͯ͜ ͱ͸ͳ͍ʁ • ஌ࣝৠཹ͕ͳ͍ͱաֶशΛى͜͢

·ͱΊͱײ૝ • ஌ࣝৠཹͰॏཁͳཁૉͱͯ͠ɼ • ɽڭࢣͱੜెͷೖྗ͕ಉ͡ • ɽσʔλ֦ுΛͨ͘͞Μ͢Δ • ɽֶशΤϙοΫ਺Λ૿΍͢ɹɹɹɹ͜ͱʹ͍ͭͯࣔͨ͠ɽ