論文輪読会 第2回 "k-means法でエルボー法を使うのはもうやめよう"

AcademiX が開催した 第2回 論文輪読会　資料

日時：2023/02/25
発表者：佐藤大地さん
論文タイトル：k-means法でエルボー法を使うのはもうやめよう

＜概要＞
・k-means法において最適なクラスタ数kを決める手法を比較・検討した
・エルボー法は理論的背景が乏しい上に精度が悪いので使うべきではない
・エルボー法よりも優れた手法(VRC,BIC,Gap統計量)を使うのが望ましい

Transcript

1. IUUQTXXXBDBEFNJYKQ "DBEFNJ9 ࿦จྠಡձ LNFBOT๏ͰΤϧϘʔ๏Λ ࢖͏ͷ͸΋͏΍ΊΑ͏ 6OJWFSTJUZ PG 5PLZP ࠤ౻େ஍ 
2. ॻࢽ৘ใ • ୊໊ɿStop using the elbow criterion for k-means [1] • ෭୊ɿand how to choose the number of clusters instead • ஶऀɿErich SchubertʢυϧτϜϯτ޻ՊେֶɺυΠπʣ • URLɿhttps://arxiv.org/abs/2212.12189 ※ ຊࢿྉʹ͓͍ͯग़యͷͳ͍ਤද͸શͯ [1] ΑΓҾ༻
3. ֓ཁ • k-means๏ʹ͓͍ͯ࠷దͳΫϥελ਺ k ΛܾΊΔख๏Λൺֱɾݕ౼ͨ͠ • ΤϧϘʔ๏͸ཧ࿦తഎܠ͕๡্͍͠ʹਫ਼౓͕ѱ͍ͷͰ࢖͏΂͖Ͱͳ͍ • ΤϧϘʔ๏ΑΓ΋༏Εͨख๏ʢ73$
   #*$
   (BQ౷ܭྔʣΛ࢖͏ͷ͕๬·͍͠
4. ໨࣍  LNFBOT๏ͱ͸  ΤϧϘʔ๏ͱ͸  Ϋϥελ਺ΛܾΊΔख๏ͷੑೳൺֱ  ΤϧϘʔ๏ͷ໰୊఺  ఏҊख๏  ิ଍  ·ͱΊ
5. 
   LNFBOT๏ͱ͸ • ࠷΋༗໊ͳΫϥελϦϯάͷख๏ • ख๏  Ϋϥελ਺ L Λࣄલʹਓ͕ܾؒΊΔ  ֤σʔλʹΫϥελΛϥϯμϜʹׂΓ౰ͯΔ  ֤Ϋϥελͷॏ৺Λܭࢉ  ֤σʔλΛ࠷΋͍ۙॏ৺ͷΫϥελʹׂΓ౰ͯΔ  ʙΛॏ৺͕มԽ͠ͳ͘ͳΔ·Ͱ܁Γฦ͢
6. 
   LNFBOT๏ͱ͸ Lͷͱ͖ͷLNFBOT๏ ϥϯμϜʹׂΓ౰ͯ ॏ৺Λߋ৽ ΫϥελΛߋ৽
7. 
   ΤϧϘʔ๏ͱ͸ • LNFBOT๏ͷ໰୊఺ • Ϋϥελ਺ L
   Λࣗ෼ͰܾΊΔඞཁ͕͋Δ • Lͷ஋ʹΑͬͯ݁Ռ͕େ͖͘ҟͳΔͨΊ
   ࠷దͳLͷ஋ΛٻΊΔ͜ͱ͕ॏཁ • ࠷దͳΫϥελ਺ L
   ΛܾΊΔख๏ͱͯ͠ΤϧϘʔ๏͕༗໊ • ΤϧϘʔ๏͸ͭͷεςοϓͰߦ͏ʢ࣍ϖʔδҎ߱Ͱઆ໌ʣ
8. 
   ΤϧϘʔ๏ͱ͸  Lͷ஋Λม͑ͯLNFBOT๏Λ࣮ߦ͠
   ͦΕͧΕޡࠩฏํ࿨ 44& Λܭࢉ • 44&ɿσʔλͱΫϥελͷॏ৺ͷڑ཭ͷ৐࿨ ʢ$
   ͸Ϋϥελͷॏ৺ͷू߹
   9
   ͸σʔλͷू߹ʣ SSE 𝑋, 𝐶 = ' !∈# min$∈% ||𝑥 − 𝑐||& • Ϋϥελ਺Λ૿΍͢ͱ44&͸ݮগ͢Δ 44&఺ઢͷ৐࿨ ͕̋σʔλ
   ˚͕ॏ৺
9. 
   ΤϧϘʔ๏ͱ͸ 
   
   ʮ͜ΕҎ্LΛ૿΍ͯ͠΋44&͕͋·Γվળ ͠ͳ͍ʯΑ͏ͳLΛ࠷దͳLͱ͢Δ • ԣ࣠ʹΫϥελ਺ L
   ॎ࣠ʹ44&Λऔͬͨ άϥϑΛΤϧϘʔਤͱ͍͏ • ΤϧϘʔਤΛ࿹ʹݟཱͯͨ࣌ʹග FMCPX ͱͳΔ఺ ΤϧϘʔ఺ ΛLͱͯ͠࠾༻͢Δ ΤϧϘʔਤͷྫ L
   
   
   ͕ΤϧϘʔ఺ͱͳΔ
10. 
    ΤϧϘʔ๏ͱ͸ ΤϧϘʔ఺Λݕग़͢Δ༷ʑͳख๏͕ఏҊ͞Ε͍ͯΔ • δϟϯϓ๏ • -๏ • ,OFFEMFΞϧΰϦζϜ ͳͲ ͜ΕΒͷଟ͕͘ΤϧϘʔਤͷزԿతಛ௃ʢ֯౓
    ڑ཭
    ܏͖ʣʹண໨͍ͯ͠Δ
11. 
    Ϋϥελ਺ΛܾΊΔख๏ͷੑೳൺֱ ʲ࣮ݧʳਅͷΫϥελ਺͕Ͳ͏ݟͯ΋Θ͔ΔσʔλΛͭ༻ҙ͠ ֤σʔλʹର༷ͯ͠ʑͳख๏Ͱద੾ͳΫϥελ਺ L
    ΛٻΊͨ ਖ਼ղɿL ਖ਼ղɿL ਖ਼ղɿL ਖ਼ղɿL ਖ਼ղɿL
12. 
    Ϋϥελ਺ΛܾΊΔख๏ͷੑೳൺֱ ൺֱର৅ͷख๏ • ΤϧϘʔ๏ʹجͮ͘ख๏ʢδϟϯϓ๏
    -๏
    ,OFFEMF๏ͳͲʣ • ෼ࢄʹجͮ͘ख๏ʢ.BSSJPU
    73$
    ,-*OEFY
    1IBNͳͲʣ • ৘ใཧ࿦ʹجͮ͘ख๏ʢ#*$
    #*$ GJYFE ʣ • ڑ཭ʹجͮ͘ख๏ʢ%VOO
    %#
    γϧΤοτ෼ੳʣ • γϛϡϨʔγϣϯʹجͮ͘ख๏ʢ(BQ౷ܭྔʣ
13. ʲ݁Ռʳ • XFMMTFQͱPWFSMBQQJOHʹରͯ͠͸΄ͱΜͲ ͷख๏Ͱਖ਼ղ • NBOZ
    CMPCTͱVOJGPSNͱOPSNBMʹରͯ͠͸ ख๏ʹΑͬͯ౴͕͑·ͪ·ͪ • ෼ࢄʹجͮ͘ 7BSJBODFCBTFE ख๏͸ VOJGPSNΛඞཁҎ্ʹ෼ׂ͢Δͱ͍͏ऑ఺͕ ͋Δ • શ໰ਖ਼ղͨ͠ͷ͸#*$ GJYFE ͷΈ • ΤϧϘʔ๏͸μϝμϝ ਅͷ஋
14. 
    ΤϧϘʔ๏ͷ໰୊఺ • Ϋϥελ਺ Lͱ44&ͱ͍͏εέʔϧͷҟͳΔͭͷྔΛϓϩοτͨ͠ΤϧϘʔਤ ʹ͓͍ͯ
    زԿతಛ௃ʢ֯౓ɺڑ཭ɺ܏͖ʣʹཧ࿦తҙຯ͸ͳ͍ • σʔλͷεέʔϧΛЋഒ͢Δʢ֦େɾॖখ͢Δʣͱ44&͸ α&ഒʹͳΔͨΊ ΤϧϘʔ๏ͷ݁Ռ͕มΘͬͯ͠·͏ • Lͷ୳ࡧൣғ͕มΘΔͱ݁Ռ͕มΘΔ͜ͱ͕͋Δ
15. 
    ΤϧϘʔ๏ͷ໰୊఺ ͭͷσʔλʹର͢ΔΤϧϘʔਤ • ៉ྷͳʮගʯ͸ͳ͔ͳ͔ݱ Εͣ
    ͳͩΒ͔ͳۂઢΛඳ ͘͜ͱ͕ଟ͍ʢԼਤ Eʣ
16. ద੾ͳΫϥελ਺ L
    ΛٻΊΔख๏͕࣋ͭ΂͖ੑ࣭  σʔλΛ֦େɾॖখͯ͠΋݁Ռ͕มΘΒͳ͍  ࠷దͳL͕୳ࡧൣғʹؚ·Ε͍ͯΔ࣌ʹ୳ࡧൣғΛ૿΍ͯ͠΋݁Ռ͕มΘΒͳ͍  ϊΠζσʔλʹରͯ͠΋44&͸ݮগؔ਺ͱͳΔͷͰɺͦͷݮগ෼ͷӨڹΛআڈ ͢΂͖  ҙຯΛ࣋ͨͳ͍ϊΠζσʔλʹରͯ͠͸Lͱ͍͏݁ՌΛग़͢ 
    ఏҊख๏
17. 
    ఏҊख๏ ຊ࿦จͰ͸ΤϧϘʔ๏ͷվળख๏ΛఏҊ͍ͯ͠Δ  44&Ͱ͸ͳ͘αϯϓϧ͋ͨΓͷ44&Λ࢖͏ɻͨͩ͠
    ''( ) Ͱ͸ͳ͘ෆภ౷ܭྔ ''( )*+ ɻ  εέʔϧͷมߋͷӨڹΛड͚ͳ͍Α͏ʹ
    ෼ࢄͰ͸ͳ͘ඪ४ภࠩ ''( )*+ Λ࢖͏ɻ  ϊΠζσʔλͷ44&ͷظ଴஋ 0 SSE+ ͰׂΔ͜ͱͰਖ਼نԽ͢Δ !!" #$% & !!"% #$% = ''( , ''(% 44&Ͱ͸ͳ͘ ''( , ''(% Λ࢖ͬͯ࠷దͳLΛٻΊΔ͜ͱΛఏҊ
18. 
    ఏҊख๏ • Lͷ஋Λม͑ͯLNFBOT๏Λߦ͍
    ͦͷͱ͖ͷ44&Ͱ͸ͳ͘ ''( , ''(% Λܭࢉ͢Δ • ''( , ''(% ͕ΛԼճ͍ͬͯΔͱ͖͸ϊΠζσʔλΑΓ΋͏·͘44&ΛݮΒ͍ͤͯΔ ͱ͍͏͜ͱͳͷͰ
    ΛԼճ͍ͬͯΔ෦෼ʹண໨͢Δ • ࿦จͰ͸ ''( , ''(% ͕ • ࠷খ஋ΛऔΔLΛ࠷దͳLͱ͢Δʢ.BY SFEVDUJPOʣ • ҎԼͷ஋ΛऔΔ࠷ޙͷLΛ࠷దͳLͱ͢Δʢ-BTU
    SFEVDUJPOʣ ͱ͍͏ͭͷख๏ΛఏҊ
19. 
    ఏҊख๏ ఏҊख๏ͷਫ਼౓ɿ͋·Γྑ͘ͳ͔ͬͨʢӈਤʣ <>ͷ5BCMF
    ΛՃ޻ͨ͠΋ͷ վળ൛ͷΤϧϘʔਤ
20. 
    ิ଍ ࠷దͳΫϥελ਺ L
    ΛܾΊΔख๏ʹ͍ͭͯ৭ʑͱݕ౼͖͕ͯͨ͠ɺ ͦ΋ͦ΋LNFBOT๏͕༗ޮͰͳ͍৔߹͕͋Δ͜ͱʹ஫ҙ
21. 
    ·ͱΊ • LNFBOT๏ʹ͓͍ͯ࠷దͳΫϥελ਺ L
    ΛܾΊΔख๏Λൺֱɾݕ౼ͨ͠ • ΤϧϘʔ๏͸ཧ࿦తഎܠ͕๡্͍͠ʹਫ਼౓͕ѱ͍ͷͰ࢖͏΂͖Ͱͳ͍ • ΤϧϘʔ๏ΑΓ΋༏Εͨख๏ʢ73$
    #*$
    (BQ౷ܭྔʣΛ࢖͏ͷ͕๬·͍͠ • ຊ࿦จͷఏҊख๏͸্ͷͭΑΓ༏ҐͰ͸ͳ͍