コミュニティサービスにおける機械学習のためのアノテーション

Annotation Meetup ~ 機械学習における教師データ作成をテーマに、アノテーションのノウハウを共有する勉強会 ~ の登壇資料

Transcript

1. $POOFIJUP
   *OD
   $50
   !UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ
   ػցֶशͷͨΊͷΞϊςʔγϣϯ
2. ࣗݾ঺հ 
3.  w ίωώτגࣜձࣾ ݱࡏظ໨
   w େֶӃ࣌୅ म࢜೥ ʹىۀ
   w ڞಉ૑ۀऀ
   औక໾$50
   w ઐ໳͸ػցֶश
   w ೥
   ,%%*άϧʔϓʹ."͞ΕάϧʔϓೖΓ ౡాୡ࿕
   !UBUTVTIJN
5. ਓͷੜ׆ʹͳͯ͘͸ͳΒͳ͍΋ͷΛͭ͘Δ
6. 
7. 
8. 
9. 
10.  Ϣʔβʔͷ౤ߘʹ೤ྔߴ͘౴͑ΔϢʔβʔ͕ଟ͍ ఆྔ
11.  Ϣʔβʔͷ౤ߘʹ೤ྔߴ͘౴͑ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕
 ͙͢ฦͬͯ͘Δ ໷Ͱ΋ ճ౴͕དྷΔ ಉ͡೰Έ
 ΛڞײͰ͖Δ
12.  Ϣʔβʔͷ౤ߘʹ೤ྔߴ͘౴͑ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕
 ͙͢ฦͬͯ͘Δ ໷Ͱ΋ ճ౴͕དྷΔ ಉ͡೰Έ
 ΛڞײͰ͖Δ ࣮͸ϚϚϦͷ͜ͷΑ͏ͳ
    ʮ͔͍͋ͨͨίϛϡχςΟʯ
    Λػցֶश͕ࢧ͍͑ͯ·͢
13. ػցֶशͷ׆༻ࣄྫʹ͍ͭͯ࿦จΛॻ͖·ͨ͠ IUUQTXXXXBOUFEMZDPNDPNQBOJFTDPOOFIJUPQPTU@BSUJDMFT
14. $POOFIJUP
    *OD
    $50
    !UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ
    ػցֶशͷͨΊͷΞϊςʔγϣϯ
15. $POOFIJUP
    *OD
    $50
    !UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ
    ػցֶशͷͨΊͷΞϊςʔγϣϯ
16. ϚϚϦͷΑ͏ͳίϛϡχςΟͷதͰ2"Λߦ͏αʔϏεͷ֓ཁਤ
17. ػցֶशͷಋೖχʔζͷ࣮ྫ 
18.  • ίϛϡχςΟʹ͓͍ͯ͸࣭໰ʹରͯ͠ճ౴͕༩͑ ΒΕ͍ͯΔ͜ͱ͕ͱͯ΋େࣄ • ະճ౴཰Λ೗ԿʹԼ͛Δ͜ͱ͕Ͱ͖Δ͔, ͕ϙΠϯ τ • ౤ߘޙ, ະճ౴ʹͳͬͨ··ͷ࣭໰ΛRˍDͷதͰ ෼ੳͯ͠Έͨ ໨త
19. 
20.  lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͸͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏
    ͜Μͳࣗ෼ʹݏؾ͕͞͠·͢
    ਖ਼௚ਏ͍z
21.  lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͸͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏
    ͜Μͳࣗ෼ʹݏؾ͕͞͠·͢
    ਖ਼௚ਏ͍z ෼ੳΛͯ͠ΈΔͱ
    ͜ͷΑ͏ͳ౤ߘ͸ ճ౴Λ༩͑ΒΕʹ͍͘͜ͱ͕Θ͔ͬͨ
22.  lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͸͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏
    ͜Μͳࣗ෼ʹݏؾ͕͞͠·͢
    ਖ਼௚ਏ͍z ײ৘ͷڞײΛٻΊΔ͜ͷΑ͏ͳ౤ߘ ΛʮڞײΛٻΊΔ࣭໰ʯͱఆٛ͢Δ
23. ՝୊ͷղܾํ๏ 
24.  
     
       
    
     
    
     
    
     
             ՝୊ͷղܾํ๏
25.  
     
       
    
     
    
     
    
     
             ՝୊ͷղܾํ๏ ࣭ͷߴ͍ڭࢣσʔλ͕ඞཁ
26. ίϛϡχςΟαʔϏε
    ʹ͓͚ΔΞϊςʔγϣϯͷ՝୊ 
27. 
28.  Ξϊςʔγϣϯͷ֎஫͕೉͍͠
29.  • ίϛϡχςΟͰ೔ʑ΍ΓͱΓ͞ΕΔಠಛͷݴ͍ճ͠ ΍දݱ, ίϯςΩετͷཧղ͕ඞཁ • Ex. 8w5d = ೛৷ܦաظ͕ؒ8िؒͱ5೔ • ͭ·Γ, Amazon Mechanical TurkͳͲͷΫϥ΢υιʔ γϯάαʔϏεͷར༻͕Ͱ͖ͳ͍ • ίϛϡχςΟΛ೔ৗۀ຿Ͱݟ͍ͯΔ
 ίϛϡχςΟϚωʔδϟʔͰͳ͍ͱਖ਼͍͠൑அ
 ͸೉͍͠ Ξϊςʔγϣϯͷ֎஫͕೉͍͠
30.  • ຖ೔ίϛϡχςΟΛݟͯ, ͦͷ೔ίϛϡχςΟͰ
 ࿩୊ʹڍ͕ͬͨ͜ͱ΍งғؾΛ؍࡯͠, αʔϏε ͷվળɾاը΁FB͢Δ໾ׂ • ϢʔβʔΠϯλϏϡʔͷ૭ޱ΍ΧελϚʔαϙʔ τରԠ΋݉೚ • ϚϚϦͷʮ͔͍͋ͨͨίϛϡχςΟʯΛҡ࣋͠
 վળ͍ͯͨ͘͠Ίʹ͔ܽͤͳ͍ଘࡏ ίϛϡχςΟϚωʔδϟʔͷ໾ׂ
31. 
32.  ΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖ೔ͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ
33.  ΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖ೔ͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ͜Ε͸ڞײΛٻΊΔ࣭໰ʁ
    ͦΕͱ΋ڞײҎ֎ΛٻΊΔ࣭໰ʁ
34.  ΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖ೔ͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ஌ݟΛ࣋ͬͯద੾ͳ൑அΛͯ͘͠ΕΔͷ͕
 ίϛϡχςΟϚωʔδϟʔ
35. 
36.  ֶशثͷਫ਼౓޲্ͷͨΊʹ͸
    ίϛϡχςΟϚωʔδϟʔ
    ͱͷ࿈ܞ͕ෆՄܽ
37.  ҰํͰ
    ਓͷ൑அʹΑΔ՝୊΋
38.  • ϥϕϧ෇͚͸ݶΒΕͨਓ਺ͷίϛϡχςΟϚωʔ δϟʔʹΑͬͯߦΘΕΔ • ਓͳͷͰͲ͏ͯ͠΋ͦͷਓͷओ؍͕ೖΔ • ΞϊςʔγϣϯσʔλͷҰ؏ੑͷ୲อ͕೉͍͠ ൑அ͕ओ؍త
39. 
40.  Ͳ͏΍ͬͯΞϊςʔγϣϯ͢Δʁ
41.  • ෳ਺ਓͷ൑ఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ͸4ஈ֊)ͷϥϕϧ෇ • kappa܎਺Λ༻͍ͯ෼ྨͷҰக౓ݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓ૊Έ
42.  • ෳ਺ਓͷ൑ఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ͸4ஈ֊)ͷϥϕϧ෇ • kappa܎਺Λ༻͍ͯ෼ྨͷҰக౓ݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓ૊Έ
43.  • Definitely Yes(DY)͸൑ఆऀ͕ࣗ৴Λ࣋ͬͯ൑அ͠ ͨࡍʹ༻͍ΒΕΔ • Probably Yes(PY)͸ DY ΑΓ΋ࣗ৴͕ͳ͍͕YesͰ ͋Ζ͏ͱ൑அͨ͠ࡍʹ༻͍ΒΕΔ ஈ֊ͷϥϕϧ෇
44.  • දதͷ Y ͸ڞײΛٻΊΔ࣭໰ͱͯ͠෼ྨ͠ɼN ͸
 ڞײҎ֎ΛٻΊΔ࣭໰ͱ෼ྨ • ൑ఆ݁Ռ͕Ұக͠ͳ͍, Dͱͳ͍ͬͯΔ෦෼ʹؔͯ͠ ͸ϥϕϧ෇ෆՄೳͱ൑அ͠ɼσʔληοτ͔Βআ͘ ஈ֊ͷϥϕϧ෇
45.  • ෳ਺ਓͷ൑ఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ͸4ஈ֊)ͷϥϕϧ෇ • kappa܎਺Λ༻͍ͯ෼ྨͷҰக౓ݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓ૊Έ
46. 
47.  LBQQB܎਺
48.  ࢖ͬͨ͜ͱ͋ΔΑͱ͍͏ํ
49.  kappa܎਺ͷఆٛ SFG
    +3-BOEJT
    BOE
    ((,PDI
    5IF
    .FBTVSFNFOU
    PG
    0CTFSWFS
    "HSFFNFOU
    GPS
    $BUFHPSJDBM
    %BUB
    #JPNFUSJDT
    7PM
    
    /P
    
    QQ
    
    
50.  kappa܎਺ͷఆٛ SFG
    +3-BOEJT
    BOE
    ((,PDI
    5IF
    .FBTVSFNFOU
    PG
    0CTFSWFS
    "HSFFNFOU
    GPS
    $BUFHPSJDBM
    %BUB
    #JPNFUSJDT
    7PM
    
    /P
    
    QQ
    
    
51.  kappa܎਺ͷఆٛ SFG
    +3-BOEJT
    BOE
    ((,PDI
    5IF
    .FBTVSFNFOU
    PG
    0CTFSWFS
    "HSFFNFOU
    GPS
    $BUFHPSJDBM
    %BUB
    #JPNFUSJDT
    7PM
    
    /P
    
    QQ
    
    
52.  • ೋਓͷ൑ఆऀʹΑΔ෼ྨͷҰக౓ΛݟΔ܎਺ • 1ʹ͍ۙ΄ͲҰக౓͕ߴ͍ • 0.8ΑΓେ͖͚Ε͹Ұக౓͸΄ͱΜͲҰக͍ͯ͠Δ ͱݟͳͤΔ kappa܎਺ͷҙຯ SFG
    -BOEJT
    +3
    ,PDI
    ((
    5IF
    NFBTVSFNFOU
    PG
    PCTFSWFS
    BHSFFNFOU
    GPS
    DBUFHPSJDBM
    EBUB
    #JPNFUSJDT
    
      ɹ
53. 
54.  ࣭ͷߴ͍Ξϊςʔγϣϯσʔλ ͷ࡞੒ʹऔΓ૊ΜͰ͍·͢
55. ͜Ε·Ͱ
    ͱ͜Ε͔Β 
56. 
57.  શࠃʹ57$.Λ์ө
58.  • CMͷ݁Ռ, τϥϑΟοΫ͸2ഒʹ • ϚϚ޲͚No.1ͱͳΓߦ੓ͱͷऔΓ૊Έ΍ࣾ ձ΁ͷൃ৴΋ߦ͍ͬͯΔ • ࣾձͷΠϯϑϥʹ͖ۙͮͭͭ͋ΔதͰ αʔϏεͷίΞςΫϊϩδʔͰ͋Δ
 ػցֶशͷΠϯύΫτ͸େ͖͘ͳΔ ػցֶशͷΠϯύΫτ͕େ͖͘ͳΔ
59. 
60.  • ઌఔͷྫͷΑ͏ͳ෼ྨλεΫ͸ݚڀͱͯ͠ ΋લྫ͕গͳ͘, ͞ΒʹػցֶशʹΑΔࣄۀ
 ΠϯύΫτΛ૑ΕΔ͜ͱ͸ͱͯ΋΍Γ͕͍ ͕͋Δ • ඇ࿈ଓͳ੒௕Λ૑Δνϟϯε͕͋Δ • ٕज़ͷྗͰ, ࠓΑΓ΋΋͏Ұஈ֊্ͷίϛϡ χςΟΛ૑͍͖ͬͯ·͢ ඇ࿈ଓͳ੒௕ΛػցֶशͰ૑Δ
61. ·ͱΊ 
62.  • ϚϚ޲͚No.1ΞϓϦͷϚϚϦ͕࣋ͭ
 ʮ͔͋ͨͨΈͷ͋ΔίϛϡχςΟʯ
 ͸ػցֶशʹΑ࣮ͬͯݱ͞Ε͍ͯΔ • ൑ఆ͕೉͍͠Ξϊςʔγϣϯʹ͍ͭͯ͸ίϛϡ χςΟϚωʔδϟʔͱ࿈ܞΛ͠ͳ͕Β, ਖ਼͍͠ Ξϊςʔγϣϯ͕Ͱ͖͍ͯΔ͔Λ౷ܭతʹ֬ೝ ͍ͯ͠Δ • ͜Ε͔Β΋ඇ࿈ଓͳ੒௕Λٕज़Ͱ૑͍ͬͯ͘ ·ͱΊ
63. ΋͏ͪΐͬͱ࿩Λฉ͍ͯΈ͍ͨͱ
 ࢥͬͨํ͸ؾܰʹ͓੠͕͚͍ͩ͘͞ ΋͘͠͸
    !UBUTVTIJN
    ʹ%.Ͱ΋ 
64. $POOFIJUP
    *OD
    $50
    !UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ͝ਗ਼ௌ༗೉͏͍͟͝·ͨ͠%