Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コミュニティサービスにおける機械学習のためのアノテーション
Search
tatsushim
July 05, 2018
Research
0
2k
コミュニティサービスにおける機械学習のためのアノテーション
Annotation Meetup ~ 機械学習における教師データ作成をテーマに、アノテーションのノウハウを共有する勉強会 ~ の登壇資料
tatsushim
July 05, 2018
Tweet
Share
More Decks by tatsushim
See All by tatsushim
DockerとAmazon SageMakerで実現した機械学習システムのプロダクション移行
tatsushim
0
26k
日本のママをコンテナで支える
tatsushim
1
3k
コネヒトが考える技術選択の仕方について
tatsushim
0
21k
コネヒトが考えるサービスづくりに必要な技術とその考え方について
tatsushim
2
3k
word2vecで女性向けQ&Aサイトを解析してみた
tatsushim
0
6.2k
独身男性のためのデータドリブン講座
tatsushim
0
6.7k
Other Decks in Research
See All in Research
第79回 産総研人工知能セミナー 発表資料
agiats
1
120
Generative Predictive Model for Autonomous Driving 第61回 コンピュータビジョン勉強会@関東 (後編)
kentosasaki
0
200
ICLR2024: Reading "Training Unbiased Diffusion Models From Biased Dataset"
hotekagi
0
100
工学としてのSRE再訪 / Revisiting SRE as Engineering
yuukit
19
11k
JMED-LLM: 日本語医療LLM評価データセットの公開
fta98
5
1.2k
最近のVisual Odometryと Depth Estimation
sgk
1
260
[CV勉強会@関東 CVPR2024] Visual Layout Composer: Image-Vector Dual Diffusion Model for Design Layout Generation / kantocv 61th CVPR 2024
shunk031
1
410
大規模言語モデルのバイアス
yukinobaba
PRO
4
670
第60回名古屋CV・PRML勉強会:CVPR2024論文紹介(AM-RADIO)
naok615
0
240
12
0325
0
110
TransformerによるBEV Perception
hf149
1
380
機械学習による言語パフォーマンスの評価
langstat
6
680
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
72
5.3k
Ruby is Unlike a Banana
tanoku
96
11k
Thoughts on Productivity
jonyablonski
67
4.3k
RailsConf 2023
tenderlove
29
880
Mobile First: as difficult as doing things right
swwweet
222
8.9k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
3
370
Designing Experiences People Love
moore
138
23k
Speed Design
sergeychernyshev
24
570
Transcript
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
ࣗݾհ
w ίωώτגࣜձࣾ ݱࡏظ w େֶӃ࣌ म࢜ ʹىۀ w
ڞಉۀऀऔక$50 w ઐػցֶश w ,%%*άϧʔϓʹ."͞ΕάϧʔϓೖΓ ౡాୡ࿕ !UBUTVTIJN
None
ਓͷੜ׆ʹͳͯ͘ͳΒͳ͍ͷΛͭ͘Δ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆྔ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕ ͙͢ฦͬͯ͘Δ Ͱ ճ͕དྷΔ ಉ͡Έ ΛڞײͰ͖Δ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕ ͙͢ฦͬͯ͘Δ Ͱ ճ͕དྷΔ ಉ͡Έ ΛڞײͰ͖Δ ࣮ϚϚϦͷ͜ͷΑ͏ͳ
ʮ͔͍͋ͨͨίϛϡχςΟʯ Λػցֶश͕ࢧ͍͑ͯ·͢
ػցֶशͷ׆༻ࣄྫʹ͍ͭͯจΛॻ͖·ͨ͠ IUUQTXXXXBOUFEMZDPNDPNQBOJFTDPOOFIJUPQPTU@BSUJDMFT
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
ϚϚϦͷΑ͏ͳίϛϡχςΟͷதͰ2"Λߦ͏αʔϏεͷ֓ཁਤ
ػցֶशͷಋೖχʔζͷ࣮ྫ
• ίϛϡχςΟʹ͓͍࣭ͯʹରͯ͠ճ͕༩͑ ΒΕ͍ͯΔ͜ͱ͕ͱͯେࣄ • ະճΛԿʹԼ͛Δ͜ͱ͕Ͱ͖Δ͔, ͕ϙΠϯ τ • ߘޙ,
ະճʹͳͬͨ··ͷ࣭ΛRˍDͷதͰ ੳͯ͠Έͨ త
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z ੳΛͯ͠ΈΔͱ ͜ͷΑ͏ͳߘ ճΛ༩͑ΒΕʹ͍͘͜ͱ͕Θ͔ͬͨ
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z ײͷڞײΛٻΊΔ͜ͷΑ͏ͳߘ ΛʮڞײΛٻΊΔ࣭ʯͱఆٛ͢Δ
՝ͷղܾํ๏
՝ͷղܾํ๏
՝ͷղܾํ๏ ࣭ͷߴ͍ڭࢣσʔλ͕ඞཁ
ίϛϡχςΟαʔϏε ʹ͓͚ΔΞϊςʔγϣϯͷ՝
Ξϊςʔγϣϯͷ֎͕͍͠
• ίϛϡχςΟͰʑΓͱΓ͞ΕΔಠಛͷݴ͍ճ͠ දݱ, ίϯςΩετͷཧղ͕ඞཁ • Ex. 8w5d = ৷ܦաظ͕ؒ8िؒͱ5
• ͭ·Γ, Amazon Mechanical TurkͳͲͷΫϥυιʔ γϯάαʔϏεͷར༻͕Ͱ͖ͳ͍ • ίϛϡχςΟΛৗۀͰݟ͍ͯΔ ίϛϡχςΟϚωʔδϟʔͰͳ͍ͱਖ਼͍͠அ ͍͠ Ξϊςʔγϣϯͷ֎͕͍͠
• ຖίϛϡχςΟΛݟͯ, ͦͷίϛϡχςΟͰ ʹڍ͕ͬͨ͜ͱงғؾΛ؍͠, αʔϏε ͷվળɾاըFB͢Δׂ • ϢʔβʔΠϯλϏϡʔͷ૭ޱΧελϚʔαϙʔ τରԠ݉
• ϚϚϦͷʮ͔͍͋ͨͨίϛϡχςΟʯΛҡ࣋͠ վળ͍ͯͨ͘͠Ίʹ͔ܽͤͳ͍ଘࡏ ίϛϡχςΟϚωʔδϟʔͷׂ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ͜ΕڞײΛٻΊΔ࣭ʁ ͦΕͱڞײҎ֎ΛٻΊΔ࣭ʁ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ݟΛ࣋ͬͯదͳஅΛͯ͘͠ΕΔͷ͕ ίϛϡχςΟϚωʔδϟʔ
ֶशثͷਫ਼্ͷͨΊʹ ίϛϡχςΟϚωʔδϟʔ ͱͷ࿈ܞ͕ෆՄܽ
ҰํͰ ਓͷஅʹΑΔ՝
• ϥϕϧ͚ݶΒΕͨਓͷίϛϡχςΟϚωʔ δϟʔʹΑͬͯߦΘΕΔ • ਓͳͷͰͲ͏ͯͦ͠ͷਓͷओ؍͕ೖΔ • ΞϊςʔγϣϯσʔλͷҰ؏ੑͷ୲อ͕͍͠ அ͕ओ؍త
Ͳ͏ͬͯΞϊςʔγϣϯ͢Δʁ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
• Definitely Yes(DY)ఆऀ͕ࣗ৴Λ࣋ͬͯஅ͠ ͨࡍʹ༻͍ΒΕΔ • Probably Yes(PY) DY ΑΓࣗ৴͕ͳ͍͕YesͰ
͋Ζ͏ͱஅͨ͠ࡍʹ༻͍ΒΕΔ ஈ֊ͷϥϕϧ
• දதͷ Y ڞײΛٻΊΔ࣭ͱͯ͠ྨ͠ɼN ڞײҎ֎ΛٻΊΔ࣭ͱྨ • ఆ݁Ռ͕Ұக͠ͳ͍, Dͱͳ͍ͬͯΔ෦ʹؔͯ͠
ϥϕϧෆՄೳͱஅ͠ɼσʔληοτ͔Βআ͘ ஈ֊ͷϥϕϧ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
LBQQB
ͬͨ͜ͱ͋ΔΑͱ͍͏ํ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
• ೋਓͷఆऀʹΑΔྨͷҰகΛݟΔ • 1ʹ͍ۙ΄ͲҰக͕ߴ͍ • 0.8ΑΓେ͖͚ΕҰக΄ͱΜͲҰக͍ͯ͠Δ ͱݟͳͤΔ kappaͷҙຯ SFG-BOEJT+3
,PDI((5IFNFBTVSFNFOUPGPCTFSWFSBHSFFNFOUGPSDBUFHPSJDBMEBUB#JPNFUSJDT ɹ
࣭ͷߴ͍Ξϊςʔγϣϯσʔλ ͷ࡞ʹऔΓΜͰ͍·͢
͜Ε·Ͱ ͱ͜Ε͔Β
શࠃʹ57$.Λ์ө
• CMͷ݁Ռ, τϥϑΟοΫ2ഒʹ • ϚϚ͚No.1ͱͳΓߦͱͷऔΓΈࣾ ձͷൃ৴ߦ͍ͬͯΔ • ࣾձͷΠϯϑϥʹ͖ۙͮͭͭ͋ΔதͰ αʔϏεͷίΞςΫϊϩδʔͰ͋Δ
ػցֶशͷΠϯύΫτେ͖͘ͳΔ ػցֶशͷΠϯύΫτ͕େ͖͘ͳΔ
• ઌఔͷྫͷΑ͏ͳྨλεΫݚڀͱͯ͠ લྫ͕গͳ͘, ͞ΒʹػցֶशʹΑΔࣄۀ ΠϯύΫτΛΕΔ͜ͱͱͯΓ͕͍ ͕͋Δ • ඇ࿈ଓͳΛΔνϟϯε͕͋Δ •
ٕज़ͷྗͰ, ࠓΑΓ͏Ұஈ֊্ͷίϛϡ χςΟΛ͍͖ͬͯ·͢ ඇ࿈ଓͳΛػցֶशͰΔ
·ͱΊ
• ϚϚ͚No.1ΞϓϦͷϚϚϦ͕࣋ͭ ʮ͔͋ͨͨΈͷ͋ΔίϛϡχςΟʯ ػցֶशʹΑ࣮ͬͯݱ͞Ε͍ͯΔ • ఆ͕͍͠Ξϊςʔγϣϯʹ͍ͭͯίϛϡ χςΟϚωʔδϟʔͱ࿈ܞΛ͠ͳ͕Β, ਖ਼͍͠ Ξϊςʔγϣϯ͕Ͱ͖͍ͯΔ͔Λ౷ܭతʹ֬ೝ
͍ͯ͠Δ • ͜Ε͔Βඇ࿈ଓͳΛٕज़Ͱ͍ͬͯ͘ ·ͱΊ
͏ͪΐͬͱΛฉ͍ͯΈ͍ͨͱ ࢥͬͨํؾܰʹ͓͕͚͍ͩ͘͞ ͘͠!UBUTVTIJNʹ%.Ͱ
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ͝ਗ਼ௌ༗͏͍͟͝·ͨ͠%