Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コミュニティサービスにおける機械学習のためのアノテーション
Search
tatsushim
July 05, 2018
Research
0
2k
コミュニティサービスにおける機械学習のためのアノテーション
Annotation Meetup ~ 機械学習における教師データ作成をテーマに、アノテーションのノウハウを共有する勉強会 ~ の登壇資料
tatsushim
July 05, 2018
Tweet
Share
More Decks by tatsushim
See All by tatsushim
DockerとAmazon SageMakerで実現した機械学習システムのプロダクション移行
tatsushim
0
26k
日本のママをコンテナで支える
tatsushim
1
3k
コネヒトが考える技術選択の仕方について
tatsushim
0
21k
コネヒトが考えるサービスづくりに必要な技術とその考え方について
tatsushim
2
3k
word2vecで女性向けQ&Aサイトを解析してみた
tatsushim
0
6.1k
独身男性のためのデータドリブン講座
tatsushim
0
6.7k
Other Decks in Research
See All in Research
ミニ四駆AI用制御装置の事例紹介
aks3g
0
130
SSII2024 [OS2] 大規模言語モデルとVision & Languageのこれから
ssii
PRO
5
1.4k
Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences
sgk
0
250
DiscordにおけるキャラクターIPを活用したUGCコンテンツ生成サービスの ラピッドプロトタイピング ~国際ハッカソンでの事例研究
o_ob
0
220
MIRU2024チュートリアル「様々なセンサやモダリティを用いたシーン状態推定」
miso2024
3
1.9k
20240725異文化融合研究セミナーiSeminar
tadook
0
120
DroidKaigi CfP分析
yukihiromori
0
140
Harnessing the Power of Vicinity-Informed Analysis for Classification under Covariate Shift
nanofi
3
300
第28回 著者ゼミ:Identification of drug responsible glycogene signature in liver carcinoma from meta-analysis using RNA-seq data
ktatsuya
2
240
Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices
masakat0
0
170
snlp2024_multiheadMoE
takase
0
350
SSII2024 [PD] SSII、次の30年への期待
ssii
PRO
2
1.4k
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
93
5.1k
Navigating Team Friction
lara
183
13k
4 Signs Your Business is Dying
shpigford
179
21k
Intergalactic Javascript Robots from Outer Space
tanoku
268
26k
Speed Design
sergeychernyshev
22
430
Building a Scalable Design System with Sketch
lauravandoore
458
32k
Principles of Awesome APIs and How to Build Them.
keavy
125
16k
How To Stay Up To Date on Web Technology
chriscoyier
786
250k
Visualization
eitanlees
142
15k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.1k
How to Ace a Technical Interview
jacobian
274
23k
Practical Orchestrator
shlominoach
185
10k
Transcript
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
ࣗݾհ
w ίωώτגࣜձࣾ ݱࡏظ w େֶӃ࣌ म࢜ ʹىۀ w
ڞಉۀऀऔక$50 w ઐػցֶश w ,%%*άϧʔϓʹ."͞ΕάϧʔϓೖΓ ౡాୡ࿕ !UBUTVTIJN
None
ਓͷੜ׆ʹͳͯ͘ͳΒͳ͍ͷΛͭ͘Δ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆྔ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕ ͙͢ฦͬͯ͘Δ Ͱ ճ͕དྷΔ ಉ͡Έ ΛڞײͰ͖Δ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕ ͙͢ฦͬͯ͘Δ Ͱ ճ͕དྷΔ ಉ͡Έ ΛڞײͰ͖Δ ࣮ϚϚϦͷ͜ͷΑ͏ͳ
ʮ͔͍͋ͨͨίϛϡχςΟʯ Λػցֶश͕ࢧ͍͑ͯ·͢
ػցֶशͷ׆༻ࣄྫʹ͍ͭͯจΛॻ͖·ͨ͠ IUUQTXXXXBOUFEMZDPNDPNQBOJFTDPOOFIJUPQPTU@BSUJDMFT
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
ϚϚϦͷΑ͏ͳίϛϡχςΟͷதͰ2"Λߦ͏αʔϏεͷ֓ཁਤ
ػցֶशͷಋೖχʔζͷ࣮ྫ
• ίϛϡχςΟʹ͓͍࣭ͯʹରͯ͠ճ͕༩͑ ΒΕ͍ͯΔ͜ͱ͕ͱͯେࣄ • ະճΛԿʹԼ͛Δ͜ͱ͕Ͱ͖Δ͔, ͕ϙΠϯ τ • ߘޙ,
ະճʹͳͬͨ··ͷ࣭ΛRˍDͷதͰ ੳͯ͠Έͨ త
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z ੳΛͯ͠ΈΔͱ ͜ͷΑ͏ͳߘ ճΛ༩͑ΒΕʹ͍͘͜ͱ͕Θ͔ͬͨ
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z ײͷڞײΛٻΊΔ͜ͷΑ͏ͳߘ ΛʮڞײΛٻΊΔ࣭ʯͱఆٛ͢Δ
՝ͷղܾํ๏
՝ͷղܾํ๏
՝ͷղܾํ๏ ࣭ͷߴ͍ڭࢣσʔλ͕ඞཁ
ίϛϡχςΟαʔϏε ʹ͓͚ΔΞϊςʔγϣϯͷ՝
Ξϊςʔγϣϯͷ֎͕͍͠
• ίϛϡχςΟͰʑΓͱΓ͞ΕΔಠಛͷݴ͍ճ͠ දݱ, ίϯςΩετͷཧղ͕ඞཁ • Ex. 8w5d = ৷ܦաظ͕ؒ8िؒͱ5
• ͭ·Γ, Amazon Mechanical TurkͳͲͷΫϥυιʔ γϯάαʔϏεͷར༻͕Ͱ͖ͳ͍ • ίϛϡχςΟΛৗۀͰݟ͍ͯΔ ίϛϡχςΟϚωʔδϟʔͰͳ͍ͱਖ਼͍͠அ ͍͠ Ξϊςʔγϣϯͷ֎͕͍͠
• ຖίϛϡχςΟΛݟͯ, ͦͷίϛϡχςΟͰ ʹڍ͕ͬͨ͜ͱงғؾΛ؍͠, αʔϏε ͷվળɾاըFB͢Δׂ • ϢʔβʔΠϯλϏϡʔͷ૭ޱΧελϚʔαϙʔ τରԠ݉
• ϚϚϦͷʮ͔͍͋ͨͨίϛϡχςΟʯΛҡ࣋͠ վળ͍ͯͨ͘͠Ίʹ͔ܽͤͳ͍ଘࡏ ίϛϡχςΟϚωʔδϟʔͷׂ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ͜ΕڞײΛٻΊΔ࣭ʁ ͦΕͱڞײҎ֎ΛٻΊΔ࣭ʁ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ݟΛ࣋ͬͯదͳஅΛͯ͘͠ΕΔͷ͕ ίϛϡχςΟϚωʔδϟʔ
ֶशثͷਫ਼্ͷͨΊʹ ίϛϡχςΟϚωʔδϟʔ ͱͷ࿈ܞ͕ෆՄܽ
ҰํͰ ਓͷஅʹΑΔ՝
• ϥϕϧ͚ݶΒΕͨਓͷίϛϡχςΟϚωʔ δϟʔʹΑͬͯߦΘΕΔ • ਓͳͷͰͲ͏ͯͦ͠ͷਓͷओ؍͕ೖΔ • ΞϊςʔγϣϯσʔλͷҰ؏ੑͷ୲อ͕͍͠ அ͕ओ؍త
Ͳ͏ͬͯΞϊςʔγϣϯ͢Δʁ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
• Definitely Yes(DY)ఆऀ͕ࣗ৴Λ࣋ͬͯஅ͠ ͨࡍʹ༻͍ΒΕΔ • Probably Yes(PY) DY ΑΓࣗ৴͕ͳ͍͕YesͰ
͋Ζ͏ͱஅͨ͠ࡍʹ༻͍ΒΕΔ ஈ֊ͷϥϕϧ
• දதͷ Y ڞײΛٻΊΔ࣭ͱͯ͠ྨ͠ɼN ڞײҎ֎ΛٻΊΔ࣭ͱྨ • ఆ݁Ռ͕Ұக͠ͳ͍, Dͱͳ͍ͬͯΔ෦ʹؔͯ͠
ϥϕϧෆՄೳͱஅ͠ɼσʔληοτ͔Βআ͘ ஈ֊ͷϥϕϧ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
LBQQB
ͬͨ͜ͱ͋ΔΑͱ͍͏ํ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
• ೋਓͷఆऀʹΑΔྨͷҰகΛݟΔ • 1ʹ͍ۙ΄ͲҰக͕ߴ͍ • 0.8ΑΓେ͖͚ΕҰக΄ͱΜͲҰக͍ͯ͠Δ ͱݟͳͤΔ kappaͷҙຯ SFG-BOEJT+3
,PDI((5IFNFBTVSFNFOUPGPCTFSWFSBHSFFNFOUGPSDBUFHPSJDBMEBUB#JPNFUSJDT ɹ
࣭ͷߴ͍Ξϊςʔγϣϯσʔλ ͷ࡞ʹऔΓΜͰ͍·͢
͜Ε·Ͱ ͱ͜Ε͔Β
શࠃʹ57$.Λ์ө
• CMͷ݁Ռ, τϥϑΟοΫ2ഒʹ • ϚϚ͚No.1ͱͳΓߦͱͷऔΓΈࣾ ձͷൃ৴ߦ͍ͬͯΔ • ࣾձͷΠϯϑϥʹ͖ۙͮͭͭ͋ΔதͰ αʔϏεͷίΞςΫϊϩδʔͰ͋Δ
ػցֶशͷΠϯύΫτେ͖͘ͳΔ ػցֶशͷΠϯύΫτ͕େ͖͘ͳΔ
• ઌఔͷྫͷΑ͏ͳྨλεΫݚڀͱͯ͠ લྫ͕গͳ͘, ͞ΒʹػցֶशʹΑΔࣄۀ ΠϯύΫτΛΕΔ͜ͱͱͯΓ͕͍ ͕͋Δ • ඇ࿈ଓͳΛΔνϟϯε͕͋Δ •
ٕज़ͷྗͰ, ࠓΑΓ͏Ұஈ֊্ͷίϛϡ χςΟΛ͍͖ͬͯ·͢ ඇ࿈ଓͳΛػցֶशͰΔ
·ͱΊ
• ϚϚ͚No.1ΞϓϦͷϚϚϦ͕࣋ͭ ʮ͔͋ͨͨΈͷ͋ΔίϛϡχςΟʯ ػցֶशʹΑ࣮ͬͯݱ͞Ε͍ͯΔ • ఆ͕͍͠Ξϊςʔγϣϯʹ͍ͭͯίϛϡ χςΟϚωʔδϟʔͱ࿈ܞΛ͠ͳ͕Β, ਖ਼͍͠ Ξϊςʔγϣϯ͕Ͱ͖͍ͯΔ͔Λ౷ܭతʹ֬ೝ
͍ͯ͠Δ • ͜Ε͔Βඇ࿈ଓͳΛٕज़Ͱ͍ͬͯ͘ ·ͱΊ
͏ͪΐͬͱΛฉ͍ͯΈ͍ͨͱ ࢥͬͨํؾܰʹ͓͕͚͍ͩ͘͞ ͘͠!UBUTVTIJNʹ%.Ͱ
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ͝ਗ਼ௌ༗͏͍͟͝·ͨ͠%