Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コミュニティサービスにおける機械学習のためのアノテーション
Search
tatsushim
July 05, 2018
Research
0
2k
コミュニティサービスにおける機械学習のためのアノテーション
Annotation Meetup ~ 機械学習における教師データ作成をテーマに、アノテーションのノウハウを共有する勉強会 ~ の登壇資料
tatsushim
July 05, 2018
Tweet
Share
More Decks by tatsushim
See All by tatsushim
DockerとAmazon SageMakerで実現した機械学習システムのプロダクション移行
tatsushim
0
26k
日本のママをコンテナで支える
tatsushim
1
3k
コネヒトが考える技術選択の仕方について
tatsushim
0
21k
コネヒトが考えるサービスづくりに必要な技術とその考え方について
tatsushim
2
3.1k
word2vecで女性向けQ&Aサイトを解析してみた
tatsushim
0
6.2k
独身男性のためのデータドリブン講座
tatsushim
0
6.7k
Other Decks in Research
See All in Research
Isotropy, Clusters, and Classifiers
hpprc
3
630
機械学習による言語パフォーマンスの評価
langstat
6
720
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
220
精度を無視しない推薦多様化の評価指標
kuri8ive
1
250
Weekly AI Agents News! 7月号 論文のアーカイブ
masatoto
1
230
Leveraging LLMs for Unsupervised Dense Retriever Ranking (SIGIR 2024)
kampersanda
2
200
Whoisの闇
hirachan
3
140
Human-Informed Machine Learning Models and Interactions
hiromu1996
2
480
ニュースメディアにおける事前学習済みモデルの可能性と課題 / IBIS2024
upura
3
520
尺度開発における質的研究アプローチ(自主企画シンポジウム7:認知行動療法における尺度開発のこれから)
litalicolab
0
350
いしかわ暮らしセミナー~移住にまつわるお金の話~
matyuda
0
150
20241115都市交通決起集会 趣旨説明・熊本事例紹介
trafficbrain
0
260
Featured
See All Featured
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
16
2.1k
Faster Mobile Websites
deanohume
305
30k
The World Runs on Bad Software
bkeepers
PRO
65
11k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2.1k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
The Art of Programming - Codeland 2020
erikaheidi
52
13k
A designer walks into a library…
pauljervisheath
204
24k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Side Projects
sachag
452
42k
Typedesign – Prime Four
hannesfritz
40
2.4k
Designing for Performance
lara
604
68k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Transcript
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
ࣗݾհ
w ίωώτגࣜձࣾ ݱࡏظ w େֶӃ࣌ म࢜ ʹىۀ w
ڞಉۀऀऔక$50 w ઐػցֶश w ,%%*άϧʔϓʹ."͞ΕάϧʔϓೖΓ ౡాୡ࿕ !UBUTVTIJN
None
ਓͷੜ׆ʹͳͯ͘ͳΒͳ͍ͷΛͭ͘Δ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆྔ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕ ͙͢ฦͬͯ͘Δ Ͱ ճ͕དྷΔ ಉ͡Έ ΛڞײͰ͖Δ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕ ͙͢ฦͬͯ͘Δ Ͱ ճ͕དྷΔ ಉ͡Έ ΛڞײͰ͖Δ ࣮ϚϚϦͷ͜ͷΑ͏ͳ
ʮ͔͍͋ͨͨίϛϡχςΟʯ Λػցֶश͕ࢧ͍͑ͯ·͢
ػցֶशͷ׆༻ࣄྫʹ͍ͭͯจΛॻ͖·ͨ͠ IUUQTXXXXBOUFEMZDPNDPNQBOJFTDPOOFIJUPQPTU@BSUJDMFT
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
ϚϚϦͷΑ͏ͳίϛϡχςΟͷதͰ2"Λߦ͏αʔϏεͷ֓ཁਤ
ػցֶशͷಋೖχʔζͷ࣮ྫ
• ίϛϡχςΟʹ͓͍࣭ͯʹରͯ͠ճ͕༩͑ ΒΕ͍ͯΔ͜ͱ͕ͱͯେࣄ • ະճΛԿʹԼ͛Δ͜ͱ͕Ͱ͖Δ͔, ͕ϙΠϯ τ • ߘޙ,
ະճʹͳͬͨ··ͷ࣭ΛRˍDͷதͰ ੳͯ͠Έͨ త
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z ੳΛͯ͠ΈΔͱ ͜ͷΑ͏ͳߘ ճΛ༩͑ΒΕʹ͍͘͜ͱ͕Θ͔ͬͨ
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z ײͷڞײΛٻΊΔ͜ͷΑ͏ͳߘ ΛʮڞײΛٻΊΔ࣭ʯͱఆٛ͢Δ
՝ͷղܾํ๏
՝ͷղܾํ๏
՝ͷղܾํ๏ ࣭ͷߴ͍ڭࢣσʔλ͕ඞཁ
ίϛϡχςΟαʔϏε ʹ͓͚ΔΞϊςʔγϣϯͷ՝
Ξϊςʔγϣϯͷ֎͕͍͠
• ίϛϡχςΟͰʑΓͱΓ͞ΕΔಠಛͷݴ͍ճ͠ දݱ, ίϯςΩετͷཧղ͕ඞཁ • Ex. 8w5d = ৷ܦաظ͕ؒ8िؒͱ5
• ͭ·Γ, Amazon Mechanical TurkͳͲͷΫϥυιʔ γϯάαʔϏεͷར༻͕Ͱ͖ͳ͍ • ίϛϡχςΟΛৗۀͰݟ͍ͯΔ ίϛϡχςΟϚωʔδϟʔͰͳ͍ͱਖ਼͍͠அ ͍͠ Ξϊςʔγϣϯͷ֎͕͍͠
• ຖίϛϡχςΟΛݟͯ, ͦͷίϛϡχςΟͰ ʹڍ͕ͬͨ͜ͱงғؾΛ؍͠, αʔϏε ͷվળɾاըFB͢Δׂ • ϢʔβʔΠϯλϏϡʔͷ૭ޱΧελϚʔαϙʔ τରԠ݉
• ϚϚϦͷʮ͔͍͋ͨͨίϛϡχςΟʯΛҡ࣋͠ վળ͍ͯͨ͘͠Ίʹ͔ܽͤͳ͍ଘࡏ ίϛϡχςΟϚωʔδϟʔͷׂ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ͜ΕڞײΛٻΊΔ࣭ʁ ͦΕͱڞײҎ֎ΛٻΊΔ࣭ʁ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ݟΛ࣋ͬͯదͳஅΛͯ͘͠ΕΔͷ͕ ίϛϡχςΟϚωʔδϟʔ
ֶशثͷਫ਼্ͷͨΊʹ ίϛϡχςΟϚωʔδϟʔ ͱͷ࿈ܞ͕ෆՄܽ
ҰํͰ ਓͷஅʹΑΔ՝
• ϥϕϧ͚ݶΒΕͨਓͷίϛϡχςΟϚωʔ δϟʔʹΑͬͯߦΘΕΔ • ਓͳͷͰͲ͏ͯͦ͠ͷਓͷओ؍͕ೖΔ • ΞϊςʔγϣϯσʔλͷҰ؏ੑͷ୲อ͕͍͠ அ͕ओ؍త
Ͳ͏ͬͯΞϊςʔγϣϯ͢Δʁ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
• Definitely Yes(DY)ఆऀ͕ࣗ৴Λ࣋ͬͯஅ͠ ͨࡍʹ༻͍ΒΕΔ • Probably Yes(PY) DY ΑΓࣗ৴͕ͳ͍͕YesͰ
͋Ζ͏ͱஅͨ͠ࡍʹ༻͍ΒΕΔ ஈ֊ͷϥϕϧ
• දதͷ Y ڞײΛٻΊΔ࣭ͱͯ͠ྨ͠ɼN ڞײҎ֎ΛٻΊΔ࣭ͱྨ • ఆ݁Ռ͕Ұக͠ͳ͍, Dͱͳ͍ͬͯΔ෦ʹؔͯ͠
ϥϕϧෆՄೳͱஅ͠ɼσʔληοτ͔Βআ͘ ஈ֊ͷϥϕϧ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
LBQQB
ͬͨ͜ͱ͋ΔΑͱ͍͏ํ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
• ೋਓͷఆऀʹΑΔྨͷҰகΛݟΔ • 1ʹ͍ۙ΄ͲҰக͕ߴ͍ • 0.8ΑΓେ͖͚ΕҰக΄ͱΜͲҰக͍ͯ͠Δ ͱݟͳͤΔ kappaͷҙຯ SFG-BOEJT+3
,PDI((5IFNFBTVSFNFOUPGPCTFSWFSBHSFFNFOUGPSDBUFHPSJDBMEBUB#JPNFUSJDT ɹ
࣭ͷߴ͍Ξϊςʔγϣϯσʔλ ͷ࡞ʹऔΓΜͰ͍·͢
͜Ε·Ͱ ͱ͜Ε͔Β
શࠃʹ57$.Λ์ө
• CMͷ݁Ռ, τϥϑΟοΫ2ഒʹ • ϚϚ͚No.1ͱͳΓߦͱͷऔΓΈࣾ ձͷൃ৴ߦ͍ͬͯΔ • ࣾձͷΠϯϑϥʹ͖ۙͮͭͭ͋ΔதͰ αʔϏεͷίΞςΫϊϩδʔͰ͋Δ
ػցֶशͷΠϯύΫτେ͖͘ͳΔ ػցֶशͷΠϯύΫτ͕େ͖͘ͳΔ
• ઌఔͷྫͷΑ͏ͳྨλεΫݚڀͱͯ͠ લྫ͕গͳ͘, ͞ΒʹػցֶशʹΑΔࣄۀ ΠϯύΫτΛΕΔ͜ͱͱͯΓ͕͍ ͕͋Δ • ඇ࿈ଓͳΛΔνϟϯε͕͋Δ •
ٕज़ͷྗͰ, ࠓΑΓ͏Ұஈ֊্ͷίϛϡ χςΟΛ͍͖ͬͯ·͢ ඇ࿈ଓͳΛػցֶशͰΔ
·ͱΊ
• ϚϚ͚No.1ΞϓϦͷϚϚϦ͕࣋ͭ ʮ͔͋ͨͨΈͷ͋ΔίϛϡχςΟʯ ػցֶशʹΑ࣮ͬͯݱ͞Ε͍ͯΔ • ఆ͕͍͠Ξϊςʔγϣϯʹ͍ͭͯίϛϡ χςΟϚωʔδϟʔͱ࿈ܞΛ͠ͳ͕Β, ਖ਼͍͠ Ξϊςʔγϣϯ͕Ͱ͖͍ͯΔ͔Λ౷ܭతʹ֬ೝ
͍ͯ͠Δ • ͜Ε͔Βඇ࿈ଓͳΛٕज़Ͱ͍ͬͯ͘ ·ͱΊ
͏ͪΐͬͱΛฉ͍ͯΈ͍ͨͱ ࢥͬͨํؾܰʹ͓͕͚͍ͩ͘͞ ͘͠!UBUTVTIJNʹ%.Ͱ
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ͝ਗ਼ௌ༗͏͍͟͝·ͨ͠%