Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コミュニティサービスにおける機械学習のためのアノテーション
Search
tatsushim
July 05, 2018
Research
0
2.1k
コミュニティサービスにおける機械学習のためのアノテーション
Annotation Meetup ~ 機械学習における教師データ作成をテーマに、アノテーションのノウハウを共有する勉強会 ~ の登壇資料
tatsushim
July 05, 2018
Tweet
Share
More Decks by tatsushim
See All by tatsushim
DockerとAmazon SageMakerで実現した機械学習システムのプロダクション移行
tatsushim
0
27k
日本のママをコンテナで支える
tatsushim
1
3.1k
コネヒトが考える技術選択の仕方について
tatsushim
0
22k
コネヒトが考えるサービスづくりに必要な技術とその考え方について
tatsushim
2
3.1k
word2vecで女性向けQ&Aサイトを解析してみた
tatsushim
0
6.3k
独身男性のためのデータドリブン講座
tatsushim
0
6.8k
Other Decks in Research
See All in Research
プロシェアリング白書2025_PROSHARING_REPORT_2025
circulation
1
700
大規模日本語VLM Asagi-VLMにおける合成データセットの構築とモデル実装
kuehara
5
2.2k
CHaserWeb:ブラウザ上で動作する対戦型プログラミング学習環境の提案と評価 / i2025-inoue
yumulab
0
160
90 分で学ぶ P 対 NP 問題
e869120
16
7.2k
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
160
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
280
Individual tree crown delineation in high resolution aerial RGB imagery using StarDist-based model
satai
3
270
言語モデルの内部機序:解析と解釈
eumesy
PRO
41
17k
20250226 NLP colloquium: "SoftMatcha: 10億単語規模コーパス検索のための柔らかくも高速なパターンマッチャー"
de9uch1
0
440
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
140
Weekly AI Agents News! 2月号 アーカイブ
masatoto
1
190
DeepSeek-R1の論文から読み解く背景技術
personabb
3
620
Featured
See All Featured
Code Review Best Practice
trishagee
68
18k
Thoughts on Productivity
jonyablonski
69
4.7k
A designer walks into a library…
pauljervisheath
205
24k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
4 Signs Your Business is Dying
shpigford
183
22k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.4k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Designing for Performance
lara
608
69k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
Transcript
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
ࣗݾհ
w ίωώτגࣜձࣾ ݱࡏظ w େֶӃ࣌ म࢜ ʹىۀ w
ڞಉۀऀऔక$50 w ઐػցֶश w ,%%*άϧʔϓʹ."͞ΕάϧʔϓೖΓ ౡాୡ࿕ !UBUTVTIJN
None
ਓͷੜ׆ʹͳͯ͘ͳΒͳ͍ͷΛͭ͘Δ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆྔ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕ ͙͢ฦͬͯ͘Δ Ͱ ճ͕དྷΔ ಉ͡Έ ΛڞײͰ͖Δ
Ϣʔβʔͷߘʹྔߴ͑͘ΔϢʔβʔ͕ଟ͍ ఆੑ ίϝϯτ͕ ͙͢ฦͬͯ͘Δ Ͱ ճ͕དྷΔ ಉ͡Έ ΛڞײͰ͖Δ ࣮ϚϚϦͷ͜ͷΑ͏ͳ
ʮ͔͍͋ͨͨίϛϡχςΟʯ Λػցֶश͕ࢧ͍͑ͯ·͢
ػցֶशͷ׆༻ࣄྫʹ͍ͭͯจΛॻ͖·ͨ͠ IUUQTXXXXBOUFEMZDPNDPNQBOJFTDPOOFIJUPQPTU@BSUJDMFT
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ίϛϡχςΟαʔϏεʹ͓͚Δ ػցֶशͷͨΊͷΞϊςʔγϣϯ
ϚϚϦͷΑ͏ͳίϛϡχςΟͷதͰ2"Λߦ͏αʔϏεͷ֓ཁਤ
ػցֶशͷಋೖχʔζͷ࣮ྫ
• ίϛϡχςΟʹ͓͍࣭ͯʹରͯ͠ճ͕༩͑ ΒΕ͍ͯΔ͜ͱ͕ͱͯେࣄ • ະճΛԿʹԼ͛Δ͜ͱ͕Ͱ͖Δ͔, ͕ϙΠϯ τ • ߘޙ,
ະճʹͳͬͨ··ͷ࣭ΛRˍDͷதͰ ੳͯ͠Έͨ త
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z ੳΛͯ͠ΈΔͱ ͜ͷΑ͏ͳߘ ճΛ༩͑ΒΕʹ͍͘͜ͱ͕Θ͔ͬͨ
lർΕͯΠϥΠϥΛਓʹͿ͚ͭͯ͠·͍·͢खΛ͋͛ͨ Γ͠ͳ͍͚Ͳɼ͍ͭΠϥΠϥౖͯ͠໐ͬͯ͠·͏ ͜Μͳࣗʹݏؾ͕͞͠·͢ਖ਼ਏ͍z ײͷڞײΛٻΊΔ͜ͷΑ͏ͳߘ ΛʮڞײΛٻΊΔ࣭ʯͱఆٛ͢Δ
՝ͷղܾํ๏
՝ͷղܾํ๏
՝ͷղܾํ๏ ࣭ͷߴ͍ڭࢣσʔλ͕ඞཁ
ίϛϡχςΟαʔϏε ʹ͓͚ΔΞϊςʔγϣϯͷ՝
Ξϊςʔγϣϯͷ֎͕͍͠
• ίϛϡχςΟͰʑΓͱΓ͞ΕΔಠಛͷݴ͍ճ͠ දݱ, ίϯςΩετͷཧղ͕ඞཁ • Ex. 8w5d = ৷ܦաظ͕ؒ8िؒͱ5
• ͭ·Γ, Amazon Mechanical TurkͳͲͷΫϥυιʔ γϯάαʔϏεͷར༻͕Ͱ͖ͳ͍ • ίϛϡχςΟΛৗۀͰݟ͍ͯΔ ίϛϡχςΟϚωʔδϟʔͰͳ͍ͱਖ਼͍͠அ ͍͠ Ξϊςʔγϣϯͷ֎͕͍͠
• ຖίϛϡχςΟΛݟͯ, ͦͷίϛϡχςΟͰ ʹڍ͕ͬͨ͜ͱงғؾΛ؍͠, αʔϏε ͷվળɾاըFB͢Δׂ • ϢʔβʔΠϯλϏϡʔͷ૭ޱΧελϚʔαϙʔ τରԠ݉
• ϚϚϦͷʮ͔͍͋ͨͨίϛϡχςΟʯΛҡ࣋͠ վળ͍ͯͨ͘͠Ίʹ͔ܽͤͳ͍ଘࡏ ίϛϡχςΟϚωʔδϟʔͷׂ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ͜ΕڞײΛٻΊΔ࣭ʁ ͦΕͱڞײҎ֎ΛٻΊΔ࣭ʁ
΄Μͱ୴ಹ͕Ոࣄ͠ͳͯ͘ϜΧͭ͘ྉཧຖͯ͠Δͷ ʹΰϛࣺͯҰͭ͠ͳ͍ͬͯͲʔΏ͏͜ͱͳΜ օ͞Μͦ ͏ࢥ͍·ͤΜ ݟΛ࣋ͬͯదͳஅΛͯ͘͠ΕΔͷ͕ ίϛϡχςΟϚωʔδϟʔ
ֶशثͷਫ਼্ͷͨΊʹ ίϛϡχςΟϚωʔδϟʔ ͱͷ࿈ܞ͕ෆՄܽ
ҰํͰ ਓͷஅʹΑΔ՝
• ϥϕϧ͚ݶΒΕͨਓͷίϛϡχςΟϚωʔ δϟʔʹΑͬͯߦΘΕΔ • ਓͳͷͰͲ͏ͯͦ͠ͷਓͷओ؍͕ೖΔ • ΞϊςʔγϣϯσʔλͷҰ؏ੑͷ୲อ͕͍͠ அ͕ओ؍త
Ͳ͏ͬͯΞϊςʔγϣϯ͢Δʁ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
• Definitely Yes(DY)ఆऀ͕ࣗ৴Λ࣋ͬͯஅ͠ ͨࡍʹ༻͍ΒΕΔ • Probably Yes(PY) DY ΑΓࣗ৴͕ͳ͍͕YesͰ
͋Ζ͏ͱஅͨ͠ࡍʹ༻͍ΒΕΔ ஈ֊ͷϥϕϧ
• දதͷ Y ڞײΛٻΊΔ࣭ͱͯ͠ྨ͠ɼN ڞײҎ֎ΛٻΊΔ࣭ͱྨ • ఆ݁Ռ͕Ұக͠ͳ͍, Dͱͳ͍ͬͯΔ෦ʹؔͯ͠
ϥϕϧෆՄೳͱஅ͠ɼσʔληοτ͔Βআ͘ ஈ֊ͷϥϕϧ
• ෳਓͷఆ݁ՌΛ༻͍Δ • ଟஈ(ϚϚϦͰ4ஈ֊)ͷϥϕϧ • kappaΛ༻͍ͯྨͷҰகݟΔ Ұ؏ੑΛ୲อ͢ΔͨΊͷऔΓΈ
LBQQB
ͬͨ͜ͱ͋ΔΑͱ͍͏ํ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
kappaͷఆٛ SFG+3-BOEJTBOE((,PDI5IF.FBTVSFNFOUPG0CTFSWFS"HSFFNFOUGPS$BUFHPSJDBM%BUB #JPNFUSJDT 7PM /P QQ
• ೋਓͷఆऀʹΑΔྨͷҰகΛݟΔ • 1ʹ͍ۙ΄ͲҰக͕ߴ͍ • 0.8ΑΓେ͖͚ΕҰக΄ͱΜͲҰக͍ͯ͠Δ ͱݟͳͤΔ kappaͷҙຯ SFG-BOEJT+3
,PDI((5IFNFBTVSFNFOUPGPCTFSWFSBHSFFNFOUGPSDBUFHPSJDBMEBUB#JPNFUSJDT ɹ
࣭ͷߴ͍Ξϊςʔγϣϯσʔλ ͷ࡞ʹऔΓΜͰ͍·͢
͜Ε·Ͱ ͱ͜Ε͔Β
શࠃʹ57$.Λ์ө
• CMͷ݁Ռ, τϥϑΟοΫ2ഒʹ • ϚϚ͚No.1ͱͳΓߦͱͷऔΓΈࣾ ձͷൃ৴ߦ͍ͬͯΔ • ࣾձͷΠϯϑϥʹ͖ۙͮͭͭ͋ΔதͰ αʔϏεͷίΞςΫϊϩδʔͰ͋Δ
ػցֶशͷΠϯύΫτେ͖͘ͳΔ ػցֶशͷΠϯύΫτ͕େ͖͘ͳΔ
• ઌఔͷྫͷΑ͏ͳྨλεΫݚڀͱͯ͠ લྫ͕গͳ͘, ͞ΒʹػցֶशʹΑΔࣄۀ ΠϯύΫτΛΕΔ͜ͱͱͯΓ͕͍ ͕͋Δ • ඇ࿈ଓͳΛΔνϟϯε͕͋Δ •
ٕज़ͷྗͰ, ࠓΑΓ͏Ұஈ֊্ͷίϛϡ χςΟΛ͍͖ͬͯ·͢ ඇ࿈ଓͳΛػցֶशͰΔ
·ͱΊ
• ϚϚ͚No.1ΞϓϦͷϚϚϦ͕࣋ͭ ʮ͔͋ͨͨΈͷ͋ΔίϛϡχςΟʯ ػցֶशʹΑ࣮ͬͯݱ͞Ε͍ͯΔ • ఆ͕͍͠Ξϊςʔγϣϯʹ͍ͭͯίϛϡ χςΟϚωʔδϟʔͱ࿈ܞΛ͠ͳ͕Β, ਖ਼͍͠ Ξϊςʔγϣϯ͕Ͱ͖͍ͯΔ͔Λ౷ܭతʹ֬ೝ
͍ͯ͠Δ • ͜Ε͔Βඇ࿈ଓͳΛٕज़Ͱ͍ͬͯ͘ ·ͱΊ
͏ͪΐͬͱΛฉ͍ͯΈ͍ͨͱ ࢥͬͨํؾܰʹ͓͕͚͍ͩ͘͞ ͘͠!UBUTVTIJNʹ%.Ͱ
$POOFIJUP*OD$50!UBUTVTIJN ϚϚͷҰาΛࢧ͑Δ ͝ਗ਼ௌ༗͏͍͟͝·ͨ͠%