Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Apache Spark による推薦システム案件例
Search
soonraah
March 21, 2015
Technology
11
7.9k
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
soonraah
March 21, 2015
Tweet
Share
More Decks by soonraah
See All by soonraah
MLCT #5 Pipeline Jungles とたたかう話
soonraah
0
1.8k
Amazon EMR でのバッチ処理 Spark アプリケーション運用で気をつけたいこと
soonraah
1
620
Spark MLlib でやってみる協調フィルタリング
soonraah
8
7.4k
Other Decks in Technology
See All in Technology
o1のAPIで実験してみたが 制限きつすぎて辛かった話
pharma_x_tech
0
200
サプライチェーン攻撃に備える
ryunen344
0
290
DroidKaigi 2024 たすけて!ViewModel
mhidaka
5
950
【株式会社ELYZA】|GENIAC成果報告会 自社開発モデルプレゼンテーション
elyza
1
280
QAに対する超個人的な解釈 / Personal Take on QA
toma_sm
1
120
Analytics-Backed App Widget Development - Served with Jetpack Glance
miyabigouji
0
610
AIを活用した柔軟かつ効率的な社内リソース検索への取り組み
cygames
0
180
チームビルディングは"感性"で向き合おう / Team Building with Awareness
kohzas
0
260
Google CloudのLLM活用の選択肢を広げるVertex AIのパートナーモデル
nayuts
0
130
社内の学びの場・コミュニティ形成とエンジニア同士のリレーションシップ構築/devreljapan2024
nishiuma
3
290
学術機関におけるID連携とOpenID Connect
fujie
0
250
Road to Single Activity
yurihondo
2
240
Featured
See All Featured
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
How GitHub (no longer) Works
holman
310
140k
Optimising Largest Contentful Paint
csswizardry
31
2.8k
The Pragmatic Product Professional
lauravandoore
31
6.2k
Large-scale JavaScript Application Architecture
addyosmani
508
110k
Rails Girls Zürich Keynote
gr2m
93
13k
Web development in the modern age
philhawksworth
205
10k
Scaling GitHub
holman
458
140k
Fontdeck: Realign not Redesign
paulrobertlloyd
80
5.1k
Web Components: a chance to create the future
zenorocha
309
42k
Speed Design
sergeychernyshev
22
430
It's Worth the Effort
3n
182
27k
Transcript
"QBDIF4QBSLʹΑΔ ਪનγεςϜҊ݅ྫ 5PLZP8FCNJOJOH !TPPOSBBI
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 2
ਪનγεςϜ 3 Ҿ༻BNB[PODPKQ
Ҋ݅֓ཁ • &$αΠτ͚ͷਪનγεςϜʢडୗ։ൃʣ • ࣍ͷόονॲཧͰશରϢʔβ͚ͷਪન݁ՌΛఏڙ • छྨͷਪન݁ՌΛఏڙ • ඪαΠτച্૿Ճ 4
نײ • Γ͍ͨ͜ͱ • ձһϢʔβສ໊ͷݸਓݸਓʹ • ສͷͷத͔Β • ਪનϦετΛੜ •
ֶशσʔλ • Ӿཡϩάʙԯ݅ ˞ࣈʹएׯϑΣΠΫ͕͋Γ·͢ɻ 5
"QBDIF4QBSL • ߴɾ൚༻ͷΦϯϝϞϦࢄॲཧ • 6$#FSLFMFZͰ։ൃ͞Εɺڈ͔Β"QBDIFͷτοϓϨϕϧ 1+ʹ • )BEPPQ:"3/"QBDIF.FTPTͷ্Ͱ࣮ߦՄೳ • 4DBMB
+BWB 1ZUIPOͷ"1*Λఏڙ 6
4QBSLϥΠϒϥϦ 7 Ҿ༻IUUQTTQBSLBQBDIFPSH
.-MJC • ࣮͞Ε͍ͯΔΞϧΰϦζϜʢࣈͰԼઢWͰՃʣ • MJOFBS47.BOEMPHJTUJDSFHSFTTJPO • DMBTTJpDBUJPOBOESFHSFTTJPOUSFF • DMVTUFSJOH LNFBOT
(.. QPXFSJUFSBUJPODMVTUFSJOH FUD • SFDPNNFOEBUJPOWJBBMUFSOBUJOHMFBTUTRVBSFT ޙड़ • TJOHVMBSWBMVFEFDPNQPTJUJPO • MJOFBSSFHSFTTJPOXJUI-BOE-SFHVMBSJ[BUJPO • NVMUJOPNJBMOBJWF#BZFT • CBTJDTUBUJTUJDT • GFBUVSFUSBOTGPSNBUJPOT • -%"GPSUPQJDNPEFMJOH • '1HSPXUIGPSGSFRVFOUQBUUFSONJOJOH 8
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 9
ސ٬ &$αΠτ γεςϜ γεςϜߏ 10 &.3 ϩάऩू༻XFCαʔό δϣϒཧαʔό ϑΝΠϧ࿈ܞαʔό 4
ϩάੵ ਪન݁Ռ ਪન݁Ռ
ਪનγεςϜ ΞϓϦέʔγϣϯͷ࣮ߦ 4 Ӿཡϩά &$ δϣϒཧαʔό &.3 &MBTUJD.BQ3FEVDF ᶄ&.3δϣϒ։࢝
ᶃαʔόଆΞϓϦىಈ ᶆΫϥελىಈ Ϋϥελ ᶇ4QBSLڥ༻ҙ ᶈӾཡϩάऔಘ ᶉਪનԋࢉ ᶊԋࢉ݁Ռ 11
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 12
ͭͷਪનΞϧΰϦζϜ • ༰ϕʔεϑΟϧλϦϯά • ϢʔβͷଐੑͷಛΛ༻͍Δํ๏ • ڠௐϑΟϧλϦϯά • ͦΕΒಛΘͣɺϢʔβίϛϡχςΟͷ ᅂσʔλͷΈΛ༻͍Δํ๏
13
༰ϕʔεϑΟϧλϦϯάͷ ࣮ ສ݅ ಛສछྨ Ϣʔβ" ͲͷΞΠςϜ ͕࠷͍ۙʁ ✕ສਓ ಛྔ
14
༰ϕʔεϑΟϧλϦϯάͷ ࣮ ສ݅ ಛສछྨ Ϣʔβ" ͲͷΞΠςϜ ͕࠷͍ۙʁ ✕ສਓ ϚοϓܗࣜͷϕΫτϧදݱ
సஔ ΠϯσοΫε 4QBSLࢄॲཧ ಛྔ 15
ڠௐϑΟϧλϦϯάͷ࣮ • .-MJCͷPSHBQBDIFTQBSLSFDPNNFOEBUJPO"-4Λར༻ • ߦྻҼࢠղϞσϧʢ.BUSJY'BDUPSJ[BUJPO.PEFMʣΛ ަޓ࠷খೋ๏ʢ"-4"MUFSOBUJOH-FBTU4RVBSFʣͰֶश 16
ߦྻҼࢠղ • ϢʔβͷͷධՁΛϢʔβºͷߦྻͰද͢ • ͜ͷߦྻΛO G ݸͷಛΛ࣋ͭϢʔβಛྔߦྻͱಛྔ ߦྻͷੵͰද͢͜ͱΛతͱ͢Δ 17
ߦྻҼࢠղ 18
"-4 • ަޓ࠷খೋ๏ʢ"MUFSOBUJWF-FBTU4RVBSFʣ • ͭͷಛྔߦྻΛަޓʹֶश • 4QBSLͷಘҙͱ͢Δ܁Γฦ͠ॲཧ 19
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ࠷ॳͷಛྔΛͦΕͧΕͷͷ ฏۉͷධՁͰॳظԽ ͦΕҎ֎ϥϯμϜͳ খ͍͞ͰॳظԽ 20
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ֤Ϣʔβʹ͍ͭͯɺ ༧ଌͱ࣮ࡍͷධՁͷޡࠩΛ࠷খԽ ଆݻఆ 21
"-4TUFQ Ϣʔβ ಛྔߦྻ ಛྔߦྻ ֤ʹ͍ͭͯɺ ༧ଌͱ࣮ࡍͷධՁͷޡࠩΛ࠷খԽ Ϣʔβଆݻఆ ҎԼɺऩଋ͢Δ·ͰTUFQ Λ܁Γฦ͠
22
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 23
ຊҊ݅ʹ͓͚Δ Ϋϥελʹؔ͢Δࣈ • $16ίΞ • ϝϞϦ૯ܭ(# • &$Πϯελϯε • .BTUFSSYMBSHF
• 4MBWFDYMBSHF • ࣍ॲཧʙI 24
νϡʔχϯά • ΦϑϥΠϯධՁ • ."1ʢ.FBO"WFSBHF1SFDJTJPOʣʹΑΓ ϋΠύʔύϥϝʔλͷόϦΤʔγϣϯΛΦϑϥΠϯධՁ • ਪન݁ՌͱϢʔβͷߪങϩάΛॱҐΛߟྀͯ͠ൺֱ • ͜Ε4QBSLͰ࡞ͬͨ
• ΦϯϥΠϯධՁ • ϢʔβผʹϥϯμϜͰ • ཁ"#ςετ 25
"(&/%" • Ҋ݅֓ཁ • γεςϜ֓ཁ • ਪનΞϧΰϦζϜ • ӡ༻ •
·ͱΊ 26
4QBSL.-MJCΛҊ݅Ͱ ։ൃɾӡ༻ͯ͠Έͯᶃ • ͭΒ͍ • ޮͱඅ༻ͱϦιʔεͷύζϧ • ϋϚΓͲ͜Ζ͕͋Δ • &$Πϯελϯεधཁͷߴ·ΓͷઞΓΛड͚Δ
• ςετͷͭΒΈ 27
4QBSL.-MJCΛҊ݅Ͱ ։ൃɾӡ༻ͯ͠Έͯᶄ • Ͱ໘ന͍ • ίʔσΟϯάָ͕͍͠ʂ • γʔϜϨεʹࢄॲཧ͕ॻ͚Δ • )BEPPQΑΓগͳ͍ίʔυྔ
• ͍ • .-MJCͷਐԽʹظ 28
4QBSLΞϓϦέʔγϣϯ ։ൃͷצॴ • Ϧιʔε༗ݶ • ιʔεͷதͰಛʹԋࢉྔΛཁ͢Δ෦ϩʔΧϧͷ࣮ݧͰ ेʹ࠷దԽ͓ͯ͘͠ • ಉ͡ܭࢉ݁ՌΛಘΔͷʹΑΓޮతͳํ๏ͳ͍ͷ͔ʁ •
ίϨΫγϣϯΫϥεͷબ • ԋࢉ࣌ؒϝϞϦྔΛݟੵΔ • ܧଓతΠϯςάϨʔγϣϯΛڧ͘ҙࣝ͢Δ 29
·ͱΊ • "QBDIF4QBSL .-MJCͰ༰ϕʔεϑΟϧλϦϯά ͓ΑͼڠௐϑΟϧλϦϯάʹΑΔਪનγεςϜΛ ͭͬͨ͘ • &$αΠτͷ,1*ΛվળͰ͖ͨ • 4QBSLϓϩάϥϛϯάɺָ͍͔͠ΒͬͯΈͯΑʂ
30