Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Datab...
Search
Masatoshi Shimada
November 09, 2018
Technology
2.5k
6
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
Scala関西Summit 2018
Masatoshi Shimada
November 09, 2018
Transcript
45 slides
%BUBCSJDLTͱ4QBSLͰ͡ΊΔ <σʔλੳػցֶश> ࣮ફೖ ౡాխ 4DBMBؔ4VNNJU
ࣗݾհ w ౡాխ!TNENUT w σʔλΣΞϋεΞʔΩςΫτ 4DBMBc1ZUIPOc(PMBOHc+BWBc%%% w גࣜձࣾΤϒϦʔॴଐ w
%&-*4),*5$)&/σʔλੳܥશൠ୲ ओʹੳج൫ɺ৴໘࠷దԽͳͲΛ୲
ΞϓϦϦϦʔε μϯϩʔυɿສ Ϩγϐɿສ݅Ҏ্ ݄ؒಈը࠶ੜɿԯສճҎ্ "QQ4UPSF#&450' (PPHMF1MBZϕετΦϒ ࠃΞϓϦμϯϩʔυୈ̏Ґ ʢ̍Ґ-*/&ɺ̎Ґ:BIPP+"1"/˞ඇήʔϜɹ"QQ"OOJFௐʣ ɾຖ৽ணϨγϐಈը͕৴͞ΕΔ ɹɾྉཧϨγϐಈըʢௐཧݙཱखॱʣ
ɹɾࠂओλΠΞοϓಈը <13>%&-*4),*5$)&/ͷհʢ͔ΜͨΜʹʣ
ΞδΣϯμʢ֓ཁʣ %&-*4),*5$)&/Ͱɺσʔλੳͷجװٕज़ͷҰͭͱͯ͠ 4QBSLͷϗεςΟϯάαʔϏεͰ͋Δ%BUBCSJDLTΛར༻͍ͯ͠·͢ ຊαϯϓϧίʔυΛަ͑ͯɺ%BUBCSJDLTͷ֓ཁͱ σʔλੳػցֶशͰར༻͍ͯ͠Δ4QBSLͷίʔυʹ͍ͭͯ ղઆ͖ͤͯ͞·͢
ΞδΣϯμ w %BUBCSJDLTͷ֓ཁɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ίϯηϓτΠϯϑϥߏྫ/PUFCPPL࣮ߦσϞ w %BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫɹɹɹɹɹɹɹɹɹɹɹ ؆୯ͳαϯϓϧίʔυػցֶशʢڠௐϑΟϧλϦϯάʣɹɹɹ ɿσʔλੳʢϚδοΫφϯόʔੳʣ
%BUBCSJDLTͷ֓ཁ ίϯηϓτΠϝʔδ Πϯϑϥߏྫ /PUFCPPL࣮ߦσϞ
%BUBCSJDLTͷίϯηϓτΠϝʔδ
%BUBCSJDLTͷίϯηϓτΠϝʔδ ɾ4QBSLΛ࣮ߦج൫ͱͨ͠σʔλੳϓϥοτϑΥʔϜ 6OJpFE"OBMZUJDT1MBUGPSNΛࢦ͍ͯͯ͠࡞ΒΕ͍ͯΔ ɾ "84"[VSF ͷϢʔβΞΧϯτʹ71$࡞ͳͲॴఆͷΠϯετʔϧͰಋೖ ར༻ऀͷ "84"[VSF ΞΧϯτͰΫϥελ͕ىಈ͞ΕΔ ɾଞͷػցֶशج൫ͱͷͭͳ͗ࠐΈ͕Մೳ
5FOTPS'MPX9(#PPTUTDJLJUMFBSO ɾσʔλΤϯδχΞαΠΤϯςΟετ ɹ/PUFCPPLͰεΫϦϓτΛॻ͍ͯ։ൃ͢Δ 4DBMB1ZUIPO34IFMM42-͕ར༻Մ &5-ॲཧ/PUFCPPLͰ࣮Մ
Πϯϑϥߏྫʢ%&-*4),*5$)&/ͷ߹ʣ %BUBCSJDLT71$ ΞϓϦέʔγϣϯ71$ εέʔϥϒϧ 71/PS*OUFSOFU 71$ϐΞϦϯάଓ 4 &MBTUJ $BDIF 3%4
3FETIJGU %BUBCSJDLT $MPVE ʢཧը໘ʣ ىಈઃఆ /PUFCPPL
%BUBCSJDLTʹΑΔܧଓతσϦόϦ ɾ%BUBCSJDLT$MPVEͷ/PUFCPPL্Ͱσʔλੳίʔυͷ։ൃΛߦ͏ ɾ$-*ʹΑΔσϓϩΠΫϥελ࡞͕ग़དྷͯ$*$%Ͱར༻Մೳ ɾैདྷͷTQBSLTVCNJUͰɺKBS͔ΒNBJOΫϥεΛىಈ͢Δํࣜར༻Մೳ 1VMM 1VTIBOE3VO 1VMM 1VTI %FQMPZ PS
.FSHF ຊ൪ڥ ։ൃڥ ʢ։ൃऀͷϫʔΫεϖʔεʣ ຊ൪ڥ
%BUBCSJDLTཧը໘ʢτοϓʣ ɾ։ൃऀʢσʔλΤϯδχΞσʔλαΠΤϯςΟετʣ ɹ%BUBCSJDLT$MPVEͷ63-Λ։͖ɺཧը໘ʹଓͯ͠։ൃΛ࢝ΊΔ
%BUBCSJDLTཧը໘ʢΫϥελઃఆʣ ɾ4QBSLΫϥελͷΠϯελϯελΠϓઃఆը໘ ɹΦʔτεέʔϧىಈΫϥελ $16(16 4QBSLόʔδϣϯ͕ࢦఆՄೳ εϙοτೖࡳ ΠϯελϯελΠϓ ׂ߹ Φʔτεέʔϧઃఆ Φʔτλʔϛωʔτઃఆ
%BUBCSJDLTཧը໘ʢ/PUFCPPLʣ ɾ։ൃऀຖʹׂΓͯΒΕͨ8PSLTQBDF্ͷɺ/PUFCPPLͰ։ൃΛ͢͢ΊΔ ɹ4DBMB1ZUIPO342-͕બՄೳʢͲΕΛબΜͰ૬ޓݺͼग़͠Ͱ͖Δʣ
ɾ/PUFCPPL্ʹෳͷίϚϯυΛ࣮͠ɺ4UFQCZ4UFQͰॲཧΛ࣮ߦ͢Δ ΠϯλϥΫςΟϒʢରతʣʹίϚϯυ͕ஞ࣮࣍ߦ͞ΕΔ ɾίϚϯυؒͷσʔλ࿈ܞɺ4DBMBͷΠϯελϯε4QBSL42-Ͱߦ͏ ɾ42-%4-ͳͲͰ్தஅ໘ͷσʔλΛ֬ೝ͠ͳ͕Β։ൃΛ͢͢ΊΔ /PUFCPPLʹΑΔ։ൃͷ͢͢Ίํ 5%4QBSL
/PUFCPPL࣮ߦσϞ
%BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫ ؆୯ͳαϯϓϧίʔυ ػցֶश ڠௐϑΟϧλϦϯά ɿσʔλੳ ϚδοΫφϯόʔੳ
IUUQTHJUIVCDPNTNENUTECDTDBMB@LT@ αϯϓϧίʔυ044ͱͯ͠ެ։͍ͯ͠·͢ ͪ͜ΒΛ͝ࢀর͍ͩ͘͞
؆୯ͳαϯϓϧίʔυ
σʔλఆٛ 7*&8࡞ 42-࣮ߦ σʔλఆٛ 7*&8࡞
42-࣮ߦ 4DBMBίʔυ
݁Ռ֬ೝ 1ZUIPOίʔυ
ػցֶश ڠௐϑΟϧλϦϯά
ڠௐϑΟϧλϦϯάͱ ୭͔͕ݟͨϨγϐΛجʹɺରऀʹ͓͢͢Ί͢ΔϨγϐΛࢉग़͢Δݹయతػցֶश ࣅͨΑ͏ͳϨγϐΛݟͨϢʔβಉ࢜Ͱɺ͓ޓ͍ʹະࢹௌͷϨγϐΛަ͢Δ ʢυϝΠϯ͕ࣝແͯ͘ҎԼͷΑ͏ʹࢉग़Մೳʣ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ *OEFYFS࡞ ܭࢉྔݮͷͨΊ*OUԽ͢Δఆٛ ػցֶश ܭࢉࣜఆٛ
ܭࢉ༻ ύΠϓϥΠϯ࡞ 7JFX࡞ σʔλՄࢹԽ
*OEFYFS݁Ռఆٛ *OUVTFS@JEͷඥ͚༻7*&8 *OEFYFS݁Ռఆٛ Ϩγϐ໊VTFS@JEͷ ඥ͚༻7*&8
VTFS@JE JOEFYࡁΈVTFS@JE Ϩγϐ໊ JOEFYࡁΈϨγϐ໊ *OEFYFS݁Ռ֬ೝ *OEFYFS݁Ռ֬ೝ
σʔλՄࢹԽ Ϟσϧܭࢉ Ϩίϝϯυࢉग़ 7JFX࡞
݁Ռऔಘ7*&8
݁Ռ֬ೝ
ڠௐϑΟϧλϦϯά݁Ռ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ ΦϨϯδͷํ͕Ԡ͕ڧ͍
࣭ٙɾԠ
σʔλੳ ϚδοΫφϯόʔੳ
ϚδοΫφϯόʔੳͱ ྫ͑ɺ͜ͷαϜωΠϧ෦ΛΫϦοΫͨ͠ࣄͷ͋ΔϢʔβͷܧଓɺͲͷ͘Β͍ͩΖ͏͔ʁ ʮ͓ؾʹೖΓͨ͠ಈըࢹௌͨ͠ݕࡧͨ͠ʯɺผͷΞΫγϣϯͱൺܧଓߴ͍ͩΖ͏͔ʁ ܧଓ͕ߴ͍ͷͲΜͳϢʔβͩΖ͏͔ʁڥଐੑʁ ϚδοΫφϯόʔੳͱɺ༷ʑͳཁૉΛΈ߹Θͤͨ݅ ूஂ ͷத͔Β ܧଓͷߴ͍ϢʔβΞΫγϣϯͷΛൃݟ͍ͯ͘͠ੳख๏ͷ͜ͱɻ ྑ͍ΞΫγϣϯΛݟ͚ͭͨΒɺͦͷಋઢΛڧԽ͍͚ͯ͠ྑ͍ɻ ʮରΞΫγϣϯɾϢʔβଐੑɾܧଓʯΛΈ߹Θͤɺ֤ूஂͷܧଓΛಋ͖ൺֱ͢Δɻ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ܧଓಉ࢜Λൺֱ͠ੳ͢Δ ॲཧϑϩʔ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ʢॳʣ ʢ̎ʣ ʢʣ
ࢉग़ํ๏ ྫɿαϜωΠϧΛݟͨਓ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ σʔλՄࢹԽ
ܧଓܭࢉ
ܧଓܭࢉ ݁ՌՄࢹԽ
݁ՌՄࢹԽ
ʢॳʣ ʢ̎ʣ ʢʣ
ص্ܭࢉͷ݁ՌͱҰக ֤ूஂͷΞΫγϣϯຖͷܧଓࢉग़݁Ռ
ܧଓಉ࢜Λൺֱ͠ੳ͢Δ wαϜωΠϧΛݟͨूஂ ˋ w͓ؾʹೖΓΛͨ͠ूஂ ˋ ࢉग़ͨ݁͠Ռ্͕هͷΑ͏ʹͳͬͨ߹ ͓ؾʹೖΓͷಋઢΛڧԽ͢Εྑ͍ͱ͔Δ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
12
4.4k
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
9.4k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
1.1k
Sparkから利用するAirframe/Spark-With-Airframe
smdmts
0
1.9k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.9k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
1
1.8k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
850
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
4k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.2k
Other Decks in Technology
See All in Technology
Test Impact Analysis を武器に立ち向かう、AI 時代のテスト増加に対するヌーラボのアプローチ / getting-started-datadog-test-impact-analysis
k6s4i53rx
3
320
New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話
manabuseki
0
360
Dark Web - Como o Cibercrime Opera na Internet
nicholsjasper
0
110
OCI Artifact による自動運転タクシーに向けた OTA 基盤の構築
biwashi
1
290
HTTP通信に使おうとすると実はめんどくさいfile_get_contents
maguroalternative
0
250
Is the Website Dying?
miriamschwab
0
120
文書画像からの情報抽出を行うエージェントを、軌跡の正解データ無しで作れるか
sansantech
PRO
2
230
OpenTelemetryで変わった 新時代のCloudWatchメトリクス監視
tsukuboshi
0
490
その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Performance review with k6 and OpenTelemetry
ymotongpoo
3
430
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
510
飯から始まるデータエンジニア
sansantech
PRO
0
130
AWS DevOps Agentの構造から読み解く運用 AI エージェントの設計原則/aws-devops-agent-design-principles
tomoki10
0
250
Featured
See All Featured
Exploring the relationship between traditional SERPs and Gen AI search
raygrieselhuber
PRO
4
4.4k
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
1.6k
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
The untapped power of vector embeddings
frankvandijk
2
2k
GraphQLとの向き合い方2022年版
quramy
50
15k
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
katarinadahlin
PRO
3
3.9k
Building Applications with DynamoDB
mza
96
7.3k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
Design in an AI World
tapps
1
390
Agile Actions for Facilitating Distributed Teams - ADO2019
mkilby
0
350
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
2
990
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
70
69k