Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Datab...
Search
Masatoshi Shimada
November 09, 2018
Technology
5
2.3k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
Scala関西Summit 2018
Masatoshi Shimada
November 09, 2018
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
6
730
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
7.5k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
980
Sparkから利用するAirframe/Spark-With-Airframe
smdmts
0
1.7k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.6k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
0
1.7k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
760
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.8k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.1k
Other Decks in Technology
See All in Technology
[SRE NEXT] ARR150億円_エンジニア140名_27チーム_17プロダクトから始めるSLO.pdf
satos
5
3k
ABEMAの本番環境負荷試験への挑戦
mk2taiga
5
1.3k
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
4
1k
ClaudeCodeにキレない技術
gtnao
1
860
データ戦略部門 紹介資料
sansan33
PRO
1
3.3k
Maintainer Meetupで「生の声」を聞く ~講演だけじゃないKubeCon
logica0419
0
110
Microsoft Defender XDRで疲弊しないためのインシデント対応
sophiakunii
1
310
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
3
300
Four Keysから始める信頼性の改善 - SRE NEXT 2025
ozakikota
0
410
Transformerを用いたアイテム間の 相互影響を考慮したレコメンドリスト生成
recruitengineers
PRO
2
430
ClaudeCode_vs_GeminiCLI_Terraformで比較してみた
tkikuchi
1
940
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
820
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Typedesign – Prime Four
hannesfritz
42
2.7k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
4 Signs Your Business is Dying
shpigford
184
22k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Writing Fast Ruby
sferik
628
62k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
A designer walks into a library…
pauljervisheath
207
24k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
It's Worth the Effort
3n
185
28k
Become a Pro
speakerdeck
PRO
29
5.4k
Transcript
%BUBCSJDLTͱ4QBSLͰ͡ΊΔ <σʔλੳػցֶश> ࣮ફೖ ౡాխ 4DBMBؔ4VNNJU
ࣗݾհ w ౡాխ!TNENUT w σʔλΣΞϋεΞʔΩςΫτ 4DBMBc1ZUIPOc(PMBOHc+BWBc%%% w גࣜձࣾΤϒϦʔॴଐ w
%&-*4),*5$)&/σʔλੳܥશൠ୲ ओʹੳج൫ɺ৴໘࠷దԽͳͲΛ୲
ΞϓϦϦϦʔε μϯϩʔυɿສ Ϩγϐɿສ݅Ҏ্ ݄ؒಈը࠶ੜɿԯສճҎ্ "QQ4UPSF#&450' (PPHMF1MBZϕετΦϒ ࠃΞϓϦμϯϩʔυୈ̏Ґ ʢ̍Ґ-*/&ɺ̎Ґ:BIPP+"1"/˞ඇήʔϜɹ"QQ"OOJFௐʣ ɾຖ৽ணϨγϐಈը͕৴͞ΕΔ ɹɾྉཧϨγϐಈըʢௐཧݙཱखॱʣ
ɹɾࠂओλΠΞοϓಈը <13>%&-*4),*5$)&/ͷհʢ͔ΜͨΜʹʣ
ΞδΣϯμʢ֓ཁʣ %&-*4),*5$)&/Ͱɺσʔλੳͷجװٕज़ͷҰͭͱͯ͠ 4QBSLͷϗεςΟϯάαʔϏεͰ͋Δ%BUBCSJDLTΛར༻͍ͯ͠·͢ ຊαϯϓϧίʔυΛަ͑ͯɺ%BUBCSJDLTͷ֓ཁͱ σʔλੳػցֶशͰར༻͍ͯ͠Δ4QBSLͷίʔυʹ͍ͭͯ ղઆ͖ͤͯ͞·͢
ΞδΣϯμ w %BUBCSJDLTͷ֓ཁɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ίϯηϓτΠϯϑϥߏྫ/PUFCPPL࣮ߦσϞ w %BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫɹɹɹɹɹɹɹɹɹɹɹ ؆୯ͳαϯϓϧίʔυػցֶशʢڠௐϑΟϧλϦϯάʣɹɹɹ ɿσʔλੳʢϚδοΫφϯόʔੳʣ
%BUBCSJDLTͷ֓ཁ ίϯηϓτΠϝʔδ Πϯϑϥߏྫ /PUFCPPL࣮ߦσϞ
%BUBCSJDLTͷίϯηϓτΠϝʔδ
%BUBCSJDLTͷίϯηϓτΠϝʔδ ɾ4QBSLΛ࣮ߦج൫ͱͨ͠σʔλੳϓϥοτϑΥʔϜ 6OJpFE"OBMZUJDT1MBUGPSNΛࢦ͍ͯͯ͠࡞ΒΕ͍ͯΔ ɾ "84"[VSF ͷϢʔβΞΧϯτʹ71$࡞ͳͲॴఆͷΠϯετʔϧͰಋೖ ར༻ऀͷ "84"[VSF ΞΧϯτͰΫϥελ͕ىಈ͞ΕΔ ɾଞͷػցֶशج൫ͱͷͭͳ͗ࠐΈ͕Մೳ
5FOTPS'MPX9(#PPTUTDJLJUMFBSO ɾσʔλΤϯδχΞαΠΤϯςΟετ ɹ/PUFCPPLͰεΫϦϓτΛॻ͍ͯ։ൃ͢Δ 4DBMB1ZUIPO34IFMM42-͕ར༻Մ &5-ॲཧ/PUFCPPLͰ࣮Մ
Πϯϑϥߏྫʢ%&-*4),*5$)&/ͷ߹ʣ %BUBCSJDLT71$ ΞϓϦέʔγϣϯ71$ εέʔϥϒϧ 71/PS*OUFSOFU 71$ϐΞϦϯάଓ 4 &MBTUJ $BDIF 3%4
3FETIJGU %BUBCSJDLT $MPVE ʢཧը໘ʣ ىಈઃఆ /PUFCPPL
%BUBCSJDLTʹΑΔܧଓతσϦόϦ ɾ%BUBCSJDLT$MPVEͷ/PUFCPPL্Ͱσʔλੳίʔυͷ։ൃΛߦ͏ ɾ$-*ʹΑΔσϓϩΠΫϥελ࡞͕ग़དྷͯ$*$%Ͱར༻Մೳ ɾैདྷͷTQBSLTVCNJUͰɺKBS͔ΒNBJOΫϥεΛىಈ͢Δํࣜར༻Մೳ 1VMM 1VTIBOE3VO 1VMM 1VTI %FQMPZ PS
.FSHF ຊ൪ڥ ։ൃڥ ʢ։ൃऀͷϫʔΫεϖʔεʣ ຊ൪ڥ
%BUBCSJDLTཧը໘ʢτοϓʣ ɾ։ൃऀʢσʔλΤϯδχΞσʔλαΠΤϯςΟετʣ ɹ%BUBCSJDLT$MPVEͷ63-Λ։͖ɺཧը໘ʹଓͯ͠։ൃΛ࢝ΊΔ
%BUBCSJDLTཧը໘ʢΫϥελઃఆʣ ɾ4QBSLΫϥελͷΠϯελϯελΠϓઃఆը໘ ɹΦʔτεέʔϧىಈΫϥελ $16(16 4QBSLόʔδϣϯ͕ࢦఆՄೳ εϙοτೖࡳ ΠϯελϯελΠϓ ׂ߹ Φʔτεέʔϧઃఆ Φʔτλʔϛωʔτઃఆ
%BUBCSJDLTཧը໘ʢ/PUFCPPLʣ ɾ։ൃऀຖʹׂΓͯΒΕͨ8PSLTQBDF্ͷɺ/PUFCPPLͰ։ൃΛ͢͢ΊΔ ɹ4DBMB1ZUIPO342-͕બՄೳʢͲΕΛબΜͰ૬ޓݺͼग़͠Ͱ͖Δʣ
ɾ/PUFCPPL্ʹෳͷίϚϯυΛ࣮͠ɺ4UFQCZ4UFQͰॲཧΛ࣮ߦ͢Δ ΠϯλϥΫςΟϒʢରతʣʹίϚϯυ͕ஞ࣮࣍ߦ͞ΕΔ ɾίϚϯυؒͷσʔλ࿈ܞɺ4DBMBͷΠϯελϯε4QBSL42-Ͱߦ͏ ɾ42-%4-ͳͲͰ్தஅ໘ͷσʔλΛ֬ೝ͠ͳ͕Β։ൃΛ͢͢ΊΔ /PUFCPPLʹΑΔ։ൃͷ͢͢Ίํ 5%4QBSL
/PUFCPPL࣮ߦσϞ
%BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫ ؆୯ͳαϯϓϧίʔυ ػցֶश ڠௐϑΟϧλϦϯά ɿσʔλੳ ϚδοΫφϯόʔੳ
IUUQTHJUIVCDPNTNENUTECDTDBMB@LT@ αϯϓϧίʔυ044ͱͯ͠ެ։͍ͯ͠·͢ ͪ͜ΒΛ͝ࢀর͍ͩ͘͞
؆୯ͳαϯϓϧίʔυ
σʔλఆٛ 7*&8࡞ 42-࣮ߦ σʔλఆٛ 7*&8࡞
42-࣮ߦ 4DBMBίʔυ
݁Ռ֬ೝ 1ZUIPOίʔυ
ػցֶश ڠௐϑΟϧλϦϯά
ڠௐϑΟϧλϦϯάͱ ୭͔͕ݟͨϨγϐΛجʹɺରऀʹ͓͢͢Ί͢ΔϨγϐΛࢉग़͢Δݹయతػցֶश ࣅͨΑ͏ͳϨγϐΛݟͨϢʔβಉ࢜Ͱɺ͓ޓ͍ʹະࢹௌͷϨγϐΛަ͢Δ ʢυϝΠϯ͕ࣝແͯ͘ҎԼͷΑ͏ʹࢉग़Մೳʣ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ *OEFYFS࡞ ܭࢉྔݮͷͨΊ*OUԽ͢Δఆٛ ػցֶश ܭࢉࣜఆٛ
ܭࢉ༻ ύΠϓϥΠϯ࡞ 7JFX࡞ σʔλՄࢹԽ
*OEFYFS݁Ռఆٛ *OUVTFS@JEͷඥ͚༻7*&8 *OEFYFS݁Ռఆٛ Ϩγϐ໊VTFS@JEͷ ඥ͚༻7*&8
VTFS@JE JOEFYࡁΈVTFS@JE Ϩγϐ໊ JOEFYࡁΈϨγϐ໊ *OEFYFS݁Ռ֬ೝ *OEFYFS݁Ռ֬ೝ
σʔλՄࢹԽ Ϟσϧܭࢉ Ϩίϝϯυࢉग़ 7JFX࡞
݁Ռऔಘ7*&8
݁Ռ֬ೝ
ڠௐϑΟϧλϦϯά݁Ռ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ ΦϨϯδͷํ͕Ԡ͕ڧ͍
࣭ٙɾԠ
σʔλੳ ϚδοΫφϯόʔੳ
ϚδοΫφϯόʔੳͱ ྫ͑ɺ͜ͷαϜωΠϧ෦ΛΫϦοΫͨ͠ࣄͷ͋ΔϢʔβͷܧଓɺͲͷ͘Β͍ͩΖ͏͔ʁ ʮ͓ؾʹೖΓͨ͠ಈըࢹௌͨ͠ݕࡧͨ͠ʯɺผͷΞΫγϣϯͱൺܧଓߴ͍ͩΖ͏͔ʁ ܧଓ͕ߴ͍ͷͲΜͳϢʔβͩΖ͏͔ʁڥଐੑʁ ϚδοΫφϯόʔੳͱɺ༷ʑͳཁૉΛΈ߹Θͤͨ݅ ूஂ ͷத͔Β ܧଓͷߴ͍ϢʔβΞΫγϣϯͷΛൃݟ͍ͯ͘͠ੳख๏ͷ͜ͱɻ ྑ͍ΞΫγϣϯΛݟ͚ͭͨΒɺͦͷಋઢΛڧԽ͍͚ͯ͠ྑ͍ɻ ʮରΞΫγϣϯɾϢʔβଐੑɾܧଓʯΛΈ߹Θͤɺ֤ूஂͷܧଓΛಋ͖ൺֱ͢Δɻ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ܧଓಉ࢜Λൺֱ͠ੳ͢Δ ॲཧϑϩʔ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ʢॳʣ ʢ̎ʣ ʢʣ
ࢉग़ํ๏ ྫɿαϜωΠϧΛݟͨਓ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ σʔλՄࢹԽ
ܧଓܭࢉ
ܧଓܭࢉ ݁ՌՄࢹԽ
݁ՌՄࢹԽ
ʢॳʣ ʢ̎ʣ ʢʣ
ص্ܭࢉͷ݁ՌͱҰக ֤ूஂͷΞΫγϣϯຖͷܧଓࢉग़݁Ռ
ܧଓಉ࢜Λൺֱ͠ੳ͢Δ wαϜωΠϧΛݟͨूஂ ˋ w͓ؾʹೖΓΛͨ͠ूஂ ˋ ࢉग़ͨ݁͠Ռ্͕هͷΑ͏ʹͳͬͨ߹ ͓ؾʹೖΓͷಋઢΛڧԽ͢Εྑ͍ͱ͔Δ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠