Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Datab...
Search
Masatoshi Shimada
November 09, 2018
Technology
5
2.3k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
Scala関西Summit 2018
Masatoshi Shimada
November 09, 2018
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
6
2.6k
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
8k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
1k
Sparkから利用するAirframe/Spark-With-Airframe
smdmts
0
1.7k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.6k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
1
1.7k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
770
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.8k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.1k
Other Decks in Technology
See All in Technology
PLaMoの事後学習を支える技術 / PFN LLMセミナー
pfn
PRO
9
3.8k
OpenAI gpt-oss ファインチューニング入門
kmotohas
2
950
後進育成のしくじり〜任せるスキルとリーダーシップの両立〜
matsu0228
6
2.2k
バイブコーディングと継続的デプロイメント
nwiizo
2
410
自作LLM Native GORM Pluginで実現する AI Agentバックテスト基盤構築
po3rin
2
250
Escaping_the_Kraken_-_October_2025.pdf
mdalmijn
0
120
M5製品で作るポン置きセルラー対応カメラ
sayacom
0
140
Exadata Database Service on Dedicated Infrastructure(ExaDB-D) UI スクリーン・キャプチャ集
oracle4engineer
PRO
2
5.4k
20201008_ファインディ_品質意識を育てる役目は人かAIか___2_.pdf
findy_eventslides
0
120
実装で解き明かす並行処理の歴史
zozotech
PRO
1
320
コンテキストエンジニアリングとは? 考え方と応用方法
findy_eventslides
4
890
KAGのLT会 #8 - 東京リージョンでGAしたAmazon Q in QuickSightを使って、報告用の資料を作ってみた
0air
0
200
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
42
2.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
A Tale of Four Properties
chriscoyier
160
23k
Large-scale JavaScript Application Architecture
addyosmani
514
110k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Producing Creativity
orderedlist
PRO
347
40k
The Cost Of JavaScript in 2023
addyosmani
53
9k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
The Language of Interfaces
destraynor
162
25k
Facilitating Awesome Meetings
lara
56
6.6k
Building an army of robots
kneath
306
46k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6.1k
Transcript
%BUBCSJDLTͱ4QBSLͰ͡ΊΔ <σʔλੳػցֶश> ࣮ફೖ ౡాխ 4DBMBؔ4VNNJU
ࣗݾհ w ౡాխ!TNENUT w σʔλΣΞϋεΞʔΩςΫτ 4DBMBc1ZUIPOc(PMBOHc+BWBc%%% w גࣜձࣾΤϒϦʔॴଐ w
%&-*4),*5$)&/σʔλੳܥશൠ୲ ओʹੳج൫ɺ৴໘࠷దԽͳͲΛ୲
ΞϓϦϦϦʔε μϯϩʔυɿສ Ϩγϐɿສ݅Ҏ্ ݄ؒಈը࠶ੜɿԯສճҎ্ "QQ4UPSF#&450' (PPHMF1MBZϕετΦϒ ࠃΞϓϦμϯϩʔυୈ̏Ґ ʢ̍Ґ-*/&ɺ̎Ґ:BIPP+"1"/˞ඇήʔϜɹ"QQ"OOJFௐʣ ɾຖ৽ணϨγϐಈը͕৴͞ΕΔ ɹɾྉཧϨγϐಈըʢௐཧݙཱखॱʣ
ɹɾࠂओλΠΞοϓಈը <13>%&-*4),*5$)&/ͷհʢ͔ΜͨΜʹʣ
ΞδΣϯμʢ֓ཁʣ %&-*4),*5$)&/Ͱɺσʔλੳͷجװٕज़ͷҰͭͱͯ͠ 4QBSLͷϗεςΟϯάαʔϏεͰ͋Δ%BUBCSJDLTΛར༻͍ͯ͠·͢ ຊαϯϓϧίʔυΛަ͑ͯɺ%BUBCSJDLTͷ֓ཁͱ σʔλੳػցֶशͰར༻͍ͯ͠Δ4QBSLͷίʔυʹ͍ͭͯ ղઆ͖ͤͯ͞·͢
ΞδΣϯμ w %BUBCSJDLTͷ֓ཁɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹɹ ίϯηϓτΠϯϑϥߏྫ/PUFCPPL࣮ߦσϞ w %BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫɹɹɹɹɹɹɹɹɹɹɹ ؆୯ͳαϯϓϧίʔυػցֶशʢڠௐϑΟϧλϦϯάʣɹɹɹ ɿσʔλੳʢϚδοΫφϯόʔੳʣ
%BUBCSJDLTͷ֓ཁ ίϯηϓτΠϝʔδ Πϯϑϥߏྫ /PUFCPPL࣮ߦσϞ
%BUBCSJDLTͷίϯηϓτΠϝʔδ
%BUBCSJDLTͷίϯηϓτΠϝʔδ ɾ4QBSLΛ࣮ߦج൫ͱͨ͠σʔλੳϓϥοτϑΥʔϜ 6OJpFE"OBMZUJDT1MBUGPSNΛࢦ͍ͯͯ͠࡞ΒΕ͍ͯΔ ɾ "84"[VSF ͷϢʔβΞΧϯτʹ71$࡞ͳͲॴఆͷΠϯετʔϧͰಋೖ ར༻ऀͷ "84"[VSF ΞΧϯτͰΫϥελ͕ىಈ͞ΕΔ ɾଞͷػցֶशج൫ͱͷͭͳ͗ࠐΈ͕Մೳ
5FOTPS'MPX9(#PPTUTDJLJUMFBSO ɾσʔλΤϯδχΞαΠΤϯςΟετ ɹ/PUFCPPLͰεΫϦϓτΛॻ͍ͯ։ൃ͢Δ 4DBMB1ZUIPO34IFMM42-͕ར༻Մ &5-ॲཧ/PUFCPPLͰ࣮Մ
Πϯϑϥߏྫʢ%&-*4),*5$)&/ͷ߹ʣ %BUBCSJDLT71$ ΞϓϦέʔγϣϯ71$ εέʔϥϒϧ 71/PS*OUFSOFU 71$ϐΞϦϯάଓ 4 &MBTUJ $BDIF 3%4
3FETIJGU %BUBCSJDLT $MPVE ʢཧը໘ʣ ىಈઃఆ /PUFCPPL
%BUBCSJDLTʹΑΔܧଓతσϦόϦ ɾ%BUBCSJDLT$MPVEͷ/PUFCPPL্Ͱσʔλੳίʔυͷ։ൃΛߦ͏ ɾ$-*ʹΑΔσϓϩΠΫϥελ࡞͕ग़དྷͯ$*$%Ͱར༻Մೳ ɾैདྷͷTQBSLTVCNJUͰɺKBS͔ΒNBJOΫϥεΛىಈ͢Δํࣜར༻Մೳ 1VMM 1VTIBOE3VO 1VMM 1VTI %FQMPZ PS
.FSHF ຊ൪ڥ ։ൃڥ ʢ։ൃऀͷϫʔΫεϖʔεʣ ຊ൪ڥ
%BUBCSJDLTཧը໘ʢτοϓʣ ɾ։ൃऀʢσʔλΤϯδχΞσʔλαΠΤϯςΟετʣ ɹ%BUBCSJDLT$MPVEͷ63-Λ։͖ɺཧը໘ʹଓͯ͠։ൃΛ࢝ΊΔ
%BUBCSJDLTཧը໘ʢΫϥελઃఆʣ ɾ4QBSLΫϥελͷΠϯελϯελΠϓઃఆը໘ ɹΦʔτεέʔϧىಈΫϥελ $16(16 4QBSLόʔδϣϯ͕ࢦఆՄೳ εϙοτೖࡳ ΠϯελϯελΠϓ ׂ߹ Φʔτεέʔϧઃఆ Φʔτλʔϛωʔτઃఆ
%BUBCSJDLTཧը໘ʢ/PUFCPPLʣ ɾ։ൃऀຖʹׂΓͯΒΕͨ8PSLTQBDF্ͷɺ/PUFCPPLͰ։ൃΛ͢͢ΊΔ ɹ4DBMB1ZUIPO342-͕બՄೳʢͲΕΛબΜͰ૬ޓݺͼग़͠Ͱ͖Δʣ
ɾ/PUFCPPL্ʹෳͷίϚϯυΛ࣮͠ɺ4UFQCZ4UFQͰॲཧΛ࣮ߦ͢Δ ΠϯλϥΫςΟϒʢରతʣʹίϚϯυ͕ஞ࣮࣍ߦ͞ΕΔ ɾίϚϯυؒͷσʔλ࿈ܞɺ4DBMBͷΠϯελϯε4QBSL42-Ͱߦ͏ ɾ42-%4-ͳͲͰ్தஅ໘ͷσʔλΛ֬ೝ͠ͳ͕Β։ൃΛ͢͢ΊΔ /PUFCPPLʹΑΔ։ൃͷ͢͢Ίํ 5%4QBSL
/PUFCPPL࣮ߦσϞ
%BUBCSJDLTʢ4QBSLʣͷίʔυ࣮ྫ ؆୯ͳαϯϓϧίʔυ ػցֶश ڠௐϑΟϧλϦϯά ɿσʔλੳ ϚδοΫφϯόʔੳ
IUUQTHJUIVCDPNTNENUTECDTDBMB@LT@ αϯϓϧίʔυ044ͱͯ͠ެ։͍ͯ͠·͢ ͪ͜ΒΛ͝ࢀর͍ͩ͘͞
؆୯ͳαϯϓϧίʔυ
σʔλఆٛ 7*&8࡞ 42-࣮ߦ σʔλఆٛ 7*&8࡞
42-࣮ߦ 4DBMBίʔυ
݁Ռ֬ೝ 1ZUIPOίʔυ
ػցֶश ڠௐϑΟϧλϦϯά
ڠௐϑΟϧλϦϯάͱ ୭͔͕ݟͨϨγϐΛجʹɺରऀʹ͓͢͢Ί͢ΔϨγϐΛࢉग़͢Δݹయతػցֶश ࣅͨΑ͏ͳϨγϐΛݟͨϢʔβಉ࢜Ͱɺ͓ޓ͍ʹະࢹௌͷϨγϐΛަ͢Δ ʢυϝΠϯ͕ࣝແͯ͘ҎԼͷΑ͏ʹࢉग़Մೳʣ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ *OEFYFS࡞ ܭࢉྔݮͷͨΊ*OUԽ͢Δఆٛ ػցֶश ܭࢉࣜఆٛ
ܭࢉ༻ ύΠϓϥΠϯ࡞ 7JFX࡞ σʔλՄࢹԽ
*OEFYFS݁Ռఆٛ *OUVTFS@JEͷඥ͚༻7*&8 *OEFYFS݁Ռఆٛ Ϩγϐ໊VTFS@JEͷ ඥ͚༻7*&8
VTFS@JE JOEFYࡁΈVTFS@JE Ϩγϐ໊ JOEFYࡁΈϨγϐ໊ *OEFYFS݁Ռ֬ೝ *OEFYFS݁Ռ֬ೝ
σʔλՄࢹԽ Ϟσϧܭࢉ Ϩίϝϯυࢉग़ 7JFX࡞
݁Ռऔಘ7*&8
݁Ռ֬ೝ
ڠௐϑΟϧλϦϯά݁Ռ ͕ࢹௌࡁΈͷϨγϐ ʹఏҊ͢ΔະࢹௌͷϨγϐ ΦϨϯδͷํ͕Ԡ͕ڧ͍
࣭ٙɾԠ
σʔλੳ ϚδοΫφϯόʔੳ
ϚδοΫφϯόʔੳͱ ྫ͑ɺ͜ͷαϜωΠϧ෦ΛΫϦοΫͨ͠ࣄͷ͋ΔϢʔβͷܧଓɺͲͷ͘Β͍ͩΖ͏͔ʁ ʮ͓ؾʹೖΓͨ͠ಈըࢹௌͨ͠ݕࡧͨ͠ʯɺผͷΞΫγϣϯͱൺܧଓߴ͍ͩΖ͏͔ʁ ܧଓ͕ߴ͍ͷͲΜͳϢʔβͩΖ͏͔ʁڥଐੑʁ ϚδοΫφϯόʔੳͱɺ༷ʑͳཁૉΛΈ߹Θͤͨ݅ ूஂ ͷத͔Β ܧଓͷߴ͍ϢʔβΞΫγϣϯͷΛൃݟ͍ͯ͘͠ੳख๏ͷ͜ͱɻ ྑ͍ΞΫγϣϯΛݟ͚ͭͨΒɺͦͷಋઢΛڧԽ͍͚ͯ͠ྑ͍ɻ ʮରΞΫγϣϯɾϢʔβଐੑɾܧଓʯΛΈ߹Θͤɺ֤ूஂͷܧଓΛಋ͖ൺֱ͢Δɻ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ܧଓಉ࢜Λൺֱ͠ੳ͢Δ ॲཧϑϩʔ
֤ूஂͷΞΫγϣϯຖͷܧଓΛࢉग़͢Δ ʢॳʣ ʢ̎ʣ ʢʣ
ࢉग़ํ๏ ྫɿαϜωΠϧΛݟͨਓ
σʔλఆٛ ʢ௨ৗ%#4ͳͲʣ
7JFX࡞ σʔλՄࢹԽ
ܧଓܭࢉ
ܧଓܭࢉ ݁ՌՄࢹԽ
݁ՌՄࢹԽ
ʢॳʣ ʢ̎ʣ ʢʣ
ص্ܭࢉͷ݁ՌͱҰக ֤ूஂͷΞΫγϣϯຖͷܧଓࢉग़݁Ռ
ܧଓಉ࢜Λൺֱ͠ੳ͢Δ wαϜωΠϧΛݟͨूஂ ˋ w͓ؾʹೖΓΛͨ͠ूஂ ˋ ࢉग़ͨ݁͠Ռ্͕هͷΑ͏ʹͳͬͨ߹ ͓ؾʹೖΓͷಋઢΛڧԽ͢Εྑ͍ͱ͔Δ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠