Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Sparkから利用するAirframe/Spark-With-Airframe
Search
Masatoshi Shimada
October 23, 2019
Technology
0
1.8k
Sparkから利用するAirframe/Spark-With-Airframe
Masatoshi Shimada
October 23, 2019
Tweet
Share
More Decks by Masatoshi Shimada
See All by Masatoshi Shimada
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
10
3.4k
Delta Lakeを用いた LLM処理基盤 / Delta Lake with LLM on Dataplatform
smdmts
3
8.4k
Lakehouseプラットフォームを 採用するまでの話/Lakehouse Platform Adoption
smdmts
1
1k
Redashで何をみるのか/What Do You Wanna See Redash?
smdmts
1
1.7k
DatabricksとSparkではじめる [ビッグデータETL処理/データ可視化] 実践入門 / Databricks and Spark with ETL and Visualization
smdmts
1
1.7k
DatabricksとSparkではじめる [データ分析/機械学習] 実践入門 / Databrick and Spark with Data Analyze and ML for newbie.
smdmts
6
2.3k
作らない分析基板のススメ/DWH For Startup With YAGNI
smdmts
1
790
エンジニアのためのドメイン駆動設計実践入門 / DDD for Engineer newbie
smdmts
18
3.9k
How to growth the delish kitchen team to data-driven team
smdmts
1
1.2k
Other Decks in Technology
See All in Technology
20251222_サンフランシスコサバイバル術
ponponmikankan
2
160
[2025-12-12]あの日僕が見た胡蝶の夢 〜人の夢は終わらねェ AIによるパフォーマンスチューニングのすゝめ〜
tosite
0
230
Snowflake Industry Days 2025 Nowcast
takumimukaiyama
0
150
スクラムマスターが スクラムチームに入って取り組む5つのこと - スクラムガイドには書いてないけど入った当初から取り組んでおきたい大切なこと -
scrummasudar
0
400
さくらのクラウド開発ふりかえり2025
kazeburo
2
1.3k
フィッシュボウルのやり方 / How to do a fishbowl
pauli
2
430
Oracle Database@AWS:サービス概要のご紹介
oracle4engineer
PRO
2
590
AWS Lambda durable functions を使って AWS Lambda の15分の壁を超えてみよう
matsuzawatakeshi
0
120
ハッカソンから社内プロダクトへ AIエージェント ko☆shi 開発で学んだ4つの重要要素
leveragestech
0
490
通勤手当申請チェックエージェント開発のリアル
whisaiyo
3
640
日本Rubyの会: これまでとこれから
snoozer05
PRO
6
250
AWSインフルエンサーへの道 / load of AWS Influencer
whisaiyo
0
240
Featured
See All Featured
A Tale of Four Properties
chriscoyier
162
23k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Amusing Abliteration
ianozsvald
0
79
The Curse of the Amulet
leimatthew05
0
6.5k
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
58
41k
Exploring anti-patterns in Rails
aemeredith
2
220
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
96
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
ryanjones
0
34
Why Our Code Smells
bkeepers
PRO
340
58k
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
0
2.3k
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
3
2.8k
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
5
680
Transcript
4QBSLXJUI"JSGSBNF ౡాխ!TNENUT "JSGSBNF.FFUVQ
ࣗݾհ w ౡాխ!TNENUT w %8)ΞʔΩςΫτσʔλΞφϦετ w 4DBMBc1ZUIPOc+BWBc(PMBOHc%%% w
גࣜձࣾΤϒϦʔॴଐ w ։ൃ෦%"5""*νʔϜ.(3
4QBSLͰར༻͍ͯ͠Δɺ "JSGSBNFϞδϡʔϧͷΛ͠·͢ ΞδΣϯμ
ຊհ͢ΔϞδϡʔϧ BJSGSBNFNFUSJDT BJSGSBNFDPEFD BJSGSBNFDPOUSPM
BJSGSBNFNFUSJDT ࣌ܥྻσʔλ૬ର࣌ؒΛѻ͏࣮͕සग़͢Δ KBWBUJNFׂͱ໘ʢੲʹൺָʹͳͬͨͱ͍͑ʣ λΠϜκʔϯͷ࣮ϛεͳͲͰΤϯόά͢Δ͜ͱ͕͋Δ 4QBSL࣌ܥྻσʔλΛසൟʹѻ͏
BJSGSBNFNFUSJDT 3FMBUJWF5JNF8JOEPXT 4QBSL42-Ͱ5%@*/5&37"-ͷΑ͏ͳ͜ͱ͕࣮Ͱ͖Δ
BJSGSBNFDPEFD 4QBSLΫϥελؒͷ௨৴௨ৗετϦʔϛϯάͰߦ͏ ,JOFTJTͷ߹ɺ,$-Λར༻͢Δ͕4FS%F͕ඞཁ ௨ৗ4FS%Fʹ+40/Λར༻͢Δ͕ɺߴͩͱͳ͓ྑ͍ 4QBSLؒ௨৴Λߦ͍͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPEFD 1VCMJTIFSʢૹ৴ଆʣ 8PSLFSͷλεΫຖʹ,$-ΛΠϯελϯεԽ BJSGSBNFDPEFDͰγϦΞϥΠζ
BJSGSBNFDPEFD $POTVNFSʢड৴ଆʣ BJSGSBNFDPEFDͰσγϦΞϥΠζ
BJSGSBNFDPEFD WBMDPEFD .FTTBHF$PEFDPG<4FR<1VTI3FRVFTU>> 1VCMJTIFSʢૹ৴ଆʣ DPEFDUP.TH1BDL SPXTUP4FR $POTVNFSʢड৴ଆʣ DPEFDVOQBDL.TH1BDL WHFU
BT*OTUBODF0G<"SSBZ<#ZUF>> DBTFDMBTTͷ4FS%FΛࣗಈԽͯ͘͠ΕΔ .FTTBHF1BDLͷͨΊ+40/ͷ4FS%FΑΓߴ
BJSGSBNFDPOUSPM 4QBSLΫϥελ֤ΫϥελͰࢄ࣮ߦ͢ΔͨΊɺ όοΫϓϨογϟͳͲͷྲྀྔ੍ޚ͕͍͠ ฐࣾͰ1VTIج൫ʹ(BVSVOΛ'BSHBUFͰར༻͍ͯ͠Δ (BVSVOҰఆͷྲྀྔΛ͑Δͱ #BE3FRVFTU͕ฦ٫͞ΕΔ 4QBSL͔Β3&45αʔϏεΛݺͼ͍ͨ͜ͱ͕͋Δ
BJSGSBNFDPOUSPM ٯઆతʹɺҎ֎ͷϨεϙϯε͕ൃੜͨ͠Β 'BSHBUF͕εέʔϧΞτ͞ΕΔ·Ͱͪ࠶։͢Εྑ͍ +JUUFSʢ࣌ؒͷ༳Β͗ʣ͖ͷϦτϥΠϠΛར༻͢Εྑ͍ +JUUFSʹΑΓॴఆ࣌ؒ૭ͷେྔΞΫηεΛආ͚Δ͜ͱ͕ग़དྷΔ
BJSGSBNFDPOUSPM 4QBSLΫϥελͷBJSGSBNFDPOUSPMʹΑΔ੍ޚͱ࿈ಈͯ͠ɺ (BVSVOPO'BSHBUF͕Φʔτεέʔϧͯ͠ॲཧ͍ͯ͠Δ༷ࢠ $16ར༻্͕͕Δ εέʔϧΞτ͕࢝·Δ
·ͱΊ w"JSGSBNFͷ֤छϞδϡʔϧɺ4QBSL͔Βศརʹར༻ग़དྷΔ BJSGSBNFNFUSJDʢ4QBSL42-ͷ࣌ܥྻॲཧʣ BJSGSBNFDPEFDʢΫϥελؒͷ4FS%Fॲཧʣ BJSGSBNFDPOUSPMʢ"84'BSHBUF੍ޚʣ
͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠