Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
最近やってる、サーバーレスでデータ分析基盤を構築している話 / 20230916-nds63
Search
kasacchiful
September 16, 2023
Programming
0
140
最近やってる、サーバーレスでデータ分析基盤を構築している話 / 20230916-nds63
第63回 長岡IT開発者勉強会 (NDS#63) で発表した資料。
https://sites.google.com/site/ndssite/no63
kasacchiful
September 16, 2023
Tweet
Share
More Decks by kasacchiful
See All by kasacchiful
データ基盤でのコンテナ活用事例 / jawsug-niigata21-data-platform-with-container
kasacchiful
0
91
AWSのコンテナサービス / jawsug_niigata21_aws_container_services
kasacchiful
1
79
Amazon S3 TablesとAmazon S3 Metadataを触ってみた / 20250201-jawsug-tochigi-s3tables-s3metadata
kasacchiful
0
270
Amazon S3 TablesとAmazon S3 Metadataを動かしてみた / 20250125-niigata-5min-tech-lt
kasacchiful
0
27
dbt coreとFargateでデータ変換 / 20240928-jawsug-toyama-hokuriku-shinkansen
kasacchiful
1
110
What we keep in mind when migrating from Serverless Framework to AWS CDK and AWS SAM
kasacchiful
1
410
AWSでIcebergを使ってデータウェアハウスを構築してみる / 20240810-jawsug-akita
kasacchiful
0
55
サーバーレスパターンを元にAWS CDKでデータ基盤を構築する / 20240731_classmethod_odyssey_online_build_a_data_infrastructures_using_aws_cdk_based_on_serverless_patterns
kasacchiful
0
540
AWS IoT 1-clickがサービス終了するので、SORACOMに移行した話 / 20240518-jawsug-niigata-iotlt-niigata
kasacchiful
0
290
Other Decks in Programming
See All in Programming
Building a macOS screen saver with Kotlin (Android Makers 2025)
zsmb
1
140
Rollupのビルド時間高速化によるプレビュー表示速度改善とバンドラとASTを駆使したプロダクト開発の難しさ
plaidtech
PRO
1
160
Go1.24 go vetとtestsアナライザ
kuro_kurorrr
2
820
スモールスタートで始めるためのLambda×モノリス
akihisaikeda
2
140
Agentic Applications with Symfony
el_stoffel
2
270
サービスクラスのありがたみを発見したときの思い出 #phpcon_odawara
77web
4
630
Enterprise Web App. Development (1): Build Tool Training Ver. 5
knakagawa
1
110
Kubernetesで実現できるPlatform Engineering の現在地
nwiizo
3
1.9k
AHC045_解説
shun_pi
0
460
PHP で学ぶ OAuth 入門
azuki
1
120
地域ITコミュニティの活性化とAWSに移行してみた話
yuukis
0
230
エンジニア未経験が最短で戦力になるためのTips
gokana
0
260
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
GraphQLの誤解/rethinking-graphql
sonatard
71
10k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.1k
Statistics for Hackers
jakevdp
798
220k
Bash Introduction
62gerente
611
210k
Building an army of robots
kneath
304
45k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
30k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.4k
Why Our Code Smells
bkeepers
PRO
336
57k
Raft: Consensus for Rubyists
vanstee
137
6.9k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Transcript
࠷ۙͬͯΔɺαʔόʔϨεͰ σʔλੳج൫Λߏங͍ͯ͠Δ͓ ൛ ּݪ /%4
ࣗݾհ @kasacchiful @kasacchiful ּݪ wΫϥεϝιουגࣜձࣾσʔλΞφϦςΟΫεࣄۀຊ෦ w৽ׁݝ৽ׁࢢࡏॅ w͖ͳ"84αʔϏε4ɺ-BNCEBɺ4BHF.BLFS w+"846(৽ׁࢧ෦ʗ1ZUIPOػցֶशษڧձJO৽ׁʗ+B445৽ׁ ʗ48"/**ʗ$MPVE
fl BSF.FFUVQ/JJHBUBʗFUD w"84$PNNVOJUZ#VJMEFS+BQBO"84"MM $FSUJ fi DBUJPOT&OHJOFFS
࣍ wσʔλੳج൫ΛαʔόʔϨεͰ w࠷͓ۙؾʹೖΓͷαʔϏε w·ͱΊ
͢͜ͱ wσʔλΛੳ͢ΔͨΊͷલॲཧΛߦ͏ͨΊͷج൫࡞ͬͯ·͢ w΄ͱΜͲαʔόʔϨεߏͳͷͰɺͦΕΛ͝հʢྫ֎͋Γ w΄΅"84
σʔλੳج൫ΛαʔόʔϨεͰ
࠷ۙΑ͘͏αʔϏε 4 -BNCEB 4UFQ'VODUJPOT (MVF "UIFOB
*P5ηϯαʔσʔλϑΝΠϧΛ-BNCEBͰฒྻՃ
֤छ%#σʔλΛ(MVFͰऔಘͯ͠#JH2VFSZ
ػثใ%#͔ΒσʔλՃͯ͠ՄࢹԽ
ػثใ%#͔ΒσʔλՃͯ͠ՄࢹԽ
࿈ܞσʔλϑΝΠϧ͕དྷͨΒ(MVFˠ3FETIJGU
ߟ͍͑ͯΔ͜ͱɺ͍͍ͩͨҰॹ ͍ۙ༰͕"84#MPHʹࡌͬͨ IUUQTBXTBNB[PODPNKQCMPHTCJHEBUB CVJMEBOFUMQSPDFTTGPSBNB[POSFETIJGUVTJOHBNB[POTFWFOUOPUJ fi DBUJPOTBOEBXTTUFQGVODUJPOT
࠷͓ۙؾʹೖΓͷαʔϏε
(MVFGPS3BZʹظ IUUQTEFWDMBTTNFUIPEKQBSUJDMFTBXTHMVFGPSSBZHFOFSBMMZBWBJMBCMF
1BOEBTͱ΄ͱΜͲมΘΒͳ͍ײ͡Ͱฒྻࢄॲཧ
·ͩ71$ͷϓϥΠϕʔτଓͰ͖ͳ͍͚Ͳ IUUQTEFWDMBTTNFUIPEKQBSUJDMFTBXTHMVFGPSSBZHFOFSBMMZBWBJMBCMF
3FETIJGU"VSPSBͳΒɺ%BUB"1*͕͑Δ IUUQTEFWDMBTTNFUIPEKQBSUJDMFTUSZVTJOHSFETIJGUEBUBBQJPOHMVFGPSSBZ
"844%,GPS1BOEBT "848SBOHMFS ͏ͱ؆୯ IUUQTEFWDMBTTNFUIPEKQBSUJDMFTUSZVTJOHSFETIJGUEBUBBQJPOHMVFGPSSBZ
ެ։ࡁ %FWFMPQFST*0ϏσΦηογϣϯ Glue for Rayを使ってみよう 3435/7/5 データアナリティクス事業本部 笠原 宏
·ͱΊ
·ͱΊ w࠷ۙαʔόʔϨεͰσʔλੳج൫Λߏங͢Δػձ͕ଟ͍ Ͱ͢ w(MVFGPS3BZʹظͯ͠·͢
એ
+B445`/JJHBUB։࠵ w ۚ wਃࠐडऴྃ͠·ͨ͠
1ZUIPOػցֶशษڧձJO৽ׁۙ։࠵༧ఆ wळ w$IBU(15"1*Λͬͨੜ"*ϋϯζΦϯ