Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's cre...
Search
Kitano Yuichi
June 19, 2020
Technology
9.2k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
AWS Glueを使ってRDSからS3+Athena環境を作ってみよう / Let's create Athena from RDS using AWS Glue
Kitano Yuichi
June 19, 2020
Transcript
29 slides
"84(MVFΛͬͯ3%4͔Β 4 "UIFOBڥΛ࡞ͬͯΈΑ͏ "84ࣄۀຊ෦ ίϯαϧςΟϯά෦ ༎Ұ
2 ࣗݾհ • ༎Ұʢ,JUBOP:VJDIJʣ • Ϋϥεϝιουגࣜձࣾ • "84ࣄۀຊ෦ ίϯαϧςΟϯά෦
• "1/"845PQ&OHJOFFST • ͖ͳ"84αʔϏε • "84$-* • $PHOJUP
3 3%4ɺͬͯ·͔͢ʁ
4 "84ͷ3%#αʔϏε • "VSPSBΫϥυ͚ʹߏங͞Εͨ3%# • 3%4Ϛωʔδυܕ3%#αʔϏε Aurora RDS
5 3%#ͷσʔλੳ͕͍ͨ͠ • ຊ൪ڥʹӨڹ͕͋Γͦ͏ʜ • ৽͍͠3%4Λ͏Ұཱͭͯͯσʔλ෮ݩʁ • ͦΜͳʹΘͳ͍ͷʹ͍ͬͨͳ͍ͷͰʁ Aurora RDS
SQLで本番データの 分析がしたい
6 ͦΜͳͱ͖ʹ"UIFOBΛਪ͍ͨ͠ • 4ͷσʔλΛ42-ΫΤϦͰੳͰ͖Δ • αʔόϨεͳͷͰΠϯϑϥͷཧෆཁ • ࣮ߦͨ͠ΫΤϦʹରͯ͠ͷΈྉ͕͔͔ۚΔ Athena S3
標準SQLでクエリ
7 ࠓճͷత 3%4͔Β"UIFOBڥ ؆୯ʹߏஙͰ͖Δʂ ʜͱ͍͏͜ͱΛͬͯΒ͏
8 "UIFOBͷը໘ %#ɾදߏ (MVFσʔλΧλϩά 42-ΫΤϦ ΫΤϦ݁Ռ
9 (MVFσʔλΧλϩά ͬͯԿʁ
10 "UIFOB4ʹΫΤϦ͢ΔαʔϏε͕ͩʜ • 4୯ͳΔσʔλอଘઌͰ͋Δ • ςʔϒϧ໊ʁ • ΧϥϜ໊ʁ • σʔλܕʁ
Athena S3 標準SQLでクエリ ・データのみ
11 (MVFσʔλΧλϩάͱʁ • ςʔϒϧߏ ϝλσʔλ Λఆٛ͢ΔαʔϏε • ςʔϒϧʹ͖ͭ̍ͭ࡞ Athena S3
標準SQLでクエリ Glue データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 表構造としてデータ カタログを参照
12 (MVFσʔλΧλϩάͬͯͲ͏ͬͯ࡞Δʁ • (MVFΫϩʔϥΛར༻ͯࣗ͠ಈੜ • (MVFσʔλΧλϩάΛखͰ࡞ "UIFOBͷςʔϒϧ࡞Οβʔυ • )JWF%%-Λར༻ $3&"5&&95&3/"-5"#-&
13 (MVFΫϩʔϥ ͬͯԿʁ
14 (MVFΫϩʔϥͱʁ • σʔλετΞ 4 ͷσʔλߏΛਪଌͯ͠ɺ σʔλΧλϩάʹ දߏΛొ͢ΔαʔϏε S3 Glue
データカタログ ・データのみ ・テーブル名 ・カラム名 ・データ型 等 データ構造の 解析&推測 Glue クローラ 表構造の登録
15 3%4εφοϓγϣοτ͔Β4FYQPSU • 3%4ͷεφοϓγϣοτ͔Β1BSRVFUܗࣜͰ 4FYQPSUͰ͖·͢ ,.4Ͱ҉߸Խ͞Ε·͢ S3 RDSのスナップショット作成 Aurora RDS
Snapshot Parquet形式でexport KMS 暗号化キーを参照
16 (MVFΫϩʔϥͰ҉߸Խ͞Εͨσʔλͷಡࠐ • ,.4Ͱ҉߸Խ͞ΕͨσʔλΛಡΈࠐΉͨΊʹɺ LNT%FDSZQUݖݶΛ༩͠·͢ S3 暗号化された S3データの読込 Glue クローラ
KMS KMSで 暗号化 されている KMSで復号
17 શମߏ • શମతͳߏ͜Μͳײ͡ʹͳΓ·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
18 ࣮ࡍʹ࡞ͬͯΈ·͢ʂ
19 લఏ݅ • ςʔϒϧఆٛ͞Εͨ3%4ͱͦͷ4OBQTIPUɺ ࠷ॳ͔Β͋Δͷͱ͠·͢ɻ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
20 ,.4ͷ࡞ • ·ͣ҉߸ԽͷΩʔͱͳΔ,.4Λ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
21 4#VDLFUͷ࡞ • 4OBQTIPUͷFYQPSUઌͱ͢Δ 4Λ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
22 4OBQTIPUΛ4FYQPSU • 3%4ͷ4OBQTIPUΛ4FYQPSU͠·͢ S3 Aurora&RDS Snapshot Glue クローラ Glue
データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
23 (MVFΫϩʔϥͷ࡞ • 4͔ΒදߏΛղੳ͢Δ(MVFΫϩʔϥΛ ࡞͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
24 (MVFΫϩʔϥͷ࣮ߦ • (MVFΫϩʔϥΛ࣮ߦͯ͠ɺ(MVFσʔλ ΧλϩάΛొ͠·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
25 "UIFOBΛͬͯΈΔ • ߏஙͨ͠ڥΛར༻ͯ͠ɺ"UIFOBͰ42-Λ ࣮ߦͯ͠Έ·͢ S3 Aurora&RDS Snapshot Glue クローラ
Glue データカタログ Athena ①snapshot作成 ②parquet形式 でexport ③データ構造の 解析&推測 ④表構造の登録 ⑤ʼ表構造の参照 ⑤SQLでクエリ KMS ②ʼKMSで暗号化 ③ʼKMSで復号 暗号
26 ·ͱΊ "UIFOBͷΠϝʔδ Θ͖·ͨ͠ʁ
27 ͦͦ͜ͷσʔλ3%4ʹೖΕΔඞཁ͋Δʁ • "UIFOBͰ42-ੳͰ͖Δ͜ͱ͕Θ͔Εɺ ੳσʔλΛ4ʹอଘ͢Δબ͋Γɻ S3 Aurora&RDS Snapshot Athena SQLクエリ
アプリケーション データ保存 データ保存
28 ·ͱΊ • "UIFOBͰ4ʹ42-ΫΤϦͰσʔλੳ • ຊ൪ͱͨ͠αʔόϨεͳσʔλੳڥ • 3%4ͷόοΫΞοϓ͔Β؆୯ʹߏஙͰ͖Δ
None
More Decks by Kitano Yuichi
See All by Kitano Yuichi
Python Lambdaにおけるテストしやすい設計とAI支援の活用 / Designing Testable Python Lambda Functions with AI
kitano_yuichi
1
330
Webアプリ認証の全体像 / The Big Picture of Web App Authentication
kitano_yuichi
1
1.1k
CognitoでWebアプリケーション(not SPA)に ログインさせたい時、何を作らなくてはならないのか? / What do I create when I want to log in to a web application with Amazon Cognito?
kitano_yuichi
1
3.9k
SPAとWebアプリケーションでCognitoの使い方はどう変わるのか? / How do we use cognito with SPA and web applications?
kitano_yuichi
0
7.2k
オンプレとVPCをつなぐ環境のUpdate/re:Cap connecting on-premises and vpc
kitano_yuichi
0
1.7k
Other Decks in Technology
See All in Technology
Context Ontology Accelerator 入門 (業務データの意味を、AI エージェントに渡す)
inariku
PRO
3
690
狙われているAPIの脆弱性!今こそ手をつけるべき根本的な対策とは?
nagix
0
140
AIネイティブ組織の作り方。1人のPOとAIから始める、自社での実験
ama_ch
2
1k
ぼくのClaude Codeの使い方
falken
PRO
5
7.3k
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
2
640
パスワードのない鍵で、 データを手元に置く
ginjihayashi
0
140
20261113_JAWS_Osaka
takuyay0ne
0
540
Gov-JAWS#9 統合監視機能のマネージドサービス化+AIによる障害時自動調査
fj_yoshimura_kosuke
0
170
マネージャーをエスパーにしない マネジメントされる側から始める、働きやすい現場づくり
comi190327
1
600
Claude Codeで新規事業を伸ばせるか? Zennの試行錯誤の記録
wadayusuke
2
210
会社説明資料_最新版
demaecan
0
32k
AI時代の組織作り:チーム開発から「個人×AI」への移行と、持続可能な「開発資本」の築き方
ham0215
3
850
Featured
See All Featured
Building Applications with DynamoDB
mza
96
7.3k
Leading Effective Engineering Teams in the AI Era
addyosmani
9
2.9k
Jamie Indigo - Trashchat’s Guide to Black Boxes: Technical SEO Tactics for LLMs
techseoconnect
PRO
0
750
Embracing the Ebb and Flow
colly
88
5.2k
WCS-LA-2024
lcolladotor
0
1k
KATA
mclloyd
PRO
35
16k
The Pragmatic Product Professional
lauravandoore
37
7.5k
Git: the NoSQL Database
bkeepers
PRO
433
67k
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
aleyda
1
1.4k
Tell your own story through comics
letsgokoyo
1
1.1k
Public Speaking Without Barfing On Your Shoes - THAT 2023
reverentgeek
1
670
Mind Mapping
helmedeiros
1
440