Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
marchin
August 31, 2023
Programming
650
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
marchin
August 31, 2023
Transcript
17 slides
Amazon Athenaで 気軽に始めるデータ分析
自己紹介 名前 :阿部 真之 仕事 :株式会社ゆめみ。サーバーサイド、Androidのリードエンジニア 趣味 :コーヒー、ビール、アニメ、ゲーム、読書、etc… Twitter:@marchin_1989
前置き 対象者 - なにかしらデータ分析に関わる方 - AWS Athenaを触ったことがない方 前提とする知識 - AWSのサービスを少しでも触ったことがある方
- SQLを触ったことがある方
アジェンダ - Amazon Athenaとは - Amazon Athenaのデモ
Amazon Athenaとは
Amazon Athena - S3や、様々なデータソースに対して、SQLでクエリできるインタラクティブな分析サービス。 - サーバーレスでインフラ管理不要。 - 大規模データに対しても高速なクエリが可能。 - ユースケース
- アナリストやデータサイエンティストによるアドホックな分析 - S3にあげて、テーブル定義後、すぐクエリ可能。 - ログ分析 - S3に保存した、ログデータに対してクエリ - ETLパイプライン
デモ
デモ - AWSマネジメントコンソールの「クエリエディタ」からクエリを実行してみる。
デモ - 公式のチュートリアルを実施 - https://docs.aws.amazon.com/ja_jp/athena/latest/ug/getting-started.html - サンプルデータ - s3://athena-examples-ap-northeast-1/cloudfront/plaintext/ -
CFのアクセスログ
デモの流れ 1. クエリ結果保存用のS3バケットを指定する 2. データベースを作成する 3. テーブルを作成する 4. クエリする
1. クエリ結果保存用のS3バケットを指定する
2. データベースを作成する
3. テーブルを作成する
4. クエリする
その他 - 基本的にクエリのスキャン量で課金される。1 TB あたり5USD。 - スキャン量を削減することで、パフォーマンスが向上し、料金が安くなる。 - パーティション化 -
Hive形式(例: s3://bucketname/year=2023/month=05/day=08/…)のS3に対して、テーブル 作成時にパーティションを指定する。 - Federated Query - S3だけでなく、RDS、DynamoDBといった様々なデータソースに対してクエリを実行可能。 - S3のデータに対して、RDSのテーブルを結合してクエリできる。 - クエリエディタ以外でも、アプリケーションなどからJDBC経由、AWS SDK(API)経 由で実行可能。
まとめ - Amazon Athenaは、S3や、様々なデータソースに対して、SQLでクエリできるイン タラクティブな分析サービス。 - S3にデータを溜めておけば、気軽にデータ分析が始められる。
参考文献 ・YouTube, 【AWS Black Belt Online Seminar】Amazon Athena,https://www.youtube.com/watch?v=6FLkOE60Pfs,(2020/06/18) ・AWS, Amazon
Athena とは, https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html
More Decks by marchin
See All by marchin
ブラックフライデーで購入したPixel9で、Gemini Nanoを動かしてみた
marchin1989
1
850
WebAPI開発のためのOpenAPI入門/entry-open-api
marchin1989
1
1.5k
AWS Glueではじめるデータレイク
marchin1989
0
760
やさしく入門するOAuth2.0/easy-entry-oauth
marchin1989
8
3k
1時間半で克服するJavaScriptの非同期処理/async_javascript_kokufuku
marchin1989
2
1.6k
自動テストでモックするって、なにそれ?おいしいの?/what_is_mocking
marchin1989
1
1.3k
たぶんもう怖くないGit/maybe-not-afraid-of-git-anymore
marchin1989
2
2.9k
モバイルアプリで機械学習入門/introduction-to-machine-learning-in-mobile-app
marchin1989
0
590
Other Decks in Programming
See All in Programming
[DroidKnights 2026] Workflow AX 적용기 — 자동 정책 정리부터 E2E까지
dayeon
0
120
Spec-driven Development with AI
simas
PRO
0
2.3k
Enforcing Your Architecture with Unit Tests in the AI Era (Swift Connection X)
steliosf
PRO
1
190
protojson における文字化けの扱い
kazuki1023
0
450
AI時代のシニアエンジニアとは
yosuke_furukawa
PRO
15
12k
はじめてのKubernetesコントリビューション
nasa9084
0
190
どうしても Eloquent でリポジトリパターンをやりたいんだ #phpcon_niigata / phpcon-niigata-2026
shogogg
0
660
AI Augmentation Techniques with Liberty
ivargrimstad
1
530
Materialが消えた日 〜真っ白なFlutterキャンバスにRenderObjectで絵を描く〜
umigishiaoi
0
170
SODA - FACT BOOK(EN)
sodainc
1
270
AWS CDKを理解するために公式の定義を深掘って解説してみる / Understanding AWS CDK by Digging into Its Official Definition
akihisaikeda
3
320
プロジェクトコードをキレイキレイしよう!暗黙的な参照を読み解く静的解析
ostk0069
0
220
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
10k
We Have a Design System, Now What?
morganepeng
55
8.4k
Build The Right Thing And Hit Your Dates
maggiecrowley
39
3.5k
From π to Pie charts
rasagy
1
460
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Writing Fast Ruby
sferik
630
63k
Mobile First: as difficult as doing things right
swwweet
225
10k
End of SEO as We Know It (SMX Advanced Version)
ipullrank
3
4.5k
How to train your dragon (web standard)
notwaldorf
96
6.9k
Crafting Experiences
bethany
1
450
[Rails World 2026] Durable orchestration on Rails: from continuation to workflow
palkan
4
1.3k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
2.2k