Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
Search
marchin
August 31, 2023
Programming
0
430
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
marchin
August 31, 2023
Tweet
Share
More Decks by marchin
See All by marchin
WebAPI開発のためのOpenAPI入門/entry-open-api
marchin1989
1
920
AWS Glueではじめるデータレイク
marchin1989
0
430
やさしく入門するOAuth2.0/easy-entry-oauth
marchin1989
6
1.2k
1時間半で克服するJavaScriptの非同期処理/async_javascript_kokufuku
marchin1989
2
1.2k
自動テストでモックするって、なにそれ?おいしいの?/what_is_mocking
marchin1989
0
830
たぶんもう怖くないGit/maybe-not-afraid-of-git-anymore
marchin1989
2
1.7k
モバイルアプリで機械学習入門/introduction-to-machine-learning-in-mobile-app
marchin1989
0
340
Other Decks in Programming
See All in Programming
AmperとFleetを使ったAndroidアプリ
yoppie
0
250
SIMD Parallel Programming with the Vector API
josepaumard
0
230
Domain-Driven Transformation
hschwentner
2
1.5k
Site Reliability Engineering for GMO
pyama86
8
1.1k
Elm Form Validation
bkuhlmann
0
510
CA.swift19 恋するAIアプリ開発の裏側
oskmr
0
380
Sheets API使ってみた
toshi0383
2
160
GitHub Copilotのススメ
marcy731
1
220
検証も兼ねて個人開発でHonoとかと向き合った話
hanetsuki
1
1.3k
冗長なエラーログを削減し、スタックトレースを手に入れる / Reducing Verbose Error Logs and Obtaining Stack Traces
upamune
0
1k
Netty Chicago Java User Group 2024-04-17
sullis
0
200
MetricKitで予期せぬ終了を検知する話 / Detect unexpected termination with MetricKit
nekowen
1
200
Featured
See All Featured
Creatively Recalculating Your Daily Design Routine
revolveconf
211
11k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.2k
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
22
1.6k
RailsConf 2023
tenderlove
8
550
Teambox: Starting and Learning
jrom
128
8.4k
Become a Pro
speakerdeck
PRO
13
4.6k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Music & Morning Musume
bryan
41
5.6k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
The Invisible Side of Design
smashingmag
294
49k
Embracing the Ebb and Flow
colly
80
4.2k
Transcript
Amazon Athenaで 気軽に始めるデータ分析
自己紹介 名前 :阿部 真之 仕事 :株式会社ゆめみ。サーバーサイド、Androidのリードエンジニア 趣味 :コーヒー、ビール、アニメ、ゲーム、読書、etc… Twitter:@marchin_1989
前置き 対象者 - なにかしらデータ分析に関わる方 - AWS Athenaを触ったことがない方 前提とする知識 - AWSのサービスを少しでも触ったことがある方
- SQLを触ったことがある方
アジェンダ - Amazon Athenaとは - Amazon Athenaのデモ
Amazon Athenaとは
Amazon Athena - S3や、様々なデータソースに対して、SQLでクエリできるインタラクティブな分析サービス。 - サーバーレスでインフラ管理不要。 - 大規模データに対しても高速なクエリが可能。 - ユースケース
- アナリストやデータサイエンティストによるアドホックな分析 - S3にあげて、テーブル定義後、すぐクエリ可能。 - ログ分析 - S3に保存した、ログデータに対してクエリ - ETLパイプライン
デモ
デモ - AWSマネジメントコンソールの「クエリエディタ」からクエリを実行してみる。
デモ - 公式のチュートリアルを実施 - https://docs.aws.amazon.com/ja_jp/athena/latest/ug/getting-started.html - サンプルデータ - s3://athena-examples-ap-northeast-1/cloudfront/plaintext/ -
CFのアクセスログ
デモの流れ 1. クエリ結果保存用のS3バケットを指定する 2. データベースを作成する 3. テーブルを作成する 4. クエリする
1. クエリ結果保存用のS3バケットを指定する
2. データベースを作成する
3. テーブルを作成する
4. クエリする
その他 - 基本的にクエリのスキャン量で課金される。1 TB あたり5USD。 - スキャン量を削減することで、パフォーマンスが向上し、料金が安くなる。 - パーティション化 -
Hive形式(例: s3://bucketname/year=2023/month=05/day=08/…)のS3に対して、テーブル 作成時にパーティションを指定する。 - Federated Query - S3だけでなく、RDS、DynamoDBといった様々なデータソースに対してクエリを実行可能。 - S3のデータに対して、RDSのテーブルを結合してクエリできる。 - クエリエディタ以外でも、アプリケーションなどからJDBC経由、AWS SDK(API)経 由で実行可能。
まとめ - Amazon Athenaは、S3や、様々なデータソースに対して、SQLでクエリできるイン タラクティブな分析サービス。 - S3にデータを溜めておけば、気軽にデータ分析が始められる。
参考文献 ・YouTube, 【AWS Black Belt Online Seminar】Amazon Athena,https://www.youtube.com/watch?v=6FLkOE60Pfs,(2020/06/18) ・AWS, Amazon
Athena とは, https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html