Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
Search
marchin
August 31, 2023
Programming
0
560
Amazon Athenaで気軽に始める データ分析/athena-data-analytics
marchin
August 31, 2023
Tweet
Share
More Decks by marchin
See All by marchin
ブラックフライデーで購入したPixel9で、Gemini Nanoを動かしてみた
marchin1989
1
730
WebAPI開発のためのOpenAPI入門/entry-open-api
marchin1989
1
1.3k
AWS Glueではじめるデータレイク
marchin1989
0
630
やさしく入門するOAuth2.0/easy-entry-oauth
marchin1989
8
1.9k
1時間半で克服するJavaScriptの非同期処理/async_javascript_kokufuku
marchin1989
2
1.4k
自動テストでモックするって、なにそれ?おいしいの?/what_is_mocking
marchin1989
1
1.2k
たぶんもう怖くないGit/maybe-not-afraid-of-git-anymore
marchin1989
2
2.5k
モバイルアプリで機械学習入門/introduction-to-machine-learning-in-mobile-app
marchin1989
0
460
Other Decks in Programming
See All in Programming
CDK引数設計道場100本ノック
badmintoncryer
2
590
状態遷移図を書こう / Sequence Chart vs State Diagram
orgachem
PRO
3
300
Android 16KBページサイズ対応をはじめからていねいに
mine2424
0
810
Vibe Codingの幻想を超えて-生成AIを現場で使えるようにするまでの泥臭い話.ai
fumiyakume
20
9.7k
バイブコーディング超えてバイブデプロイ〜CloudflareMCPで実現する、未来のアプリケーションデリバリー〜
azukiazusa1
2
740
Quality Gates in the Age of Agentic Coding
helmedeiros
PRO
1
110
The Modern View Layer Rails Deserves: A Vision For 2025 And Beyond @ RailsConf 2025, Philadelphia, PA
marcoroth
2
830
DMMを支える決済基盤の技術的負債にどう立ち向かうか / Addressing Technical Debt in Payment Infrastructure
yoshiyoshifujii
4
670
はじめてのWeb API体験 ー 飲食店検索アプリを作ろうー
akinko_0915
0
180
フロントエンドのパフォーマンスチューニング
koukimiura
6
2.3k
MCP連携で加速するAI駆動開発/mcp integration accelerates ai-driven-development
bpstudy
0
180
中級グラフィックス入門~効率的なメッシュレット描画~
projectasura
3
2k
Featured
See All Featured
Building Applications with DynamoDB
mza
95
6.5k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
A Modern Web Designer's Workflow
chriscoyier
695
190k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Rails Girls Zürich Keynote
gr2m
95
14k
Designing for Performance
lara
610
69k
Scaling GitHub
holman
461
140k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Balancing Empowerment & Direction
lara
1
510
Transcript
Amazon Athenaで 気軽に始めるデータ分析
自己紹介 名前 :阿部 真之 仕事 :株式会社ゆめみ。サーバーサイド、Androidのリードエンジニア 趣味 :コーヒー、ビール、アニメ、ゲーム、読書、etc… Twitter:@marchin_1989
前置き 対象者 - なにかしらデータ分析に関わる方 - AWS Athenaを触ったことがない方 前提とする知識 - AWSのサービスを少しでも触ったことがある方
- SQLを触ったことがある方
アジェンダ - Amazon Athenaとは - Amazon Athenaのデモ
Amazon Athenaとは
Amazon Athena - S3や、様々なデータソースに対して、SQLでクエリできるインタラクティブな分析サービス。 - サーバーレスでインフラ管理不要。 - 大規模データに対しても高速なクエリが可能。 - ユースケース
- アナリストやデータサイエンティストによるアドホックな分析 - S3にあげて、テーブル定義後、すぐクエリ可能。 - ログ分析 - S3に保存した、ログデータに対してクエリ - ETLパイプライン
デモ
デモ - AWSマネジメントコンソールの「クエリエディタ」からクエリを実行してみる。
デモ - 公式のチュートリアルを実施 - https://docs.aws.amazon.com/ja_jp/athena/latest/ug/getting-started.html - サンプルデータ - s3://athena-examples-ap-northeast-1/cloudfront/plaintext/ -
CFのアクセスログ
デモの流れ 1. クエリ結果保存用のS3バケットを指定する 2. データベースを作成する 3. テーブルを作成する 4. クエリする
1. クエリ結果保存用のS3バケットを指定する
2. データベースを作成する
3. テーブルを作成する
4. クエリする
その他 - 基本的にクエリのスキャン量で課金される。1 TB あたり5USD。 - スキャン量を削減することで、パフォーマンスが向上し、料金が安くなる。 - パーティション化 -
Hive形式(例: s3://bucketname/year=2023/month=05/day=08/…)のS3に対して、テーブル 作成時にパーティションを指定する。 - Federated Query - S3だけでなく、RDS、DynamoDBといった様々なデータソースに対してクエリを実行可能。 - S3のデータに対して、RDSのテーブルを結合してクエリできる。 - クエリエディタ以外でも、アプリケーションなどからJDBC経由、AWS SDK(API)経 由で実行可能。
まとめ - Amazon Athenaは、S3や、様々なデータソースに対して、SQLでクエリできるイン タラクティブな分析サービス。 - S3にデータを溜めておけば、気軽にデータ分析が始められる。
参考文献 ・YouTube, 【AWS Black Belt Online Seminar】Amazon Athena,https://www.youtube.com/watch?v=6FLkOE60Pfs,(2020/06/18) ・AWS, Amazon
Athena とは, https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html