Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Athenaのコスト節約を考える
Search
Junki Ishigaki
September 27, 2024
0
18
Athenaのコスト節約を考える
Junki Ishigaki
September 27, 2024
Tweet
Share
More Decks by Junki Ishigaki
See All by Junki Ishigaki
talk_about_wasmwasi
junkishigaki
0
160
CloudWatch Logs Insightsをめぐるあれこれ
junkishigaki
0
120
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
41
2.6k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
47
2.8k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.8k
Mobile First: as difficult as doing things right
swwweet
223
9.6k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
5
600
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
14
880
Designing for Performance
lara
608
69k
Done Done
chrislema
184
16k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.2k
Automating Front-end Workflow
addyosmani
1370
200k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Building a Modern Day E-commerce SEO Strategy
aleyda
40
7.3k
Transcript
# Athenaのコスト節約を考える Junki Ishigaki September 19, 2024
自己紹介 石垣潤樹 / Junki Ishigaki - 所属 → 株式会社シーズ -
やっていること → インフラエンジニア - やっていること → AWSとかさわってます - 好きなAWSサービス → Athena - 最近 → Amplify Gen2楽しい - 好き → ラーメン, 担々麺 2
目次 - 今日のアプローチ - まとめ - Athenaの料金体系 - Athenaのパーティション化 -
パーティション射影の話 3
今日のアプローチ 4 5分LT →短い(自分でショート枠に申し込んでおいてあれですが...) →サービスをしぼりつつ、けど他にも応用できそうなヒントを 5分LT →短い →キーワードだけ拾ってもらえれば(勉強会は自分の中にイン デックスを作る場)
今日のまとめ 5 ・コスト節約考える時に、料金体系理解すること大事 ↓ ・その上で、削れるところを削る。抑えれるところを抑える。
Athenaとは 6 →ざっくりいうと、S3のファイルにクエリ投げれます https://docs.aws.amazon.com/ja_jp/athena/latest/ug/what-is.html
Athenaの料金体系 7 https://aws.amazon.com/jp/athena/pricing/
パーティション化 8 ・コストがデータ量依存 ↓ ・スキャン対象をしぼる このノウハウはCloudWatch Logsとかにも使えますね Partition ↑ Part(分ける,部分)
+ -ion(名詞化の接尾語)
パーティション化のイメージ 9 toarusystem-hogehoge-bucket/ 2024-01-01.log 2024-01-02.log toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log
分析対象が巨大であればあるほど効いてきます。
パーティション射影 10 ・分けてとは言うものの... 例えば2024/1/1で分けて、2024/1/2で分けて... 増えたら増えた分だけパーティション作成し直して... ↓ちょっとやってられない パーティション射影 ざっくりいうとパターンがあれば自動でパーティショニング可能です。
パーティション射影のイメージ 11 toarusystem-hogehoge-bucket/ 2024/1/1/ xx.log 2024/1/2/ xx.log 2024/1/3/ xx.log 2024/9/19/
xx.log }「ここのデータは日付で分 かれているデータですよ」 という事前定義 増えた分もパーティションは分かれている 状態なので、そのままこれをロードして使 える。
まとめ 〜これだけ覚えて帰る 12 AthenaはS3にクエリ投げれるサービス とにかくパーティショニング! パーティション射影もあるよ!
感想 13 今回改めてAthenaのドキュメント読み直しましたが、全部書 いてありました。 AWSさんありがとうございます。
ありがとうございました