Upgrade to Pro — share decks privately, control downloads, hide ads and more …

S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-...

Avatar for emi emi
August 06, 2025

S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-to-query-s3-glacier-from-athena

Avatar for emi

emi

August 06, 2025
Tweet

More Decks by emi

Other Decks in Technology

Transcript

  1. 自己紹介 2 • 最近やっていた・いること ◦ Terraform を用いた AWS リソース構築支援 ◦

    AWS Control Tower を用いたマルチアカウント環境での AWS Security Hub、Amazon GuardDuty 展開 ◦ AWS リソース負荷軽減、構成検討 ◦ コスト最適化アセスメント ◦ Amazon QuickSight や Amazon Athena を利用した データ分析・可視化 • 名前(ニックネーム) ◦ 木谷 映見(emi) • 部署 ◦ クラスメソッド株式会社 ◦ クラウド事業本部コンサルティング部 • 趣味 ◦ コーヒー、ドーナツ、サウナ、 ホットヨガ、漫画、音楽など AWS Certified Cloud Practitioner バ ッ ジ AWS Certified AI Practitioner バ ッ ジ AWS Certified Solutions Architect - Professional バ ッ ジ AWS Certified DevOps Engineer - Professional バ ッ ジ AWS Certified Advanced Networking - Specialty バ ッ ジ AWS Certified Machine Learning - Specialty AWS Certified Security - Specialty バ ッ ジ AWS Certified SysOps Administrator - Associate バ ッ ジ AWS Certified Developer - Associate バ ッ ジ AWS Certified Solutions Architect - Associate バ ッ ジ AWS Certified Data Engineer - Associate バ ッ ジ AWS Certified Machine Learning Engineer - Associate バ ッ ジ AWS Certified Cloud Practitioner バ ッ ジ AWS Certified AI Practitioner バ ッ ジ AWS Certified Solutions Architect - Professional バ ッ ジ AWS Certified DevOps Engineer - Professional バ ッ ジ AWS Certified Advanced Networking - Specialty バ ッ ジ AWS Certified Machine Learning - Specialty AWS Certified Security - Specialty バ ッ ジ AWS Certified SysOps Administrator - Associate バ ッ ジ AWS Certified Developer - Associate バ ッ ジ AWS Certified Solutions Architect - Associate バ ッ ジ AWS Certified Data Engineer - Associate バ ッ ジ AWS Certified Machine Learning Engineer - Associate バ ッ ジ 最近はカフェインを控えています
  2. 目次 3 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫ S3

    ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
  3. S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか 4 ⚫ S3 Glacier のデータを

    Athena からクエリしようとしたらどうなるのか ⚫ S3 ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
  4. S3 ストレージクラスのおさらい 7 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫

    S3 ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
  5. 10 ⚫ S3 Glacier Deep Archive ⚫ 特徴・用途 ⚫ アクセスがほとんどなく、取り出しに時間がかかる長期間保存データ

    ⚫ ストレージ料金:すべてのストレージクラスの中で最も低額 ⚫ 取り出し料金 ⚫ 標準:高額 ⚫ 大容量:低額 ⚫ 取り出しにかかる時間 ⚫ 標準:12 時間以内 ⚫ 大容量:48 時間以内 S3 ストレージクラスのおさらい データ取得の前に、 別途取り出し操作が必要です S3 Glacier Deep Archive
  6. 11 ⚫ S3 Glacier Flexible Retrieval ⚫ 特徴・用途 ⚫ アクセスがほとんどなく、必要に応じて取り出し方法を柔軟に選択できる長期間保存データ

    ⚫ すぐにアクセスする必要がない場合、大量データの無料取り出しも可能 ⚫ ストレージ料金:S3 Glacier Instant Retrieval より低額 ⚫ 取り出し料金 ⚫ 迅速:高額 ⚫ 標準:低額 ⚫ 大容量:無料 ⚫ 取り出しにかかる時間 ⚫ 迅速:1~5 分 ⚫ 標準:3~5 時間 ⚫ 大容量:5~12 時間 S3 ストレージクラスのおさらい データ取得の前に、 別途取り出し操作が必要です S3 Glacier Flexible Retrieval
  7. 12 ⚫ S3 Glacier Instant Retrieval ⚫ 特徴・用途 ⚫ アクセスはほとんどないが、即時取り出しが必要な長期間保存データ

    ⚫ ストレージ料金:S3 1 ゾーン IA より低額 ⚫ 取り出し料金 ⚫ S3 1 ゾーン IA より高額 ⚫ 取り出しにかかる時間 ⚫ 即時取り出し可能 S3 ストレージクラスのおさらい 取り出し操作不要で、 データ取得できます S3 Glacier Instant Retrieval
  8. 検証イメージと結果 13 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫ S3

    ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
  9. 15 ⚫ Athena Partition Projection で クエリする範囲のデータで、一部を Glacier 系のストレージクラスに 変更し、クエリできるか検証します。

    検証イメージと結果 Athena のパーティション射影(Partition Projection)を理解するためにイメージ図を書いた | DevelopersIO https://dev.classmethod.jp/articles/athena-partition-projection-image/
  10. 16 ⚫ 全データが S3 Standard にある場合 ⚫ キュー内の時間:102 ms ⚫

    実行時間:11.878 sec ⚫ スキャンしたデータ:5.96 KB ⚫ 結果:72(行) 検証イメージと結果
  11. 17 ⚫ 一部のデータを S3 Glacier Deep Archive に移動 ⚫ キュー内の時間:139

    ms ⚫ 実行時間:11.031 sec ⚫ スキャンしたデータ:3.78 KB ⚫ 結果:45(行) 検証イメージと結果 Glacier Deep Archive に変更したデータが取得されていない スキャンしたデータ量も減っている ↓ Glacier Deep Archive のデータはそもそもスキャンされない挙動になる模様
  12. 18 ⚫ 一部のデータを Glacier Flexible Retrieval (旧 Glacier) に移動 ⚫

    キュー内の時間:58 ms ⚫ 実行時間:11.552 sec ⚫ スキャンしたデータ:3.09 KB ⚫ 結果:36(行) 検証イメージと結果 Glacier Flexible Retrieval (旧 Glacier) に変更したデータが取得されていない スキャンしたデータ量も減っている ↓ Glacier Flexible Retrieval (旧 Glacier) のデータは そもそもスキャンされない挙動になる模様
  13. 19 ⚫ 一部のデータを Glacier Instant Retrieval に移動 ⚫ キュー内の時間:112 ms

    ⚫ 実行時間:11.568 sec ⚫ スキャンしたデータ:3.09 KB ⚫ 結果:36(行) 検証イメージと結果 Glacier Instant Retrieval に変更したデータは取得できている スキャンしたデータ量は変わらない ↓ Glacier Instant Retrieval は即時取り出しが可能で取り出し操作が不要なので 取得できたと考えられる 実行時間はやや長くなっている
  14. 検証イメージと結果 20 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫ S3

    ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
  15. 22 ⚫ S3 Glacier Instant Retrieval は S3 Standard と異なりデータを取得する際に料金が

    発生する ⚫ アクセスが少ないデータに関してはライフサイクルポリシーで Glacier へ移行することも 考えられるが、Glacier への PUT リクエストが S3 Standard の保存料金よりも 高額になる場合があるため、1 オブジェクトのサイズが小さくオブジェクト数が 大量にあるケースでは、Glacier へのライフサイクルポリシーで移行することによって 逆にコスト増になってしまう場合がある ⚫ データ 1 つ 1 つが小さい場合は、ライフサイクルポリシーで Glacier へ移行 するのではなく、そのまま削除してしまう方がコスト削減になる ⚫ ※DELETE リクエストおよび CANCEL リクエストは無料 コストに関する注意事項
  16. 参考 23 ⚫ 料金 - Amazon S3 |AWS https://aws.amazon.com/jp/s3/pricing/ ⚫

    ストレージクラス - Amazon S3 |AWS https://aws.amazon.com/jp/s3/storage-classes/ ⚫ S3 Glacier 系ストレージクラスのデータを Athena からクエリする時の挙動を確認した | DevelopersIO https://dev.classmethod.jp/articles/athena-s3-storage-classes-glacier/ ⚫ S3 ストレージクラスの選択に迷った時みるチャートを作ってみた(2023年度版) | DevelopersIO https://dev.classmethod.jp/articles/should_i_choice_s3_storage_class_2023/ ⚫ [アップデート]Amazon S3 Glacier Flexible Retrieval でデータの復元時間が最大 85% 短縮されました | DevelopersIO https://dev.classmethod.jp/articles/amazon-s3-glacier-flexible-retrieval-improves-restore-time/