S3の使い分けでコストもパフォーマンスも最適化！ S3 Standard/Express One Zone/Tablesの比較

Transcript

1. 2025/07/21 JAWS-UG初心者支部 #66 S3の使い分けでコストもパフォーマンスも最適化！ S3 Standard/Express One Zone/Tablesの比較 SKYARCH 佐藤 成珠
2. アジェンダ • S3 Standard • S3 Express One Zone • S3 Tables • まとめ
3. S3 Standard
4. S3(Standard)とは • Amazon Simple Storage Service • オブジェクトストレージサービス • 汎用バケット オブジェクトストレージ 超概要 • データをオブジェクトとして保管 オブジェクト = ファイル ＋ そのメタデータ(ファイルサイズ、更新日時…) • フラットな構造 オブジェクトをキーで管理 キー…フォルダ名/ファイル名 例：folder1/folder2/folder3/image.png
5. S3(Standard)とは • Amazon Simple Storage Service • オブジェクトストレージサービス • 汎用バケット オブジェクト ストレージ ブロック ストレージ ファイル ストレージ Amazon Elastic Block Store (Amazon EBS) Amazon Elastic File System (Amazon EFS) Amazon FSx Amazon Simple Storage Service (Amazon S3) 低コスト 高レイテンシ 高コスト 低レイテンシ 例：サーバーのルートボリュームとして 例：複数サーバーでファイルを共有したいとき 例：大容量ファイルやバックアップの保存 ※S3の場合ミリ秒単位のアクセス速度
6. S3(Standard)とは • Amazon Simple Storage Service • オブジェクトストレージサービス • 汎用バケット • 特徴 • マルチAZで冗長化(3AZ以上) • 耐久性 99.999999999%(イレブンナイン) • 可用性 99.99% • スケーラビリティ • 低コスト Region Availability Zone 1 Availability Zone 2 Availability Zone 3 リージョン：別々の地理的エリア(東京、大阪、 バージニア北部…) アベイラビリティーゾーン(AZ)：各リージョン 内の複数の独立した場所(ap-northeast-1a、 ap-northeast-1c、ap-northeast-1d)
7. S3(Standard)とは • Amazon Simple Storage Service • オブジェクトストレージサービス • 汎用バケット • 特徴 • マルチAZで冗長化(3AZ以上) • 耐久性 99.999999999%(イレブンナイン) • 可用性 99.99% • スケーラビリティ • 低コスト • 主な料金 • ストレージ • USD 0.025/GB(最初の 50 TB/月) • USD 0.024/GB(次の 450 TB/月) • USD 0.023/GB(500 TB/月以上) • リクエスト • PUTリクエスト：USD 0.0047/ 1,000件 • GETリクエスト：USD 0.00037/ 1,000件 • ユースケース • データレイク • バックアップ • アーカイブ 等
8. S3 Express One Zone
9. S3 Express One Zoneとは • 高性能ワークロード向けストレージ • データ分析、機械学習… • ディレクトリバケット • 特徴 • データアクセス速度…1桁ミリ秒 • S3 Standard比 最大10倍高速 • シングルAZ(AZ内で冗長化) • 耐久性 99.999999999%(イレブンナイン) • 可用性 99.95% • リクエストのコストが低い
10. S3 Express One Zoneはなぜ速いのか コンピュートと同じAZに配置 • 1 秒あたり最大 200 万 GETトランザクション (TPS) をサポート セッションベースの認証 • オブジェクトへの操作が セッションベースの認証 • 5分間有効なセッション トークンを使用 →IAMを毎回使用しない 常に高いTPSを提供 Availability Zone インスタンス (サーバー)
11. S3 Express One Zoneとは • 高性能ワークロード向けストレージ • データ分析、機械学習… • ディレクトリバケット • 特徴 • データアクセス速度…1桁ミリ秒 • S3 Standard比 最大10倍高速 • シングルAZ(AZ内で冗長化) • 耐久性 99.999999999%(イレブンナイン) • 可用性 99.95% • リクエストのコストが低い • 主な料金 • ストレージ：USD 0.124/GB • リクエスト • PUTリクエスト：USD 0.00108/ 1,000件 • GETリクエスト：USD 0.000029/ 1,000件 • データアップロード ：USD 0.003/GB • データ取り出し：USD 0.00056/GB S3 Standardの主な料金 ストレージ：USD 0.025/GB(最初の 50 TB/月) リクエスト PUTリクエスト：USD 0.0047/ 1,000件 GETリクエスト：USD 0.00037/ 1,000件 高 安 アクセス頻度が高いとお得！
12. S3 Express One Zoneとは • 高性能ワークロード向けストレージ • データ分析、機械学習… • ディレクトリバケット • 特徴 • データアクセス速度…1桁ミリ秒 • S3 Standard比 最大10倍高速 • シングルAZ(AZ内で冗長化) • 耐久性 99.999999999%(イレブンナイン) • 可用性 99.95% • リクエストのコストが低い • 主な料金 • ストレージ：USD 0.124/GB • リクエスト • PUTリクエスト：USD 0.00108/ 1,000件 • GETリクエスト：USD 0.000029/ 1,000件 • データアップロード ：USD 0.003/GB • データ取り出し：USD 0.00056/GB • 注意点 • 利用できるリージョン、AZが限定されている • 東京リージョンの場合、2つのAZのみ • 大阪リージョンでは利用できない • S3 Standard(マルチAZ)と比較すると耐障害性 は低い
13. S3 Express One Zoneとは • 高性能ワークロード向けストレージ • データ分析、機械学習… • ディレクトリバケット • 特徴 • データアクセス速度…1桁ミリ秒 • S3 Standard比 最大10倍高速 • シングルAZ(AZ内で冗長化) • 耐久性 99.999999999%(イレブンナイン) • 可用性 99.95% • リクエストのコストが低い • 主な料金 • ストレージ：USD 0.124/GB • リクエスト • PUTリクエスト：USD 0.00108/ 1,000件 • GETリクエスト：USD 0.000029/ 1,000件 • データアップロード ：USD 0.003/GB • データ取り出し：USD 0.00056/GB • 注意点 • 利用できるリージョン、AZが限定されている • 東京リージョンの場合、2つのAZのみ • 大阪リージョンでは利用できない • S3 Standard(マルチAZ)と比較すると耐障害性 は低い
14. S3 Tables
15. S3 Tablesとは • 大規模データ分析用に特化 • Apache Iceberg形式をサポート • 表形式のデータを扱う • テーブルバケット Apache Iceberg 超概要 ファイルの集まりをテーブルとして扱う仕組み 大規模データセットの分析に用いられる • データやメタデータの扱い方を決めているので、ストレージとク エリエンジンを疎結合にできる→好きなクエリエンジンが使える • 差分更新、トランザクション、過去バージョン参照等の高度な機 能が利用できる
16. S3 Standard / S3 Tables 比較 S3 Standard S3 Tables スケーラビリティ プレフィックスの設計が必要 • プレフィックスとは… フォルダ名/ファイル名 • プレフィックスあたり 3,500 PUT リクエスト/秒 5,500 GET リクエスト/秒 スケールできるよう内部設計されている →プレフィックス設計不要 メンテナンス 以下のような処理が必要(AWS Glue Data Catalog等を使用) • 不要なファイルの削除 • 小さなファイルをまとめて、ある程度大 きなファイルにする メンテナンス機能 • 参照されていないファイルの削除 • ファイル圧縮：小さなファイルを統合 • スナップショットの管理：古いテーブル スナップショットを有効期限切れ→削除 TPS：最大10倍 クエリ速度：最大3倍
17. S3 Tablesとは • 大規模データ分析用に特化 • Apache Iceberg形式をサポート • 表形式のデータを扱う • テーブルバケット • テーブル単位で管理…オブジェクト がマネージドに管理される
18. S3 Tablesとは • 大規模データ分析用に特化 • Apache Iceberg形式をサポート • 表形式のデータを扱う • テーブルバケット • テーブル単位で管理…オブジェクト がマネージドに管理される • 主な料金 • ストレージ • USD 0.025/1,000 オブジェクト(モニタリング、 全ストレージ/月) • USD 0.0288/GB(最初の 50 TB/月) • USD 0.0276/GB(次の 450 TB/月) • USD 0.0265/GB(500 TB/月以上) • リクエスト • PUTリクエスト：USD 0.0047/ 1,000件 • GETリクエスト：USD 0.00037/ 1,000件 • メンテナンス • オブジェクト：USD 0.00185 per 1,000 objects processed • データ処理量：USD 0.005 per GB processed 同 高 高 + メンテナンスコスト S3 Standardの主な料金 ストレージ：USD 0.025/GB(最初の 50 TB/月) リクエスト PUTリクエスト：USD 0.0047/ 1,000件 GETリクエスト：USD 0.00037/ 1,000件
19. S3 Tablesとは • 大規模データ分析用に特化 • Apache Iceberg形式をサポート • 表形式のデータを扱う • テーブルバケット • テーブル単位で管理…オブジェクト がマネージドに管理される • 主な料金 • ストレージ • USD 0.025/1,000 オブジェクト(モニタリング、 全ストレージ/月) • USD 0.0288/GB(最初の 50 TB/月) • USD 0.0276/GB(次の 450 TB/月) • USD 0.0265/GB(500 TB/月以上) • リクエスト • PUTリクエスト：USD 0.0047/ 1,000件 • GETリクエスト：USD 0.00037/ 1,000件 • メンテナンス • オブジェクト：USD 0.00185 per 1,000 objects processed • データ処理量：USD 0.005 per GB processed
20. まとめ
21. まとめ S3 Standard S3 Express One Zone S3 Tables バケット 汎用バケット ディレクトリバケット テーブルバケット 用途 大容量ファイルの保存 バックアップ アーカイブ 等 多用途 レイテンシを低くしたい とき データ分析・機械学習等 データ分析用 Apache Iceberg形式 S3 Standardとの違い - アクセススピードが速い テーブルを自動的に最適化
22. 参考リンク • S3 Standard • Amazon Simple Storage Service (Amazon S3) 入門編 • Amazon S3 pricing • S3 Express One Zone • Amazon S3 Express One Zone • High performance workloads • Announcing up to 85% price reductions for Amazon S3 Express One Zone • S3 Tables • Amazon S3 Tables – テーブルバケットと汎用バケット • Working with Amazon S3 Tables and table buckets • S3 Tables maintenance • Apache Iceberg とは何ですか?
23. EOF