「S3 Express One ZoneとEFSアーカイブを少しだけ詳しくなろう」re:Growth 2023 in Sapporo

re:Invent2023で発表された新機能ついて少し深掘りしたアップデート紹介資料です。あと、表紙がかわいいです。

Transcript

1. re:Growth 2023 in Sapporo Storage Services Updates
2. 2 Theme ストレージサービスのアップデート振り返り S3 Express One Zone と EFS アーカイブを少しだけ詳しくなろう
3. 3 Agenda 1. はじめに（今ここ） 2. 自己紹介 3. S3 Express One Zoneを少し深掘り 4. EFS アーカイブを少し深掘り
4. 大村 保貴 (Yasutaka Ohmura) クラスメソッド株式会社 AWS事業本部 カスタマーソリューション部 ソリューションアーキテクト 仕事 • エンプラ企業中心にAWSやSaaSを利用した環境の設計、コンサルティング • 専門はHPC（スパコン）、ライフサイエンスを少々 経歴 • ITインフラのコンサル→ IoTサービスのインフラ → クラスメソッド 受賞 • 2023 Japan AWS Top Engineers • 2023 Japan AWS All Certifications Engineers 趣味 • 網走郷土史、コーヒー Profile 4
5. Amazon S3 5
6. 6 Amazon S3 アップデート一覧 • Amazon S3 Express One Zone ストレージクラスの発表 ◦ Amazon EMR とS3 Express One Zone でデータの処理と分析を加速 ◦ Athena と S3 Express One Zone でデータレイクのクエリを高速化 ◦ Mountpoint for Amazon S3 が S3 Express One Zone をサポート • Amazon S3 CSI ドライバーのマウントポイントが一般提供開始 • ML (機械学習) トレーニング用に行う S3 のデータ転送が自動的に高速化 • 新しいアクセス制御方式 Amazon S3 Access Grants を発表
7. 7 Amazon S3 Express One Zone AWS Black Belt Online Seminar re:Invent 2023アップデート速報
8. 8 Amazon S3 Express One Zone 特徴 • レイテンシ重視、高頻度アクセス向け • 特に小さなオブジェクトに対してアクセスが多いときに効果的なストレージクラス • S3 Express One Zone 用のバケットはディレクトリバケットと呼ばれる • AWS CLI、S3 API は同じく使える（aws s3 sync 〜） • Amazon Athena、Amazon EMR などの他 AWS サービスからもアクセス可能 • Mountpoint for Amazon S3 を利用して EC2 に S3 バケットのマウントをサポート • 東京リージョン提供中 S3 標準と比較して最大 10 倍高速なアクセススピードを実現
9. 9 Amazon S3 Express One Zone 価格 • PUT, COPY などのリクエスト料金は S3 標準 に比べ半額 • GBあたりの保存単価は S3 標準 に比べ約 7 倍もお高い ◦ S3 標準: $0.025/GB ◦ S3 Express One Zone: $0.18/GB ストレージコストは割高
10. 10 Amazon S3 Express One Zone • AI/ML トレーニング、HPC（スパコン）を使った並列演算処理などで大量のデータ処理 • Athenaからのクエリパフォーマンス改善。最大 2.1 倍高速化とのこと ユースケース AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230)
11. 11 Amazon S3 Express One Zone S3 標準は段階的なスケーリング S3 Express One Zone は瞬時 毎秒数千トランザクションのスパイクリクエストに耐えられる AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230)
12. 12 Amazon S3 Express One Zone S3 Express One Zone のデータはシングル AZ 内で冗長化されて保管されます。 そのため、AZ 障害によりデータを消失する可能性があります。 データはシングル AZ 保管 AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230) S3 標準 S3 Express One Zone
13. 13 Amazon S3 Express One Zone シングル AZ 以外は同等の設計となっており、耐久性は 99.999999999%（イレブンナイン）です。 耐久性もSLAも同じ 項目 S3 標準 S3 Express One Zone 設計上の耐久性 99.999999999% 99.999999999% 設計上の可用性 99.99% 99.95% 可用性（SLA） 99.9% 99.9% 新しく追加されたExpress 1ゾーンストレージクラスを比較してみた #AWSreInvent
14. 14 Amazon S3 Express One Zone 同リージョン内の他ゾーンからのアクセス可能 他ゾーンからのリクエストでもデータ転送料金はかからない AZ 跨ぎの通信料は発生しない
15. 15 Amazon S3 Express One Zone S3 と S3 Express では名前空間が異なります • s3 • s3express ← New!! IAM ポリシーの書き方に注意 AWS Black Belt Online Seminar re:Invent 2023アップデート速報
16. 16 Amazon S3 Express One Zone 　 AWS管理ポリシーの AmazonS3FullAccess でもアクセスできない
17. 17 Amazon S3 Express One Zone 　 Gateway 型の VPC エンドポイントは別に必要
18. 18 Amazon S3 Express One Zone Amazon S3 features not supported by S3 Express One Zone • バージョニング • バケットにタグ付け • プライベートリンク • S3 ライフサイクル • S3 オブジェクトロック • MFA 削除 • リクエスタ支払い • S3 ストレージレンズ • S3 サーバーアクセスログ • SSE-KMS • などなど S3 のよく知られている機能はだいたい利用できない
19. 19 Amazon S3 Express One Zone バージョニング有効が前提条件の AWS Backup は使えないです。 AWS Backup 非対応 AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230) S3 Express One Zone
20. 20 Amazon S3 Express One Zone AWS re:Invent 2023 - CEO Keynote with Adam Selipsky
21. Amazon EFS 21
22. 22 Amazon EFS アップデート一覧 • データの長期保存に適した EFS アーカイブ ストレージクラス追加 • Elastic スループットモードの最大 IOPS 性能が向上 • 低頻度アクセス（IA）ストレージクラスの利用料引き下げ • ライフサイクル管理で 128KiB 未満のファイルサイズをサポート • EFS レプリケーションのフェイルバックをサポート
23. 23 Amazon EFS Archive 　 保存単価の安いストレージクラス追加
24. 24 Amazon EFS Archive 特徴 • 保存単価は低頻度アクセスストレージクラスの半額 • ライフサイクル管理の設定必要（n 日後に移動設定） • Elastic スループットモードだけが利用可能なストレージクラス • 東京リージョン提供中 アーカイブストレージクラス追加
25. 25 Amazon EFS Archive 価格 • 保存単価（GBあたりの月額） ◦ 標準: $0.36 ◦ 低頻度アクセス: $0.02（94%割引） ◦ アーカイブ: $0.01（更に50%割引） アーカイブ ストレージクラスは最低保管期間として 90 日が設定されています。 90 日以内にデータを削除しても 90 日分の利用料がかかります。 最低保管期間のルールあり
26. 26 Amazon EFS Archive 年に数回の頻度でアクセスするようなデータ ユースケース AWS re:Invent 2023 - [LAUNCH] Lower costs by up to 97% with Amazon EFS Archive (STG228)
27. 27 Amazon EFS Archive とくべつ遅くなるわけではないです。 レイテンシは低頻度アクセスと同じ ストレージクラス レイテンシ 標準 最短 250μ 秒 低頻度アクセス 2桁ミリ秒前半 アーカイブ 2桁ミリ秒前半
28. 28 Amazon EFS Archive 　 使えるのは Elastic スループットモードだけ
29. 29 Amazon EFS 　 最大 IOPS が向上したのも Elastic スループットモードだけ
30. 30 Amazon EFS リージョナルタイプのものだけ 低頻度アクセスクラスの値下げが適用されるパターン
31. Level Up? 31
32. 32 Amazon S3 Express One Zone まとめ • レイテンシ重視、高頻度アクセス向け • 特に小さなオブジェクトに対してアクセスが多いときに効果的なストレージクラス • 保存コストはお高め S3 に 7 つ目の新しいストレージクラスが追加された AWS Black Belt Online Seminar re:Invent 2023アップデート速報
33. 33 Amazon EFS Archive まとめ • 保存単価は低頻度アクセスストレージクラスの半額 • Elastic スループットモードだけが使える EFS に新しいストレージクラスとしてアーカイブが追加された