宇宙最速のランチRecap LT会（AWS re:Invent 2024)

宇宙最速のランチRecap LT会（AWS re:Invent 2024)でお話しした内容です。
https://storage-jaws.connpass.com/event/336323/

Transcript

1. JAWS - UG東京 宇宙最速のランチRecap LT会 （AWS re:Invent 2024） 2024-12-09 DB&ストレージ
2. 自己紹介 渡邉 洋平(watany) • NTTテクノクロス株式会社 • JAWS-UG東京 運営 • 2024 Japan AWS Ambassadors
3. Pre re:Invent編 ※イベント前からのアップデート群。 本資料では11月のアプデを取り扱う
4. • 汎用Bucket数のデフォルトが100→10,000、最大値が1,000→1,000,000 • 条件付き書き込みの新機能 • (Backup)opt-in RegionでのCrossRegion&CrossAccountバックアップ • (Backup)Objectの復元バージョン数を選べるように • (Organizations)MemberアカウントのBucket Policyを削除可能 feat(S3): 2001バケット目 からは$0.02 ”無敵Bucket”を救える From親アカウント ETag見て上書き防止
5. • Lifecycleの有効化 • Objectへの直接追記サポート • 条件付き削除 • Mountpoint for Amazon S3のShared Cache対応 feat(S3 Express): TTLで消せる 追記にDownload不要 最終更新時刻、サイズ、Etag が不適なら削除しない
6. feat(RDS): • New インスタンスタイプ(R7i / M7i) • PostgreSQL now supports major version 17 • MySQL supports new minor version 8.0.40
7. feat(Aurora): • Limitless Database(PostgreSQL)がGA • Serverless v2 の最小CU0 • New インスタンスタイプ(R7i / R8g) Managed Shardingで 書き込み性能がスケール 夢の自動停止/再開
8. feat(OpenSearch): • 延長サポートの提供開始 • Kinesis Data Streams to OpenSearch Ingestion 直繋ぎ&ETL！ 札束で塩漬け!
9. feat(OpenSearch Serverless): • OS Serverlessのコスト削減をサポート • point in time search(PIT) をサポート • ディスク最適化ベクトルエンジンがサポート • SQL API をサポート バイナリ& FP16 で省メモリ JDBCで繋げる
10. feat(Other): • DynamoDB： ◦ on-demand throughput のコスト50%↓ ◦ global tablesのコスト67％↓ • ElastiCache: ◦ Valkey 8.0サポート スケーリング高速化、 メモリ使用量の改善 Provisionedとの 損益分岐点が倍に
11. pre re:Invent 完了 どうですか、ここまでの濃厚アップデート群の数々…… 本番のアプデはもう ないよな？？ recap担当でもするか
12. pre re:Invent 完了 Soon → • Aurora DSQL、Olacle Database@AWS • S3 Tables,Metadata • DynamoDB Global Tablesの強整合性、MemoryDB Multi-Region もうさァッ 無理だよ DB&ストレージ わかんないんだ からさァッ
13. なにはともあれ、ガンガンいきます！
14. re:Invent編
15. feat(Aurora): Aurora DSQL(Preview) • サーバレスな分散SQLサービス (DSQL = Distribution PostgreSQL) • 充実の機能群 ◦ PostgreSQL互換I/F ◦ ⾃動された障害復旧 ◦ 無制限のスケーラビリティ ◦ パッチ管理もマネージド ◦ マルチリージョンで強い整合性
16. feat(Aurora): Aurora DSQL(Preview) • 実際どうなんでしょ ◦ 銀の弾丸？ ▪ NewSQLやSpannerで調べると良さそう ◦ リージョン要件 ▪ マルチリージョンは３多重前提。”国内要件”は満たせず？ ◦ 見えない料金感 ▪ 無料プレビューのうちに遊び倒せ！
17. feat(S3): S3 Tables • Iceberg形式に最適化された新たなバケットタイプ ”Table bucket” • 標準バケット比で ◦ 最⼤3倍 のスループット、最⼤10倍のTPS • テーブルメンテナンス機能 ◦ 圧縮：複数の小さなオブジェクトを 1 つに ◦ Snapshot：有効期限を切って削除 ◦ 非参照ファイルの削除 Apache Iceberg： Netfilx製のOTF (Open Table Format)
18. feat(S3): S3 Metadata(Preview) • S3のメタデータを自動でTable bucket連携 • Object追加/更新も数分で • メタデータ種別 ◦ システム制御：Date, Etag, Last-Modifiedなど21種 ◦ ユーザ制御：「x-amz-meta-」でカスタムメタデータも ※Glue Data CatalogやLake Formationで実装されている様子 メタデータを クエリできる
19. つまりS3 Tablesってどう使うの • S3 Tables ＋ S3 Metadata ◦ S3 BucketからメタデータをS3 MetadataでS3 Tablesに伝搬。ク エリの受け口を作れる！ ◦ 数分遅れが許容できるか否か • S3 Tables ＋ Firehose ◦ Amazon Data Firehose delivers data streams into Apache Iceberg format tables in Amazon S3(10/1) ◦ Amazon Data Firehose supports continuous replication of database changes to Apache Iceberg Tables in Amazon S3(11/15)
20. feat(S3): S3 Metadata(Preview) • S3のメタデータを自動でTable bucket連携 • Object追加/更新も数分で • メタデータ種別 ◦ システム制御：Date, Etag, Last-Modifiedなど21種 ◦ ユーザ制御：「x-amz-meta-」でカスタムメタデータも ※Glue Data CatalogやLake Formationで実装されている様子 メタデータを クエリできる
21. feat(Oracle): Oracle Database@AWS(Limited Preview) • 9月発表のExadata on AWSがプレビューに • RDSじゃない真のOracle DBが使いたい人向け • 同一データセンタで束ねて低レイテンシ (⇔ Multi AZ冗長) などAWS のべスプラとギャップがある点に注意
22. Oracle Database@AWS ってRDSと何が違うん もうさァッ 無理だよ DB&ストレージ わかんないんだからさァッ https://docs.aws.amazon.com/odb/latest/UserGuide/what-is-odb.html
23. Oracle Database@AWS ってRDSと何が違うん もうさァッ 無理だよ DB&ストレージ わかんないんだからさァッ ODB network AWS管理の専用隔離空間 Oracle Exadata OCI管理の専用インフラ ODB peering VPC とODB networkを接続 https://docs.aws.amazon.com/odb/latest/UserGuide/what-is-odb.html
24. feat(Other): • DynamoDB Global Tables ◦ Multi-Regionの「強い整合性」に対応 • MemoryDB ◦ Multi-Region対応 • DMS(Database Migration Service) ◦ ⽣成AIによるスキーマ変換機能 Latest保証 生成ＡＩ時代 こっちもマルチリ ージョン？！
25. feat(Other): • S3 ◦ 新しいデータ整合性検証 ◦ Storage Browser for Amazon S3 のGA ◦ Transfer Family web apps • Data Transfer Terminal (New !) ◦ ストレージデバイスを持ち込んでAWSへデータ転送できる”部屋” • FSx ◦ Intelligent-Tiering SDKを変えるだけ OSSのUI for S3 ノーコードでWeb アプリ for S3 コスト削減
26. 今回の説明で満足できない人は…？ ・12/20のStorage JAWSへ参加しよう https://storage-jaws.connpass.com/event/336323/
27. おしまい