AWSのこの10年よもやま

2022年11月のJAWS−UG横浜でお話ししました。
https://www.youtube.com/watch?v=RcGRISgoEwo&t=1862s

https://jawsug-yokohama.connpass.com/event/262629/

Transcript

1. © 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark. アマゾン ウェブ サービス ジャパン合同会社 荒⽊靖宏 AWSのこの10年よもやま
2. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 荒⽊靖宏 です。どうぞよろしく AWS パブリックセクター技術統括本部 エマージングテクノロジー本部 本部⻑ プリンシパルソリューションアーキテクト EC2 Spotが⼈⽣変えたサービスです 2011年からAWSのソリューションアーキテクト インターネット、モバイルネットワークのサービス、R&Dを10年＋
3. © 2022, Amazon Web Services, Inc. or its Affiliates.
4. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 荒⽊靖宏 です。どうぞよろしく AWS パブリックセクター技術統括本部 エマージングテクノロジー本部 本部⻑ プリンシパルソリューションアーキテクト EC2 Spotが⼈⽣変えたサービスです 2011年からAWSのソリューションアーキテクト インターネット、モバイルネットワークのサービス、R&Dを10年＋ JAWS-UG 横浜デビューは2013年2月でした (世界初 CloudFormationハンズオン)
5. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 皆様にとっては何がありましたか︖
6. © 2022, Amazon Web Services, Inc. or its Affiliates.
7. © 2022, Amazon Web Services, Inc. or its Affiliates. 2010.12
8. © 2022, Amazon Web Services, Inc. or its Affiliates. S3, CloudFront, EC2, VPC, SQS, SNS, SimpleDB, Import/Export, RDS プレミアムサポートのオプションは Silver と Gold の２つ
9. © 2022, Amazon Web Services, Inc. or its Affiliates.
10. © 2022, Amazon Web Services, Inc. or its Affiliates.
11. © 2022, Amazon Web Services, Inc. or its Affiliates. TOP500に⾒る今昔 System Year Cores Rmax (TFlop/s) Rpeak (TFlop/s) r5.24xlarge 2022#57 172,692 9,950.26 15,106 c3.8xlarge 2013#65 26,496 484.179 593.510 cc2.8xlarge 2011#42 17,024 240.090 354.099 cc1.4xlarge 2010#233 7,040 41.820 82.508 2005年 13万コア 2007年 21万コア 2004年 3.2万コア System Cores Rmax (PFlop/s) Rpeak (PFlop/s) Frontier - HPE Cray EX235a, AMD Optimized 3rd Generation EPYC 64C 2GHz, AMD Instinct MI250X, Slingshot-11, HPE DOE/SC/Oak Ridge National Laboratory United States 8,730,112 1,102.00 1,685.65 Supercomputer Fugaku - Supercomputer Fugaku, A64FX 48C 2.2GHz, Tofu interconnect D, Fujitsu RIKEN Center for Computational Science Japan 7,630,848 442.01 537.21 IBM BlueGene相当 2022.11最新 2011年 70万コア 京相当 TOP500#1とくらべると。。
12. © 2022, Amazon Web Services, Inc. or its Affiliates.
13. © 2022, Amazon Web Services, Inc. or its Affiliates. 「10年前」の日付に もっとも近いプレゼンテーション 探してみました
14. Amazon Web Services 最新技術アップデート情報 2012.12.1 JAWS-UG 静岡＋浜松 2012.12
15. What is AWS?: AWS Platform 2012.12
16. © 2022, Amazon Web Services, Inc. or its Affiliates. コンピューティング アプリケーション統合 ARとVR Game Tech IoT 機械学習 モバイル 量⼦テクノロジー ロボット⼯学 カスタマーエンゲージメント ビジネスアプリケーション エンドユーザーコンピューティング 分析 AWS コスト管理 ブロックチェーン データベース 開発者⽤ツール マネジメントとガバナンス メディアサービス 移⾏と転送 ネットワークとコンテンツ配信 ⼈⼯衛星 セキュリティ、ID、コンプライアンス ストレージ AWSの提供する90%+のサービスや機能はお客様からの意⾒をもとに開発、残りもお客様の潜在的な要望を汲み取って作られています 200を超えるサービス
17. リージョンとエッジロケーションの拡⼤ シドニーリージョン 新たに12のエッジロケーション︓合計38 シドニー AWSを利⽤開始すれば、 世界8カ所のリージョン（地域） 21のアベイラビリティゾーン（データセンター群） 38のエッジロケーションを即座に利⽤可能 2012.12
18. © 2022, Amazon Web Services, Inc. or its Affiliates. 現在 ハイデラバード（インド）が30番⽬の リージョンオープン。 (2022-11-22現在) 30リージョン 96アベイラビリティゾーン 400+エッジロケーション 21ローカルゾーン 29 Wavelengthゾーン 115 Direct Connect ロケーション
19. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2012.12
20. 個⼈開発者がうれしい AWSサービスアップデート 個⼈∉⼈をいっぱいかけられるプロジェクト 2012.12
21. AWS レファレンスアーキテクチャウェブホスティング R eference Architecture Route53 =DNS ELB =ロードバランサ CloudFront =Web高速化 S3 =Webストレージ RDS =データベース EC2/ElasticBeanstalk =サーバ 2012.12 2010.11 GA 2006.03 2009.10 2010.12 2009.05
22. AWS レファレンスアーキテクチャウェブホスティング 大きく変化
23. AWS Elastic Beanstalk 従来型のシステムを容易にデプロイ / スケーリング • 速く簡単にアプリケーションをデプロイ可能 • アプリケーションの動作に必要なインフラの⼀元管理と Auto Scaling • 対応⾔語は Java、.NET、PHP、Node.js、Python、Ruby、Go の7種 • Elastic Beanstalk の機能については無料で利⽤可能 2011.01
24. EC2 と Elastic Beanstalk とのお客様管理範囲の違い Your code HTTP Server Application Server Language Interpreter Operating System Host アプリケーションの開発 ”だけ”にフォーカス EC2 Elastic Beanstalk
25. Elastic Beanstalk の機能 • コードのバージョン管理 • コードのデプロイメント • ローリングデプロイ • ブルーグリーンデプロイ • インフラ環境の⾃動構築 • Auto Scalingの設定 • ロードバランシングの設定 Your Code(war/zip) Ruby Python Node.js .NET PHP Java Go Amazon S3 Elastic Beanstalk Auto Scaling group ELB EC2 EC2 デプロイ
26. コンテナでの構成 Amazon CloudFront Elastic Load Balancing (ELB) Amazon RDS Browser/ mobile WEB AP DB Static Contents CDN LB LB Elastic Load Balancing (ELB) ECS + Fargate ECS + Fargate Amazon Simple Storage Service (S3) Amazon DynamoDB 2014.11 2017.11
27. © 2022, Amazon Web Services, Inc. or its Affiliates. App Runner ソースコード リポジトリ 既存ツールを用いた コンテナイメージのビル ド コンテナイメージを ECR にプッシュ 開発チーム App Runner による アプリケーションのビルド自動実行 アプリケーションの デプロイ or AWS Copilot CLI からのデプロイにも対応 2021.05 2015.12 2016.12
28. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Lambda+Dynamo DB Amazon API Gateway Amazon CloudFront AWS Lambda Browser/ mobile Static Contents CDN Amazon DynamoDB Amazon Simple Storage Service (S3) WEB AP DB 2015.07 2014.12 2012.01
29. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amplify Hosting フロントエンドの SPA アプリケーションのホスティング、及びバックエンドリソースの CI/CD パイプライン をソースなる Git ブランチを指定するだけで構築可能 https://aws.amazon.com/jp/amplify/hosting/ Developers prod feat/graphql Amplify Hosting Amplify Hosting version: 1 backend: phases: build: commands: - amplifyPush --simple frontend: phases: preBuild: commands: - yarn install build: commands: - yarn run build artifacts: baseDirectory: .next files: - '**/*’ cache: paths: - node_modules/**/* フレームワークを判別し、 自動的にビルド設定を作成 Git ブランチにバック エンド環境を紐付ける ことで自動的に CI/CD パイプラインを構築 GitHub 上で Pull Request 毎に別ドメインで Preview を確認することが可能 • ブランチ毎に別々のエンドポイントにデプロイすることが可能 • ドメインレジストラ (Amazon Route 53、GoDaddy、Google Domains な ど) を通じて購入したカスタムドメインをアプリケーションに接続可能 • パブリックにアクセスできる準備ができていない feature ブランチ等に Basic 認証をかけることが可能 2018.11
30. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS CONFIDENTIAL Amazon Storage Tiers (S3 RRS Glacier) 2012.12
31. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon S3とAvailability Zone (AZ) AZ3 AZ1 AZ2 • 例えば Amazon S3は少なくとも3つのAZに データを格納 （S3 OneZone-IAは除く） • 1つのAZは複数のデータセンターで構成 • AZ間、データセンター間は、低遅延のプラ イベートネットワークで接続 • S3は、99.999999999% (9×11) の耐久性 を提供できるように設計
32. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS のストレージ関連サービス データの格納 (ストレージリソースの提供) AWS Backup AWS Storage Gateway AWS DataSync AWS Transfer Family AWS Snowmobile AWS Snowball Edge AWS Snowcone Amazon S3 and Amazon S3 Glacier Object (API) Amazon EBS Block Amazon EFS NFS Amazon FSx for Windows File Server SMB Amazon FSx for NetApp ONTAP SMB / NFS / iSCSI Amazon FSx for Lustre Lustre データ管理 エッジサービス データの移動（物理デバイス） AWSサービス全体の バックアップとコン プライアンス オンプレミスからク ラウドストレージへ のゲートウェイ AWSストレージサー ビスへのデータ転送 ファイル転送プロト コル (SFTP / FTPS / FTP) の提供 AWSストレージサービスと、クラウドのエッジやネットワークのエッジ間で データの移動を行うための物理デバイス 国内では、AWS Snowball EdgeとAWS Snowconeを提供中 Amazon FSx for openZFS NFS WORMメディアを提供できる AWSストレージサービス
33. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS のストレージ関連サービス データの格納 (ストレージリソースの提供) AWS Backup AWS Storage Gateway AWS DataSync AWS Transfer Family AWS Snowmobile AWS Snowball Edge AWS Snowcone Amazon S3 and Amazon S3 Glacier Object (API) Amazon EBS Block Amazon EFS NFS Amazon FSx for Windows File Server SMB Amazon FSx for NetApp ONTAP SMB / NFS / iSCSI Amazon FSx for Lustre Lustre データ管理 エッジサービス データの移動（物理デバイス） AWSサービス全体の バックアップとコン プライアンス オンプレミスからク ラウドストレージへ のゲートウェイ AWSストレージサー ビスへのデータ転送 ファイル転送プロト コル (SFTP / FTPS / FTP) の提供 AWSストレージサービスと、クラウドのエッジやネットワークのエッジ間で データの移動を行うための物理デバイス 国内では、AWS Snowball EdgeとAWS Snowconeを提供中 Amazon FSx for openZFS NFS WORMメディアを提供できる AWSストレージサービス 2012.08 2008.08 2016.06 2018.11 2021.09 2018.11 2021.11 2019.01 2012.10 2018.11 2018.11 2016.11 2015.10 2020.06
34. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS Backup AWS Backup AWS IAM Service-level Backups Service-level Snapshots Amazon FSx Amazon EFS Amazon DynamoD B Amazon EC2 Amazon Aurora Amazon RDS Amazon EBS AWS Storage Gateway Operators Admin Backup Plan Cloud-native Backups Backup Vault AWSの各サービスのバックアップの実⾏とバックアッ プデータの⼀元的な管理を提供 集中型の管理 • 「バックアッププラン」、 「バックアップルール」、 「Backup Vault」を定義 バックアップの自動化 • 「バックアップスケジュー ル」を定義 • CloudTrailやSNSと連携 コンプライアンス • IAMでアクセス権限を管理 • 複数のコンプライアンス 標準に準拠 (PCI-DSS含む) クラウドネイティブなバックアップと、AWS Storage Gatewayと統合したハイブリッドなバックアップを提供 ポリシーベースおよびタグベースのバックアップ 自動化されたバックアップスケジューリング バックアップの暗号化 自動バックアップリテンション管理 2019.01
35. © 2022, Amazon Web Services, Inc. or its Affiliates. おわりに
36. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. • 2009 Spot Instance • 2010 ⽇本語でのAWSプレミアムサポート • 2011 AWS東京リージョンスタート • 2012 Redshift • 2013 Kinesis • 2014 Lambda • 2015 EFS • 2016 SQSのFIFO対応 • 2017 Fargate • 2018 Aurora Serverless • 2019 100以上のサービスでSLA設定 • 2020 Network Firewall • 2021 App Runner 荒木にとっての重大モノ
37. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. 皆様にとっては何がありましたか︖
38. © 2022, Amazon Web Services, Inc. or its Affiliates. Backup
39. © 2022, Amazon Web Services, Inc. or its affiliates. All rights reserved. ストレージクラスの整理 S3 Intelligent- Tiering S3 Standard (S3 標準) S3 Standard-IA (S3 標準-IA) S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval S3 Glacier Deep Archive S3 One Zone-IA (S3 1ゾーン-IA) AWSグローバルインフラストラクチャ 複数のアベイラビリティゾーン (AZ) 1つのAZ 想定されるデータタイプ アクセスパターン が想定できない/変 化するデータ 頻繁にアクセスさ れるアクティブ データ アクセス頻度が低 いデータ 即時取り出しが必 要なアーカイブ データ ほとんどアクセス されないアーカイ ブデータ 長期保存のアーカ イブデータ 再生可能かつアク セス頻度が低い データ オブジェクトの耐久性 (Durability) 99.999999999% 99.999999999% 99.999999999% 99.999999999% 99.999999999% 99.999999999% 99.999999999% データの可用性 (Availability) 99.9% 99.99% 99.9% 99.9% － － 99.5% レイテンシー ミリ秒単位の アクセス ミリ秒単位の アクセス ミリ秒単位の アクセス ミリ秒単位の アクセス 数分から12時間 3種類の取り出し 12時間～48時間 以内の復元 ミリ秒単位の アクセス 取り出し料金 (Data retrievals fee) なし なし GBあたり GBあたり GBあたり GBあたり GBあたり 最小ストレージ期間 (最低保存期間) － － 30日 90日 90日 180日 30日 最小オブジェクトサイズ 128KB － 128KB 128KB 40KB 40KB 128KB ストレージ価格 * 0.025 ～ 0.002 USD/GB 月 0.025 ～ 0.023 USD/GB 月 0.0138 USD/GB 月 0.005 USD/GB 月 0.0045 USD/GB 月 0.002 USD/GB 月 0.0110 USD/GB 月 * 2021年12⽉ 東京リージョンの価格（各ストレージクラスで、他の使⽤料⾦が発⽣する場合があります）
40. © 2022, Amazon Web Services, Inc. or its Affiliates. Amazon EC2 Windows SQL Server VMs and applications ポリシーベースの ⼀元化された データ保護と管理 AWS Backup Managed databases Amazon RDS Amazon DynamoDB Amazon Aurora Amazon Neptune Amazon DocumentDB (with MongoDB compatibility) AWS Storage Gateway Hybrid Workloads EBS FSx S3 EFS AWS Storage services 全てを保護 AWSクラウド