Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS re:Invent 2020 勉強会資料

fumiakiueno
December 14, 2020

AWS re:Invent 2020 勉強会資料

re:Invent開催中に途中振り返りとして勉強会用に作成した資料です。

fumiakiueno

December 14, 2020
Tweet

More Decks by fumiakiueno

Other Decks in Technology

Transcript

  1. • 必要なときに変化(change)をする • 変化を助けてくれる人を身の周りに • 何が重要なのか常に集中する • 素早く動く(Speed) • 自分が何ができるのか知っておく

    • 自分の周りで何が変わっているのが知っておく これらをすることで、自分と顧客をreinventできる 未来を知るために
  2. Compute、Network • ECR cross region replication コンテナイメージのリージョン間コピーが可能に。アカウント間コピーも可能 • EC2に新たなネットワークメトリクス追加 新たに5個追加。帯域上限を超えたIN/OUTパケット数、コネクション上限を超えたパケット数、

    DNSやメタデータなどのlinklocalへの上限を超えたパケット数、PPSの上限超えパケット数。 • VPC Reachability Analyzer AWSサービス間のネットワーク経路を可視化できるサービス。画面上で通過するENIやSGが一目で見れるた め、ネットワークが繋がらない場合に役立つ。1分析あたり$0.10 オレンジは気になるアップデート
  3. Developer tools、Security • Amplify CLIがFargateへのコンテナデプロイへ対応 ソースコードを用意して、amplify init、configure、add、pushの数回のコマンドを実行するだけで、 Fargateのサービスを公開できる。パイプラインも自動作成される • CodeGuru

    Profilerのメモリおよびヒープメモリ対応 CPU、レイテンシーベースだったのがメモリも対応。ヒープメモリも • AWS Audit Manager 監査を簡略化するためのサービス。GDPR、HIPPA、PCI DSSなど主要なコンプライアンスに対応 AWSアカウント内のリソース状況を既存のサービスを使用して取得する。エビデンスを自動収集し、 コンプライアンス標準に合わせた言葉も使用される。監査レポートの出力も可能。マルチアカウントにも対応
  4. Analytics • Amazon Redshift ML SQLコマンドで学習モデルの作成、学習、デプロイが可能。 CREATE MODEL文でモデルが学習、デプロイされる。TARGETでラベルのカラムを指定する。 その後SELECT文で予測結果を取得可能。裏ではSageMaker(autopilotベース)が動き、アルゴリズムは自動選定 •

    Amazon Redshift Automatic Table Optimization クエリの状況を監視し、機械学習を使用してソートキーなどを自動選定、データの再配置も実施する • Amazon Redshift federated queryがRDS(MySQL)をサポート PostgreSQLだけでなくMySQLも追加 • Amazon Redshift native console integration with partners パートナー企業とのやり取りがやりやすく • Amazon Redshift が JSON と semi-structured dataのサポート 半構造化データやJSONもOKになった • Amazon Redshift data sharing Redshiftクラスター間でデータを共有するサービス • Amazon Redshift RA3.xlplus node 小さいノードができた。これまでは4xlと16xl
  5. Analytics • Amazon Neptune ML グラフDBのNeptuneでもRedshift ML同様の仕組みで機械学習が使用可能に 不正検知やレコメンデーションなどのユースケースで使用可能 • Amazon

    EMR Studio EMR用のIDE。SageMakerでも使われているJupyter notebooksが使用されている。 処理コードの開発がやりやすくなる • Amazon EMR on Amazon EKS EKS(Kubernetes)上でEMRのデータ処理を実行可能に • QuickSightがElasticsearchをサポート データソースとしてElasticSearchの指定が可能に
  6. ML/AI • Amazon HealthLake 多種多様な医療データをAWS上に集約し、機械学習を使用して標準化、分析が可能。HIPPAにも対応 • Amazon Lookout for Metrics

    CloudWatch Anomaly Detectionの他サービス対応版。数値データの異常なふるまいを機械学習を使用して検知 CW、S3、RDS、Redshiftに加え、外部のSaaSにも対応(Salesforce, Google Analyticsなど) SNS経由で通知 • Amazon Forecast Weather Index 天気予報 • Amazon SageMaker Edge Manager エッジデバイス上にデプロイされた学習モデルを管理、監視するためのサービス • Amazon SageMaker Clarify 学習データの偏りを検知するサービス。 たとえば画像の年齢判定のモデルを学習する場合に、データが特定の年代に偏ってないかなど • Deep Profiling for Amazon SageMaker Debugger 昨年発表されたDebuggerの新機能。ハードウェアリソースの分析や処理の稼働状況を分析できる
  7. AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit

    Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例
  8. AWS Proton – 背景・課題 Source Build Test Deploy CodePipeline CodeCommit

    Github CodeBuild CodeBuild Lambda ECS EC2 AWS Cloud VPC Application Application test IaC Template IaC Template Lint,SecurityCheck Test Stack Code CodeDeploy 使用サービス アプリ インフラ • CI/CDパイプラインの例
  9. AWS Proton – 背景・課題 • マイクロサービスの例 ALB Service Container Container

    Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC
  10. AWS Proton – 背景・課題 • サービス単位でパイプラインが必要 ALB Service Container Container

    Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline CodePipeline CodePipeline
  11. AWS Proton – 背景・課題 • インフラのパイプライン管理 ALB Service Container Container

    Container Container Amazon RDS Lambda ALB Container Container Container Container Amazon RDS Amazon DynamoDB API Gateway VPC VPC CodePipeline CodePipeline CodePipeline
  12. Aurora Serverless v2 – 背景・課題 • ノードのキャパシティ管理、どうしてる? • インスタンスサイズ、リードレプリカの個数を決定する必要あり •

    運用後の変更も本来は検討すべき Writer:スケールUP/DOWN Reader:スケールアウト/イン 追加or削除 サイズはどう決定する? 個数はどう決定する?
  13. Aurora Serverless v2 – 背景・課題 • 大体はピーク時のパフォーマンスを見越してインスタンスサイズを決定する • リソースの無駄が多くなる •

    また、問題なく稼働されていれば運用後は見直さないことも多い キャパシティはピークに合わせることが多い