第1回 AWS Fargate かんたんデプロイ選手権 #AWSDevDay / The very first AWS Fargate easy deployment tooling championship

© 2019, Amazon Web Services, Inc. or its affiliates. All
rights reserved. T O K Y O 2 0 1 9 . 1 0 . 0 3 - 0 4 AWS Fargate かんたんデプロイ選⼿権 Yasuhiro “Tori” Hara Specialist Solutions Architect, Containers Amazon Web Services Japan toricls A - 1

rights reserved. 想定聴講者 • AWS Fargate の利⽤を検討している • 細かい話は抜きにしてまずはコンテナを AWS 上で動かしたい • デプロイや CI/CD パイプラインについて考えるのが好きゴール • AWS Fargate の特徴と、AWS Fargate を利⽤したコンテナ実⾏⽅法を知る • 様々なデプロイツールの特徴を知り、デプロイへの探究⼼を⾼める • ⾃社・⾃チームのデプロイ⽅法についてあらためて考えていただくキッカケを作る本セッションは…

rights reserved.

rights reserved. EC2 インスタンス群

rights reserved. EC2 インスタンス ECS Agent Docker Agent OS 実⾏環境 EC2 インスタンスの運⽤業務 • OS やエージェント類へのパッチ当て・更新 • 実⾏中のコンテナ数に基づく、最適なリソース使⽤率を保つための EC2 インスタンス数のスケーリング

rights reserved.

rights reserved. AWS Fargate AWS マネージド EC2 インスタンスのプロビジョン、スケール、管理不要コンテナネイティブ仮想マシンを意識しないシームレスなスケーリングコンテナの起動時間・使⽤リソースに応じた料⾦設定 AWS サービスとの連携 VPC ネットワーキング、Elastic Load Balancing、IAM、 CloudWatch、etc.

rights reserved. アプリケーションの実⾏に必要なコンテナ群を定義する e.g. コンテナイメージ URL、CPU、メモリなど register Task Definition create Cluster • アイソレーションの境界 • IAM パーミッションの境界 run Task • タスク定義から実⾏される「タスク」 • 「FARGATE 起動タイプ」を利⽤ create Service Elastic Load Balancer • 複数タスクの実⾏状態を維持 • ELBとの連携 • Unhealthy なタスクは⾃動的に置き換えられる AWS Fargate を利⽤したコンテナのデプロイ

rights reserved. # コンテナイメージのビルドとプッシュ $ docker build –t xxx.dkr.ecr.us-west-2.amazonaws.com/myapp:latest . $ docker push xxx.dkr.ecr.us-west-2.amazonaws.com/myapp:latest # ECS タスク定義を作成し、登録 $ aws ecs register-task-definition --cli-input-json my-ecs-task-def.json AWS Fargate を利⽤したコンテナのデプロイ

rights reserved. # ECS タスクの実⾏ $ aws ecs run-task --task-definition ${YOUR_TASK_DEF_ARN} # ECS サービス定義の登録、サービスの実⾏ (常駐型アプリケーションの実⾏) $ aws ecs create-service --service-name my-service \ --cli-input-json my-ecs-service.json AWS Fargate を利⽤したコンテナのデプロイ

rights reserved. 実際の ECS タスク定義のイメージ (抜粋) { "family": ”myapp", "cpu": "1 vCpu", "memory": "2 gb", "containerDefinitions": [ { "name":“frontend", "image":"xxx.dkr.ecr.us-west-2.amazonaws.com/frontend“, "cpu": 256, "memoryReservation": 1024 }, { "name":“api", "image":"xxx.dkr.ecr.us-west-2.amazonaws.com/api", "cpu": 768, "memoryReservation": 1024 } ] }

rights reserved.

rights reserved. Quick start with “Fargate CLI” やりたいこと Docker Hub にある nginx:latest を Fargate で動かしてみたい How To 1. デフォルト VPC にポート80番を開放したセキュリティグループを作る 2. タスクを実⾏する $ fargate task run web \ --image nginx:latest \ --security-group-id ${SG_ID} [i] Running task web

rights reserved. Quick start with “Fargate CLI” 動作確認 $ fargate task ps ID IMAGE ... RUNNING IP CPU MEMORY 0a... nginx:latest ... 34s 34.222.183.234 256 512 $ curl 34.222.183.234 <!DOCTYPE html> <html> <head> <title>Welcome to nginx!</title> ...

rights reserved. Quick start with “Fargate CLI” タスクの停⽌ $ fargate task stop web [i] Stopped 1 task

rights reserved. Quick start with “Fargate CLI” やりたいこと同じく nginx:latest を Fargate で常駐サービスとして動かしてみたい How To $ fargate service create ngx-svc \ --image nginx:latest \ --security-group-id ${SG_ID} [i] Created service ngx-svc

rights reserved. Quick start with “Fargate CLI” 動作確認 $ fargate service ps ngx-svc ID IMAGE ... RUNNING IP CPU MEMORY f1... nginx:latest ... 30s 34.216.225.232 256 512 $ curl 34.216.225.232 <!DOCTYPE html> <html> <head> <title>Welcome to nginx!</title> ...

rights reserved. Quick start with “Fargate CLI” サービスの削除 $ fargate service scale ngx-svc 0 [i] Scaled service ngx-svc to 0 $ fargate service destroy ngx-svc [i] Destroyed service ngx-svc

rights reserved. Quick start with “Fargate CLI” やりたいことコンテナイメージをビルドして Fargate で常駐サービスとして動かす How To $ ls Dockerfile src $ fargate service create myapp \ --security-group-id ${SG_ID} [>] docker login xxx.dkr.ecr.us-west-2.amazonaws.com/myapp [>] docker build --tag xxx.dkr.ecr.us-west-2.amazonaws.com/myapp:20191002163132 . Sending build context to Docker daemon 2.56kB Step 1/2 : FROM alpine:3.8 ~ snip ~ [i] Created service myapp

rights reserved. Quick start with “Fargate CLI” サービスの削除 $ fargate service scale myapp 0 [i] Scaled service myapp to 0 $ fargate service destroy myapp [i] Destroyed service myapp ※ CNN などを運営する⽶ターナー社によるフォーク “turnerlabs/fargate” もあるが、ここで紹介した “awslabs/fargatecli” とはインターフェースが異なるので注意

rights reserved.

rights reserved. Under the Hood: Fargate CLI AWS アカウントにデフォルトで存在するリソースを利⽤ • VPC、サブネット、サブネットとルートテーブルの関連付けユーザー⾃⾝で作成 • セキュリティグループ Fargate CLI による⾃動作成 • ECR リポジトリ • ECS クラスタ • ECS タスク実⾏ IAM ロール • ECS タスク定義 • ECS サービス定義

rights reserved. Under the Hood: Fargate CLI Pros • 各種必要リソースが⾃動⽣成されるため、それらを⾒て概念や各リソース定義の中⾝を勉強できる (see also `--verbose`) • 細かい設定も可能だが、とにかく簡単 Cons • 本番環境で使うにはちょっとアドホック? • Infrastructure as code や CI/CD パイプラインについてもう少し考えて環境を作りたい

rights reserved.

rights reserved. 例えばこんな環境へのデプロイ

rights reserved. 例えばこんな環境へのデプロイ Fargate 以外に考えなければいけないことがある • ECS 関連以外の AWS リソースはどのようにして作成・更新するか • ECS サービス更新時にタスク(コンテナ)が正常に起動しない場合、ロードバランサのヘルスチェックが失敗してサービスインできない場合にどのようにしてロールバックするか

rights reserved. Awesome-ECS からの抜粋 § AWS CLI § ECS CLI § AWS CloudFormation § Terraform § AWS CDK § ecs-deploy § ecspresso etc.

rights reserved. なぜこんなにもたくさんあるのか︖ • AWS のサービスは MVP からスタート • ローンチ時点で判明しているユースケースを必要⼗分にカバーする機能だけを実装 • ローンチ後、新たにユーザーから寄せられたフィードバックやユースケースを勘案し、後⽅互換性を保つ努⼒をしながら機能追加が⾏われる • 既存ユーザー利⽤における動作保証を重視しながら、サービスのカバーするユースケースを広げていく全てのユースケースが 100% 同じものであることはほとんどない本⽇ PM3 @fujiwara さんの”隙間家具”セッションもぜひご参加ください︕

rights reserved.

rights reserved. AWS Management Console

rights reserved. AWS Management Console Pros GUI で Fargate タスクを実⾏できる GUI であるため、実⾏中のタスクやサービスなどの情報を閲覧しやすい Cons デプロイが⼿作業になり再現性がないミスオペレーションのリスク CI/CD パイプラインとの親和性なし閲覧⽬的には良いが、継続的なデプロイに使うのは難しそう

rights reserved. AWS CLI Pros • AWS の新サービスリリース時やサービスアップデートのタイミングで概ねそれらに対応している • AWS API の呼び出しパラメーターをほぼ全て利⽤可能 Cons • CI/CD パイプラインの実態がシェル芸になりがち • リソースの依存関係をコマンドの実⾏順に反映する必要がある • ロールバックを想定したスクリプトを書こうとすると複雑化しがち

rights reserved. ecs-deploy

rights reserved. ecs-deploy Pros • 1つのシェルスクリプトの中で AWS の API を呼んでいるだけなので、中⾝を読んで理解しやすい • コミュニティで揉まれているので、AWS CLI を使った⾃前シェルスクリプトを書くより安⼼・安全 • ロールバックなども考慮されている Cons • ネットワークやロードバランサー、Fargate サービスなどのリソースは他のツールで作成済みであることを前提にしている • シェルスクリプトであるため、つい魔改造したくなるし、しやすい

rights reserved. ECS CLI

rights reserved. ECS CLI Pros • Docker Compose 定義ファイルを利⽤した ECS サービスの作成・更新に対応しているため、ローカル開発で Docker Compose を利⽤している場合に導⼊が容易 • ECS 固有の機能(Parameter Store や FireLens など)もサポート Cons • これ⼀つでは全ての必要 AWS リソースを⽤意できないため、他ツール (e.g. CloudFormation など)の併⽤が前提 • ECS CLI 単体ではロールバックの機能を保有していないため、デプロイがうまくいかない場合のロールバックが複雑になる

rights reserved. AWS CloudFormation / Terraform Infrastructure as code YAML ファイルなどに必要な AWS リソースについて宣⾔し、リソースの宣⾔的デプロイメントを可能にする

rights reserved. AWS CloudFormation / Terraform Pros • 単体で全ての AWS リソースを⽤意できるため、1つのツールで済む • Fargate タスクだけでなく、関連する AWS リソースがどのような状態にあるのかを定義ファイルから確認しやすい • 定義ファイルをバージョン管理システム管理下に置くことで変更履歴や変更理由を追いやすい • 予定される変更差分を確認してから実⾏できる • AWS リソース間の依存関係も定義できる • 更新できないリソースの場合は新規作成してから古いリソースを消すような挙動を期待できる • CI/CD パイプラインとの相性が良い

rights reserved. AWS CloudFormation / Terraform Cons • 使いこなすためには定義する AWS リソースそれぞれについて⼗分に知っておく必要がある • 最新の API パラメーターのサポートまでに時間がかかることも • VPC やデータベースと AWS Fargate タスクのようなライフサイクルが異なるリソースの管理⽅法を考えられる⼀定のスキルが必要 • 記述量が多い • 記述量が多い • 記述量が多い • Fargate タスクを含む必要なリソースを⽤意するための CloudFormation と Terraform のテンプレートファイルへのリンクを Appendix にて紹介しています

rights reserved. AWS CDK import ec2 = require('@aws-cdk/aws-ec2'); import ecs = require('@aws-cdk/aws-ecs'); import ecs_patterns = require('@aws-cdk/aws-ecs-patterns'); import cdk = require('@aws-cdk/core'); class BonjourFargate extends cdk.Stack { constructor(scope: cdk.App, id: string, props?: cdk.StackProps) { super(scope, id, props); // Create VPC and Fargate Cluster // NOTE: Limit AZs to avoid reaching resource quotas const vpc = new ec2.Vpc(this, 'MyVpc', { maxAzs: 2 }); const cluster = new ecs.Cluster(this, 'Cluster', { vpc }); // Instantiate Fargate Service with just cluster and image const fargateService = new ecs_patterns.NetworkLoadBalancedFargateService(this, "FargateService", { cluster, image: ecs.ContainerImage.fromRegistry("amazon/amazon-ecs-sample"), }); // Output the DNS where you can access your service new cdk.CfnOutput(this, 'LoadBalancerDNS', { value: fargateService.loadBalancer.loadBalancerDnsName }); } } const app = new cdk.App(); new BonjourFargate(app, 'Bonjour'); app.synth(); https://github.com/aws-samples/aws-cdk-examples/tree/master/typescript/ecs/fargate-load-balanced-service

rights reserved. AWS CDK Pros • コード(e.g. TypeScript, Python…)でインフラを記述できるためデベロッパーとの親和性が⾼く、ユニットテストも書きやすい • 他のツールを併⽤しなくても Fargate を含めた AWS リソースを⼀通り作成可能 • 抽象度が⾼く多くのパラメーターを省略でき、記述量が少ない • バックエンドが CloudFormation Cons • 抽象度が高いため記述量が少ないが、意識してないと Fargate CLI の自動作成と同じような状況になりえる本⽇ PM2 AWSJ 大村の ”AWS CDK” セッションもぜひご参加ください︕

rights reserved. ecspresso

rights reserved. ecspresso Pros • ⾮常に薄いレイヤーで作られた AWS API ラッパー • aws ecs describe-task-definition/describe-services の出⼒ JSON を転⽤できるため、画⾯から作ったタスクを後から CI/CD に載せられる • テンプレーティング + 環境変数利⽤での定義ファイル出⼒が好き e.g. {{ env `FOO` `bar` }} や {{ must_env `FOO` }} など Cons • VPC やロードバランサーなどの Fargate タスク・サービス以外のリソースは他のツールで作成済みであることを前提にしているため、別のツールの併⽤が必要

rights reserved. Visual Studio Code の IntelliSense を利⽤して Amazon ECS タスク定義作成時の⾃動補完が可能に N ew ! https://aws.amazon.com/about-aws/whats-new/2019/10/amazon-elastic-container-service-now-supports- intellisense-in-visual-studio-code/

rights reserved. Visual Studio Code の IntelliSense を利⽤して Amazon ECS のタスク定義を⾃動補完が可能に利⽤⼿順 • Visual Studio Code に AWS Toolkit for VS Code をインストール • ファイル名末尾に “ecs-task-def.json” を含める https://aws.amazon.com/about-aws/whats-new/2019/10/amazon-elastic-container-service-now-supports- intellisense-in-visual-studio-code/ N ew !

rights reserved.

rights reserved. マッチしそうなツールはありましたか︖ とりあえず動いているところを⾒たい Fargate CLI が⼀番簡単そう (講演者調べ) 運⽤も考えつつ、CI/CD を意識してツールを選びたい 1. 単⼀のツールで全てのリソースを記述したい AWS CLI, CloudFormation, Terraform, AWS CDK 2. Fargate へのデプロイはより簡素化・抽象化されたものでやりたい ecs-deploy, ecspresso, ECS CLI, AWS CDK +上記のツール群のどれか

rights reserved.

rights reserved. Appendix TurnerLabs/Fargate https://github.com/turnerlabs/fargate AWS CloudFormation sample templates 1. Networking resources https://github.com/nathanpeck/aws-cloudformation-fargate/blob/master/fargate-networking- stacks/public-private-vpc.yml 2. AWS Fargate resources including ALB https://github.com/nathanpeck/aws-cloudformation-fargate/blob/master/service- stacks/private-subnet-public-loadbalancer.yml Terraform sample templates - Airship Modules https://airship.tf/

rights reserved. Appendix 講演者個⼈の選⼿権優勝者は AWS CDK、次点で CloudFormation です

第1回 AWS Fargate かんたんデプロイ選手権 #AWSDevDay / The ve...

第1回 AWS Fargate かんたんデプロイ選手権 #AWSDevDay / The very first AWS Fargate easy deployment tooling championship

More Decks by Tori Hara

Other Decks in Technology

Featured

Transcript