Deep Dive on DevOps for Serverless Applications

AWS Dev Day Online 2020
#AWS #DevOps #Serverless

Transcript

1. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with Deep Dive on DevOps for Serverless Applications Keiichi Nakayama Vice General Manager Cloud Partner Group CHARA-WEB Co., Ltd. B - 5
2. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with 自己紹介 • 中山 桂一 ( @k1nakayama ) • 株式会社キャラウェブ クラウドパートナーグループ 副部長 • クラウドパートナー事業をリード • 2020 APN AWS Top Engineers • サーバーレス界隈に多く出没
3. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with 会社概要 会社名：株式会社キャラウェブ 所在地：東京都台東区東上野４−１２−１ 資本金：7,161万円 主な事業内容： コンテンツ事業 電子書籍のライセンスおよび管理，電子書籍販売 クラウドパートナー事業 サーバーレスアプリケーション構築にフォーカスした アジャイルチーム提供サービス 他 ISO/IEC 27001:2013 & JIS Q 27001:2014 クラウドに関するコンサルティング、設 計、構築、運用、管理 における認証 当社は AWSパートナーネットワーク の コンサルティングパートナー です
4. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with 本セッションについて u 想定される聴講者 • DevOpsに取り組んでいる、またはこれから取り組もうとしている方 • サーバーレスアプリケーション開発に興味がある方 • 開発プロセスの改善を検討されている方 u ゴール • AWSを活用した、サーバーレスアプリケーション開発のDevOpsにおけるポイン トなどを知っていただく
5. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with
6. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with DevOpsに取り組む上でのポイント
7. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with 各プロセスでの考慮点 Ø Planning • マイクロサービス • AWSアカウント Ø Code • ローカル環境でのユニットテスト Ø Build • OS依存ライブラリ • 承認されたライブラリ Ø Test • ユニットテスト • インテグレーションテスト • 脆弱性検査 Ø Release • リリース承認 Ø Deploy • Infrastructure as Code Ø Operate • スケーリング • 障害復旧 • ユーザーからのフィードバック Ø Monitor • インシデントの検知 • イベント追跡 • コスト
8. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with
9. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with プロダクト作成時の考慮点 • 環境の複製可能性 開発・検証・商用等の各ステージを、1ソースのIaCで管理 • アカウント毎のクォータ アカウント毎に作成できるリソース数や実行上限等の制限がある • アクセス権限管理 ステージ毎のアクセス権限と、アカウント間の権限管理など • コスト管理 コスト管理を行う単位の明確化と計測方法
10. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with アカウント分割によるPros/Cons • 原則として同一名称のリソース をアカウント毎に作成可能 • クォータ制約のコントロールが しやすい • 明確な権限分離が可能 • アカウント単位でコストの把握 が行える • アカウント間の権限管理が複雑 • アカウント横断でのデータ収 集・分析が複雑 • CI/CD パイプラインにて複数アカ ウントに跨る場合、複雑化する • マネジメントコンソールの切り 替えが面倒
11. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with ステージ毎のアカウント分割 • 開発用 新機能の開発を進めていくためのステージ • 検証用 商用にリリースする前の検証用ステージ • 商用 エンドユーザーへ実際に提供を行うステージ • 管理用 CI/CDパイプラインやソースコードリポジトリ を配置したり、各アカウントを中央管理する ステージ毎の権限分離やコストの把 握が行いやすい Manage Dev Stg Prod Micro Service Micro Service Micro Service Micro Service Micro Service Micro Service Micro Service Micro Service Micro Service Micro Service Micro Service Micro Service CI/CD for Micro Service CI/CD for Micro Service CI/CD for Micro Service CI/CD for Micro Service 比較的中小規模なプロダクトにオススメ
12. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with マイクロサービス毎のアカウント分割 • マイクロサービス毎ステージ毎 ステージ毎のアカウント分割の4アカウント を、更にマイクロサービス毎に分割する マイクロサービス本来のポリシーが担保しや すく、きめ細やかな管理が実現できる • マイクロサービス毎 マイクロサービス毎に単一のアカウントを設 け、アカウント内にCI/CDや各ステージを含む 形で運用する マイクロサービス毎にDevOpsチームが分割さ れている組織などでは扱いやすい マイクロサービス毎の権限分離やコ ストの把握が行いやすい 大規模なプロダクトにオススメ Manage CI/CD Dev Micro Service Stg Micro Service Prod Micro Service Manage CI/CD Dev Micro Service Stg Micro Service Prod Micro Service Manage CI/CD Dev Micro Service Stg Micro Service Prod Micro Service Manage CI/CD Dev Micro Service Stg Micro Service Prod Micro Service
13. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with (宣伝) Cloud Partner Billing サイバー攻撃の損害 保険による補償 初期設定・証跡管理設定 日本円・請求書払 AWS利用料について、全リージョン・全サービス※ 3％割引にてご提供いたします ※一部対象外となるサービスや利用タイプがあります。詳しくはお問い合わせください。
14. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with
15. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with CI/CD Pipelineの役割 • リリースプロセスの自動化 全てのコミットはリリース対象として扱い、特定のブランチへのプッシュにより自動的にリリー スプロセスが稼働し、ターゲットステージへのデプロイまでが自動的に行われる。 これにより、プロダクトの価値を素早く頻繁にエンドユーザーへデリバリーする • 品質の安定化 リリースターゲットに対するユニットテストのカバレッジや、静的コード解析を自動的に実行す ることで、一定基準の品質を保った安定したプロダクトをリリースする • 統制管理 組織のルールに則ったリリース承認フローや、使用されるライブラリのチェック、脆弱性検査等 を強制する Build Test Staging Deploy Test Release Approval Production Deploy Release Process Source
16. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with CI/CDを構成するサービス u Pipeline • AWS CodePipeline u Source • AWS CodeCommit • GitHub u Build / Test • AWS CodeBuild • AWS CodeArtifact u Deploy • AWS CloudFormation • AWS CodeDeploy • AWS Cloud Development Kit (CDK) u Notification • Amazon Simple Notification Service (SNS) • AWS Chatbot • AWS CodeStar Nortifications Build Test Staging Deploy Test Release Approval Production Deploy Release Process / AWS CodePipeline Source AWS CodeCommit AWS CodeBuild AWS CodeDeploy AWS CloudFormation AWS CodeDeploy AWS CloudFormation
17. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with AWS CodeArtifact • 安全かつスケーラブルなアーティファクト管理サービス • npmやPyPi、Maven等のパブリックリポジトリに対応 • 独自パッケージの管理も可能 • パッケージ、バージョンの利用を管理し、承認することができる • Amazon EventBridgeと組み合わせることで、依存パッケージの更新を検 知し、AWS CodePipelineのパイプライン実行を自動化可能
18. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with 静的解析（SAST） Ø Bandit • Python用SASTツール • コード解析により様々な脆弱性を解析 • CodeBuildで自動テストを実行 • 指摘の意図と異なるコードについて、 ライン単位での除外設定なども可能 https://pypi.org/project/bandit/
19. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with パイプラインの実行状況管理 • CI/CDパイプラインの実行は比較 的長時間かかる • チームメンバー全員が随時パイプ ラインの実行状況を把握できるよ うにする • Slackへの通知を行い、リアルタイ ムな状況把握を行う • CodeStar NotificationやEventBridge によりCodeCommitやCodePipeline のイベントを検知し、SNSへの通 知を行いChatbotにより通知
20. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with
21. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with CI/CD Pipeline構築時の課題 • クロスアカウントデプロイが複雑 • アプリケーションの構成変化に伴うPipelineの更新が必要 • CI/CD Pipeline自体のデプロイ管理
22. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with CDK Pipelines • CI/CD Pipelineとアプリケーション の構成を1つのAWS CDKアプリ ケーションでまとめて構成 • 簡単な初期設定とPipeline定義内 のステージ指定に対し、アカウン ト番号を指定するだけで、クロス アカウントデプロイが定義できる • アプリケーションの構成に合わせ て自動的にパイプラインを更新 Developer Preview # CDKのbootstrap (アカウント間の信頼関係の設定） $ cdk bootstrap --profile manage --cloudformation- execution-policies arn:aws:iam::aws:policy/AdministratorAccess aws://999999999999/ap-northeast-1 $ cdk bootstrap --profile dev --trust 999999999999 --cloudformation-execution-policies arn:aws:iam::aws:policy/AdministratorAccess aws://123456789012/ap-northeast-1 # CDK Pilelinesによるステージ定義 dev = PipelineStage(self, self.node.try_get_context('repository_name') + "-dev", env={ 'region': "ap-northeast-1", 'account': ”123456789012"} ) dev_stage = pipeline.add_application_stage(dev) https://docs.aws.amazon.com/cdk/api/latest/docs/pipelines- readme.html
23. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with Self Mutation • CDK Pipelinesは、自身のパイプラ イン構成をアプリケーション構成 の変化に合わせて自動的に更新 • Lambda Functionが追加された場合 のアセットのアップロードアク ションは平行実行が行われるよう に構成 • スタック間の依存関係を考慮しデ プロイアクションが自動的に構成 される
24. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with
25. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with ユニットテストのポイント ü ローカル環境でユニットテストを 行いながら開発を進める ü 各メソッドをピュアに保ち、テス ト可能なメソッドにする ü UIテストやインテグレーションテ ストではテストを行いにくい例外 処理についても網羅的にテストを 実行できる ü カバレッジを計測し一定基準を 保ったテストが行われていること を担保する UI Test Integration Test Unit Test
26. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with モックの活用 • moto (https://github.com/spulec/moto) Python用モックライブラリ Boto3の多くのAPIをモック化できる 予めテスト開始時に前提とする状態を定義しておき、テスト結果が想定したとおり のレスポンスになるか、DynamoDB等のAWSリソースの状態についても想定通りか をテストする • LocalStack (https://github.com/localstack/localstack) ローカル環境にAWS環境を再現できるツール AWS SDKの接続先エンドポイントをLocalStack環境に変更してテストを行う AWS SDKをモック化してはいないため、比較的正確な結果を得ることができる
27. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with Test Driven Development • TDDは下記のサイクルで行う • Red 1つのテストを追加し、テストが失敗することを確 認する • Green テストが成功するための最低限のコードを追加する • Refactor コードをリファクタリングする • TDDにより小さくインクリメンタルに開 発を進める • 常にカバレッジが高く質の高いコード になりやすい
28. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with
29. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with APIテスト u APIテストの目的 • デプロイ後に実際のAPIを使用し、想定通 りの動作が行われるかをテスト • 権限不足、モックとの挙動差異、マッピ ングテンプレートの誤り等による問題を 早期発見 u Postman + Newman • PostmanによりTestの定義を作成 • CI/CDのデプロイ後のアクションに Newmanを使用した自動APIテストを行う • Postmanを使用しAPIのモックを作成する ことも可能 • AWS Signature V4認証(IAM認証)にも対応
30. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with UIテスト(E2Eテスト) u UIテストの目的 • 実際のUIを通じて一気通貫で想定した挙動 になっているかを確認する • プロダクト全体を俯瞰的にテストする • 機能改修により想定していない範囲への影 響が発生していないかを確認する u Cypress (https://cypress.io) • Web UIテストツール • JavaScriptにてテストを記述 • 簡単に各テストにおけるエビデンス用キャ プチャを取得できる • CI/CDにて自動テスト実行可能 • テストの一連の状況を動画で取得可能
31. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with AWS Lambda Power Tuning • Lambda Functionのメモリ割り当て を最適化するためのツール • 複数のメモリ量で複数回実行を行 い、最もコストが安いメモリ量や 最も実行時間が短いメモリ量の測 定を自動的に行う • 右図のような結果を確認できるUI が提供される • CI/CDに組み込み自動最適化可能 • テスト実行前後の処理を行う Lambda Functionを指定可能 https://github.com/alexcasalboni/aws-lambda-power-tuning
32. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with
33. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with AWS X-Ray • 分散アプリケーションの解析・デバッ グツール • イベントの追跡を視覚的に簡単に行え る • 基本的にサービス毎のTracing設定を有 効化するだけ • 運用効率化のために、様々なイベント によるデータの格納時にTracingIDを一 緒に保管すると便利 • 応用的な活用でコード内のどこに時間 が掛かっているかなど、パフォーマン ス向上に役立てる
34. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with ログ監視 • インシデントが発生した際、ロ グへ詳細を出力することにより、 通知を受ける仕組みを構築する • Lambdaからのログについて、構 造化されたログ出力を行う • CloudWatch Logs Insightにより、 必要に応じた効率的なログ解析 を行うことができる
35. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with AWS Lambda Powertools • Lambda Functionにおけるロギング、トレース、メトリクス送信を簡単に 行うことができるライブラリ • 自動的に構造化ログ形式で出力が行われる • Lambda FunctionのContext情報を自動的にログに含める機能や、コールド スタートか否かを判別しログに記録する機能などが使える • メソッド毎に掛かった時間などをX-Rayで確認することが容易に行える Python: https://github.com/awslabs/aws-lambda-powertools-python Java: https://github.com/awslabs/aws-lambda-powertools-java 詳しくは：https://speakerdeck.com/_kensh/aws-lambda-powertools
36. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with Lambda Concurrency Hunt • 過去2週間の中でLambda Function 毎に最も同時実行数が多かった時 間を見つけ、関数の呼び出し回数、 平均実行時間、同時実行数をレ ポートする • Lambdaはリージョン毎に同時実 行数の制限がある • 不要なスパイクを見つけ、意図し ないスロットリング等の対策を行 う助けとなる https://github.com/aws-samples/aws-lambda-concurrency-hunt
37. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with
38. © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with まとめ • 一連の流れを自動化し、計測可能にし高速に繰り返すことが重要である • 適切なアカウント戦略を行う • 様々なAWSサービスとサードパーティツールを活用し、CI/CDパイプライ ンの構築を行う • テストの手法やツールも豊富にあるため、組織やチームの求めるプロダ クトの品質に合わせて取り入れていく • 構築時の設定や、ライブラリの活用により、運用時の効率化を図ること ができる
39. Thank you! © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. In Partnership with Keiichi Nakayama @k1nakayama