AWS Startup ゼミ 2021 秋期講習 / AWS Startup Seminar 2021 Autumn class - AWS Dev Day

[AWS Startup ゼミ]
よくある課題を一気に解説！
〜 御社の技術レベルがアップする 2021 秋期講習 〜

Transcript

1. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. よくある課題を⼀気に解説！ 〜 御社の技術レベルがアップする 2021 秋期講習 〜 Kazuki Matsuda @mats16k Startup Solutions Architect Yuichiro Saito @koemu Startup Solutions Architect A - 5 [AWS Startup ゼミ]
2. 松⽥ 和樹 @mats16k スタートアップ ソリューションアーキテクト 創業期のスタートアップに２⼈⽬のエンジニア として⼊社し、 上場前まで幅広い業務（SRE、データエンジニア、アプリ開発、 情シス、採⽤、監査対応）に従事。現在は、スタートアップの お客様の⽀援をしながら 次のキャリアを模索中。 About us 齋藤 祐⼀郎 @koemu スタートアップ ソリューションアーキテクト バックエンドのソフトウェアエンジニアとして、数々のスタート アップ企業に勤務。直近では C to C サービス、FinTech (決済)の 開発・運⽤に携わり、IPO などを経験。現在は、創業間もない スタートアップ企業様、FinTech 企業様の技術⽀援を担当。
3. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. • AWS のスタートアップチームは、 ⽇々受けている技術相談から スタートアップにおける技術的な 課題と傾向を把握 • このスライドは 2021年秋時点での 「あるある」な課題をまとめたもの • 詳細な解説を全てこのセッション・ 資料で⾏うのではなく、 「こうしたい」に対して、 「どの様に考えていけばよいか」 を⽰す逆引き辞典となっている [AWS Startup ゼミ] よくある課題シリーズ
4. [AWS Startup ゼミ] これまでの発表 2018 秋期講習 2019 秋期講習 2021 春期講習 h +)+)% 5 MeZY HQN FQ]a OQ % YO Z] MRR W M Q 5WW ] ST ]Q Q]aQP K5HF F M] [ L y o +)+) Q O T ) q q q q 2019 春期講習 © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. 春期講習 2020 のアジェンダはこちら 1. プロダクトにチャット機能をつけたい 2. コストを抑えたい 3. 静的サイトのホスティングを簡単にしたい 4. キャッシュしないなら CDN は不要︖
5. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1. 単⼀の AWS アカウントで開発してきたけど、そろそろ分けたい 2. CI/CD 簡単にやりたい 3. エンタープライズ企業からの要望でオンプレミスへの納品がしたい 4. とりあえず Amazon RDS/Aurora をスケールアップする運⽤をやめたい 2021秋期講習のアジェンダはこちら
6. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 1. 単⼀の AWS アカウントで 開発してきたけど、そろそろ分けたい
7. • よくいただく課題 😂 • 「最初に作った AWS アカウントに本番環境も開発環境も⼊っていて、分けたい。。」 • 「AWS アカウント分割してみたけど、アカウント増えてむしろ管理が⼤変になった。。」 • 本当にしたいことは何？ 😳 • 「既存環境に影響を与えること無く、ガバナンスや運⽤を改善したい」 • 「今後の AWS アカウント増にも備えたい」 • 思考フロー 😌 1. 移管先の AWS アカウントを⽤意しよう 2. 本番環境への影響度が低いものから移管しよう 3. ネットワークの疎通が必要な場合は VPC 同⼠をつなごう 単⼀の AWS アカウントで開発してきたけど、そろそろ分けたい
8. AWS アカウント① プロダクトA • リソース移管先の AWS アカウントを⽤意する 1. 移管先の AWS アカウントを⽤意しよう 本番 開発 プロダクトB 開発 AWS アカウント② AWS アカウント③
9. AWS アカウント① • リソース移管先の AWS アカウントを⽤意する • 単純に増やすと管理が煩雑になるため、AWS Control Tower を利⽤して マルチアカウント環境を整備することを推奨 • （AWS Organizations や AWS Single Sign-On の設定を簡素化することが出来ます） 1. 移管先の AWS アカウントを⽤意しよう AWS アカウント② AWS アカウント③ AWS Single Sign-On AWS Organizations プロダクトA 本番 開発 プロダクトB 開発
10. • 本番環境への影響度が低い環境から移管する • Infrastructure as Code が実践できている場合は移⾏が容易 • データについては別途移管が必要な点に注意 • 本番環境の整理を⽬的に、別アカウントに再構築するのも選択肢のひとつ 2. 本番環境への影響度が低いものから移管しよう AWS アカウント① AWS アカウント② AWS アカウント③ プロダクトB 開発 プロダクトA 開発 プロダクトA 本番
11. AWS アカウント② AWS アカウント① AWS アカウント① AWS アカウント② AWS アカウント② AWS アカウント① AWS アカウント③ • 必要に応じて VPC Peering や Transit Gateway 等で VPC 間をつなぐ • IP アドレスの範囲が被らないように注意する • 恒久対応 or 暫定対応 なのかを明確にする • 通信が⽚⽅向の場合は PrivateLink の利⽤も検討する 3. ネットワークの疎通が必要な場合は VPC 同⼠をつなごう VPC VPC Amazon Aurora Amazon EC2 VPC Peering AWS Transit Gateway VPC VPC VPC API Endpoint Amazon EC2 VPC VPC オフィス VPN / Direct Connect AWS PrivateLink Endpoint
12. • AWS サービス別資料集 • AWS アカウント シングルサインオンの設計と運⽤ (資料 | 動画) • Amazon VPC (資料 | 動画) • AWS Transit Gateway (資料 | 動画) • AWS Summit / AWS Dev Day / その他イベント • マルチアカウント運⽤での権限移譲と統制の両⽴ - AWS Summit Tokyo 2019 (資料 | 動画) • マルチアカウント管理の基本 - AWS Expert Online 2021 (資料) • 増加するシステムをマルチアカウントで効率よく管理する - AWS Innovate 2020 (資料) • Using AWS Control Tower to govern multi-account AWS environments at scale - AWS re:Inforce 2019 (資料 | 動画) • Managing Multi-Account AWS Environments Using AWS Organizations - AWS re:Inforce 2019 (資料 | 動画) • その他の資料 / Blog記事 • スタートアップにおけるマルチアカウントの考え⽅と AWS Control Tower のすゝめ • AWS Control Towerを利⽤したマルチアカウント管理とセキュリティ統制 - JAWS DAYS 2021 実装時の参考資料と事例集
13. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2. CI/CD を簡単にやりたい
14. • よくいただく課題 😂 • 「 CI/CD を整備したいけど、よくわからん… 」 • 「既存環境へのつなぎ込みが難しい… 」 • 本当にしたいことは何？ 😳 • 「デプロイを⾃動化したい」 • 「 CI/CD を通してプロダクトの品質を上げたい、開発効率を上げたい」 • 思考フロー 😌 1. ⾃動デプロイが組み込み済みのプロダクトを使おう 2. ツールチェーンが提供するデプロイパイプラインを利⽤しよう 3. プロダクトとツールの特性を理解し、⾃分で実装しよう CI/CD を簡単にやりたい
15. 「 Continuous Integration / Continuous Delivery 」の略 ※ 直訳すると、継続的インティグレーション / 継続的デリバリー CI/CD は、アプリケーション開発を効率化する仕組みや開発⼿法のことで、 単⼀の技術を指すものではない 0. CI/CD とは
16. AWS には GitHub と接続するだけでデプロイ可能なサービスがある • AWS Amplify Console : 静的サイト、SPA のフロントエンド • ブランチごとのホスティング、プルリクエストのプレビュー、Basic認証 • （バックエンドの API 等も Amplify CLI で構成していれば可能だが、今回は割愛） • AWS App Runner : Python3, Node.js12 製のアプリケーション 1. ⾃動デプロイが組み込み済みのプロダクトを使おう AWS Amplify Console (Amplify Hosting) GitHub PR-1 main dev Push/Merge/PR Basic認証 開発者 エンドユーザー AWS App Runner GitHub (Python3, Node.js12) Containers LB Push/Merge エンドユーザー
17. AWS には GitHub と接続するだけでデプロイ可能なサービスがある • AWS Amplify Console : 静的サイト、SPA のフロントエンド • ブランチごとのホスティング、プルリクエストのプレビュー、Basic認証 • （バックエンドの API 等も Amplify CLI で構成していれば可能だが、今回は割愛） • AWS App Runner : Python3, Node.js12 製のアプリケーション • その他のランタイムもコンテナイメージを持ち込むことで対応可能 1. ⾃動デプロイが組み込み済みのプロダクトを使おう AWS App Runner GitHub Containers LB docker build docker push エンドユーザー Amazon ECR GitHub Actions (AWS CodeBuild 等でも可) ※ 自前で設定する必要がある
18. AWS が提供するツールや OSS によっては、デプロイパイプラインを 簡単に構築できるサブコマンドやオプションが提供されている。 • AWS Copilot CLI • Amazon ECS や AWS App Runner を利⽤したコンテナアプリケーション • AWS SAM Pipelines (Serverless Application Model) • サーバーレスアプリケーション • AWS CodePipeline の他、Jenkins, GitLab CI/CD, GitHub Actions 向けの雛形も⽣成可能 • AWS CDK Pipelines (Cloud Development Kit) • AWS CloudFormation で構築可能なあらゆるアプリケーション • 任意のプログラミング⾔語で記述可能 2. ツールチェーンが提供するデプロイパイプラインを利⽤しよう
19. 実環境が複雑、あるいは仮想マシンのリソースが多いなど抽象化することが難しい場 合は、その環境に合ったデプロイパイプラインを個別に実装してあげる必要がある。 3. プロダクトとツールの特性を理解し、⾃分で実装しよう © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. よくある課題を⼀気に解説︕ 御社の技術レベルがアップする2019 秋期講習 Startup SAs (Mohican, Zabbio, Mats, Hariby) Amazon Web Services Japan K.K. G - 3 T O K Y O 2 0 1 9 . 1 0 . 0 3 - 0 4 © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. コンテナの CI/CD ちゃんとしたい • よくいただく課題 ! • 「 コンテナ使いたいんだけど、Build とかあって逆にめんどくさくなってる気がする」 • 「 ⾃動テスト、⾃動デプロイみたいなのやりたいけどみんなどうしてるの︖」 • 本当にしたいことは何︖ " • 開発速度を上げ、プロダクトの価値を向上させたい • テストをちゃんと⾏い、プロダクトのクオリティを上げたい • ⾃動化しつつも状況の把握やロールバック等のハンドリングを適切にやりたい • 思考フロー # 1. ⼿作業でのデプロイと決別する 2. リビジョンとデプロイメントを連動させることを考える 3. マネージドサービスを中⼼にパイプラインを構成する AWS の SA に 相談しよう！
20. • AWS サービス別資料集 / ドキュメント • AWS Amplify (資料 | 動画), AWS App Runner (ドキュメント), AWS Copilot CLI (ドキュメント) • AWS Summit / AWS Dev Day / その他イベント • AWSの 継続的インテグレーション∕デリバリー総まとめ！モダンアプリケーション構築の ための CI / CD ベストプラクティス！ - AWS Summit 2021 (資料 | 動画) • Code シリーズを利⽤したパイプラインの⾃動化⼊⾨ - AWS Summit 2018 (資料 | 動画) • その他の資料 / Blog記事 • AWS Amplify でのフルスタックアプリケーションの CI/CD パイプラインの構築 • AWS Copilot によるコンテナアプリケーションの⾃動デプロイ • AWS Copilot CLI を使⽤した永続性を持つ AWS App Runner サービスの継続的ワークフローの実現 • Introducing AWS SAM Pipelines: Automatically generate deployment pipelines for serverless applications • AWS SAM Pipelines - Serverless Land • CDK Pipelines: AWS CDK アプリケーションの継続的デリバリ • Copilot Primer Workshop - AWS workshop studio 実装時の参考資料と事例集
21. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 3. エンタープライズ企業からの要望で オンプレミスへの納品がしたい
22. • よくいただく課題 😂 • 「 エンタープライズ企業から "オンプレミス版の提供" について要望を頂いているが、 対応⽅針に悩んでいる」 • 本当にしたいことは何？ 😳 • 「 エンタープライズ側のセキュリティ基準を守りながら、安⼼してサービスを提供したい」 • 「サービス提供側からアプリケーションを管理可能にし、俊敏性を担保したい」 • 思考フロー 😌 1. 社外に説明できるように、⾃社の運⽤体制を整えよう 2. 閉域網で接続可能なサービスの利⽤を検討してみよう 3. サービス提供者側からメンテナンスできる仕組みを考えよう エンタープライズ企業からの要望でオンプレミスへの納品がしたい
23. • 「オンプレミス」という⾔葉の背景にある懸念について、エンタープラ イズの⽅にじっくり伺ってみましょう。悩みに寄り添うことで、オンプ レミス版を追加開発をすることなく、クラウドで実現できる別の⽅法が ⾒つかるかもしれません。 • こんな質問を投げかけてみると良いでしょう。 • 「現在の私たちのサービスの、どの部分にどのようなご懸念をお持ちでしょうか。」 • 「御社内でクラウドサービスを利⽤する際に、規定されたルールはありますか。」 • 外部発注する際の規定 • 使⽤可能なAWSのサービスが定められている場合はその内容 • 保存しているデータとその管理⽅法 • 「現在、他のクラウド版のSaaSをご利⽤いただいていますでしょうか。もし利⽤されている 場合、どのような形でしょうか。」 0. エンタープライズ側が、どのような懸念を持っているか確認しよう
24. • 「スタートアップ企業は内部統制が発展途上であり、組織として適切な データの取り扱う仕組みが⼗分ではない」と先⼊観で思われていること があります。この懸念を払拭できる説明ができることも⼤切です。 • AWS Well-Architected Framework • クラウド設計・運⽤のベストプラクティス集 • これをもとに現状をレビューし、必要に応じ改善を踏まえ、⾃社のシステムの状態を説明可 能にします。 1. 社外に説明できるように、⾃社の運⽤体制を整えよう コストの 最適化 セキュリティ 信頼性 パフォーマンス 効率 運⽤の 優秀性
25. • パブリックネットワーク（インターネット）を直接経由することなく、 AWS 上にあるサービスを提供することができます。 • AWS PrivateLink : VPC エンドポイントとして AWS アカウントを跨いで サービスを提供可能 2. 閉域網で接続可能なサービスの利⽤を検討してみよう AWS Cloud スタートアップ側 AWS アカウント エンタープライズ側 AWS アカウント Gateway
26. エンタープライズ側のシステムにカスタマイズして導⼊する場合でも、 AWS を通じアプリケーションを管理・運⽤する⽅法があります。 たとえば、 • Amazon ECS Anywhare : お客様⾃⾝で管理している IT インフラ上の 仮想マシンを Amazon ECS クラスタに参加させることが可能 3. サービス提供者側からメンテナンスできる仕組みを考えよう スタートアップ側 AWS 環境 エンタープライズ側 データセンター オンプレミスサーバー
27. • AWS サービス別資料 • AWS Well-Architected Framework (資料 | 動画 | Blog) • Amazon Virtual Private Cloud (VPC) (資料 | 動画 | Blog) • AWS Direct Connect (資料 | 動画 | Blog) • ホワイトペーパー • Securely Access Services Over AWS PrivateLink • その他の資料 / Blog記事 • Startup.fm 新春特別企画 ‒ AWS セキュリティワークショップ • Building an Amazon ECS Anywhere home lab with Amazon VPC network connectivity • Securing access to AMIs in AWS Marketplace 実装時の参考資料と事例集
28. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4. とりあえず Amazon RDS/Aurora を スケールアップする運⽤をやめたい
29. • よくいただく課題 😂 • 「事業の伸びに合わせてスケールアップを繰り返しているが、コストが嵩んできている…」 • 「突然 DB からの応答がなくなったり遅くなったりし、ひどい時は再起動しかできなくなる」 • 本当にしたいことは何？ 😳 • 「事業の成⻑に対応できる、スケーラブルなプロダクトにしたい」 • 思考フロー 😌 1. リードレプリカを利⽤して、参照をスケールアウトさせよう 2. キャッシュを活⽤して、参照負荷を軽減しよう 3. キューを活⽤して、書き込み負荷を軽減しよう 4. 即時性が求められる書き込みが多量に発⽣するテーブルは NoSQL への移⾏を検討しよう とりあえず Amazon RDS/Aurora をスケールアップする運⽤をやめたい
30. • Amazon RDS/Aurora には、 RDS Performance Insights という、 パフォーマンスの統計を取るサービス があります。 問題のあるクエリの調査が可能。 1. Index が効いておらず参照コストが⾼い SQL 2. アプリケーション側から N+1 の問い合わせが あり結果として時間がかかるもの 3. 集計関数を⽤いており1回あたりに取り出す レコード数が多くなりDBサーバに負荷をかけて いるもの 0. 「推測するな、計測せよ。」
31. • Amazon RDS/Aurora はリードレプリカを 増やすことが可能。 • 参照専⽤のインスタンスを⽤意することで、ライター インスタンスの負荷を軽減することができます。 • リードレプリカを利⽤にあたっては、 アプリケーション側で参照時に専⽤の エンドポイントを利⽤するよう 実装する必要がある。 1. リードレプリカを利⽤して、参照をスケールアウトさせよう -ro
32. • RDBMSの問い合わせ結果をキャッシュし、参照負荷を軽減します。 • Amazon ElastiCache: 情報をメモリ上に保持することで、問い合わせ 速度を上げられます。 • ⼀度取得した情報を ElastiCache にキャッシュする。なお、取得した情報が RDBMS 上で 更新された場合、そのキャッシュを破棄しなければデータの不整合が発⽣する。 • Amazon CloudFront: Web ページ・API レスポンスをキャッシュします • 更新頻度が⾼くない/ユーザー毎にカスタマイズ不要なWebページや、マスタデータに効果的。 2. キャッシュを活⽤して、参照負荷を軽減しよう
33. • 書き込み内容をキューに溜め、処理を1〜数個に直列化し、負荷を軽減 します。 • Amazon SQS: ⾮同期処理を実現するメッセージキューイングサービス • 書き込む情報を SQS に溜め込み、別のプログラムが⾮同期に順次 RDBMS に書き込むなどの 処理を実現できます。 3. キューを活⽤して、書き込み負荷を軽減しよう
34. • RDBMS は、ライターインスタンスは原則1つのみで、アプリケーション 改修なしでの書込み負荷対策にはスケールアップ以外にはありません。 • Amazon DynamoDB: 低レイテンシで、読み書き共にスケールする NoSQL データベースサービス • 書込み処理⾃体を DBMS 側でスケールでき、根本的な対応が可能です。 ただしアプリケーションの改修が必要です。 4. 即時性が求められる書き込みが多量に発⽣する テーブルは NoSQL への移⾏を検討しよう
35. • AWS サービス別資料 • Amazon Aurora MySQL Compatible Edition ユースケース毎のスケーリング⼿法 (資料 | 動画 | Blog) • Amazon DynamoDB Advanced Design Pattern (資料 | 動画 | Blog) • Amazon DynamoDB (資料), Amazon ElastiCache (資料), Amazon SQS (資料 | 動画) • AWS Blog / ハンズオン • Amazon Aurora Serverless と Amazon ElastiCache を使⽤してリアルタイムなリーダーボードをビルドする • Performance Insights を使⽤して Amazon Aurora の MySQL のワークロードを分析する • Level Up Your Games with Amazon Aurora • その他の資料 • Active Record で複数のデータベース利⽤ (Ruby on Rails) • Laravel 8.x データベース：準備 (PHP) • AWS モダンアプリケーション開発 ホワイトペーパー -コマンドクエリ責務分離 (CQRS) 実装時の参考資料と事例集
36. © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ
37. 1. 単⼀の AWS アカウントで開発してきたけど、そろそろ分けたい 2. CI/CD 簡単にやりたい 3. エンタープライズ企業からの要望でオンプレミスへの納品がしたい 4. とりあえず Amazon RDS/Aurora をスケールアップする運⽤をやめたい まとめ 2 0 2 1 秋 期 講 習 の ア ジ ェ ン ダ は 以 下 の と お り で し た
38. Thank you! © 2021, Amazon Web Services, Inc. or its affiliates. All rights reserved. Kazuki Matsuda (@mats16k) Startup Solutions Architect Yuichiro Saito (@koemu) Startup Solutions Architect