re:Inventで現地参加したコンテナ関連セッションを振り返る

Transcript

1. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 1 re:Inventで現地参加した コンテナ関連セッションを 振り返る 佐藤 靖幸 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container
2. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 2 ⾃⼰紹介 PARTNER NETWORK 2022 APN AWS Top Engineers © 佐藤靖幸 2024 佐藤 靖幸 @yasai_ls 得意領域 バックエンド開発 クラウドインフラ（AWS）
3. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 3 本LTについて 本LTでは、re:Invent 2023 で現地参加した コンテナ関連セッションを振り返ります。
4. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 4 アジェンダ re:Invent 2023 で現地参加したコンテナセッションを振り返る Day1 11/27 Day2 11/28 Day3 11/29 Day4 11/30 Day5 12/1 おわりに
5. Day1 11/27 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 5
6. Deploying multi-tenant SaaS applications on Amazon ECS and AWS Fargate nBreakout Session nAmazon ECSのマルチテナントSaaSにおけるテナントの分離、 オンボーディング、テナント固有機能、モニタリングなどをど のように管理するべきか解説 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 6
7. Deploying multi-tenant SaaS applications on Amazon ECS and AWS Fargate • マルチテナントにおいて顧客ごとの可⽤性を担保するための、 ノイジーネイバーを防ぐためのタスク配置戦略とスケーリング • コンテナ⾃体にCPUとメモリを制限することでテナントにおけるリ ソース制限を⾏うという⽅法も⾔及 • マルチテナント戦略においてはマイクロサービスも重要。デー タベースとマイクロサービスにおけるテナント分離が有効 • データモデル内でもテナント分離が重要。複数のテーブルを持 つことで、影響を限定的に。 • 監査ログを収集することで洞察を得る。FireLensによるカスタ ムログルーティングによってテナント分離したログを収集する ことも有効 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 7
8. AWS Fargate or Amazon EC2: Which launch type should I be using? nWorkshop nECSの起動タイプであるEC2とFargateそれぞれのCPU、メモ リ使⽤率などの設定の違いを⽐較 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 8
9. AWS Fargate or Amazon EC2: Which launch type should I be using? • Cloud9上でCloudFormationのIaCを順番に更新していき、EC2 とFargateそれぞれのワークロードをプロビジョニング • 負荷をかけるIaCをデプロイし、EC2およびFargateでのスケー リングの⾒え⽅やCPU、メモリ使⽤率のメトリクスを観察。負 荷を与えるためにyelbを改変したロードテスト⽤のコンテナを 実⾏。 • CloudFormationのテンプレートを段階的に変更することで、エ ディタ上でどのような変更差分があったのかを追った。 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 9
10. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 10 Day2 11/28
11. Boosting efficiency: How to realize 70% cost reduction with AWS Fargate nBreakout Session n70%のコスト削減をAWS FargateとGravitonを使⽤して達成 したSaaS企業の例が解説 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 11
12. Boosting efficiency: How to realize 70% cost reduction with AWS Fargate • サーバーレスアーキテクチャのカテゴリに属するAWS Fargateを利 ⽤することによるコスト最適化の取り組み。Gravitonを利⽤するこ とで運⽤コスト含めたトータル1年間で70%のコスト削減を実現した とを解説 • コスト削減のポイントとして、オートスケーリングの最適化を⾏っ たとあった。特にメモリ消費量が多いワークロードに利⽤される バッチ処理においてオートスケーリングを最適化したとのこと • マイクロサービス特化にフォーカスすることで、信頼性、可⽤性、 セキュリティの向上を⾏なったとのこと。CI/CDの改善も⾏われ、 エンジニアがデプロイに費やす時間が数分になったとも • 将来の需要を予測し、プラットフォームの負荷テストを実施し将来 の需要に対応できることを確認することが重要だと伝えています 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 12
13. Architecting Amazon ECS workloads for data protection & compliance nBuilders' Session n医療情報のデータを保護するためのHIPAA基準を満たすために、 Amazon ECSでどのように実現するのか。⼩テーブル毎に講演 者がいて、まずは講演者からセッションテーマについての講義 があり、その後にワークショップと同じ形式で進⾏。 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 13
14. Architecting Amazon ECS workloads for data protection & compliance • 既にワークロードがプロビジョニングされている状況から始ま り、セキュリティを強化していく操作を実施。AWS Artifactの コンプライアンスレポートからHIPAAのコンプライセンスレ ポートをダウンロードする⽅法を学び、検出する仕組みとして のAWS Config、AWS CloudTrail、Amazon CloudWatch、 Amazon GuardDuty、Container Insightsを順番に有効化してセ キュリティを強化する⼿順を実施。 • 検出の仕組みの構築後は守る仕組みとして脆弱性スキャンや KMSによる暗号化、機密管理、仮想ネットワークのセキュリ ティを学んだ。 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 14
15. Introducing GuardDuty ECS Runtime Monitoring, including AWS Fargate nBreakout Session nre:Invent期間中に発表された新機能であるGuardDutyを利⽤ したECSのランタイム脅威モニタリングについての解説 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 15
16. Introducing GuardDuty ECS Runtime Monitoring, including AWS Fargate • GuardDutyがECSのコンテナランタイムにおける脅威検出を追 加。マルウェア・暗号マイニング・その他の検知を含む合計31 の検出カテゴリ • MALWARE INFECTION、CRYPTOCURRENCY MINING、 CONTAINER RUNTIME DRIFT、CONTAINER ESCAPE、REMOTE CODE EXECUTION、DEFENSE EVASIONが紹介 • EC2とFargateでランタイム脅威検出エージェントが動作する仕 組みをAWS構成図を通して説明。クラスターがEC2タイプであ ればクラスターインスタンスにエージェントがインストールさ れ、Fargateタイプであればサイドカーコンテナとしてエー ジェントが⾃動的に設定される旨の解説があった。 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 16
17. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 17 Day3 11/29
18. Coding for container observability nCode Talk nOpen Telemetry SDKを利⽤して様々な環境からメトリクスを 収集する⽅法を学習 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 18
19. Coding for container observability • Open Telemetryの収集⽅法として⼿動での可観測性情報の送信と、エー ジェントによる⾃動収集の仕組みを紹介。Open Telemetry情報を送信す るライブコーディングが⾏われた。Open Telemetryによって今まで標準 化されてなかった各ミドルウェアの可観測性情報の送信⽅法が共通化され たことは⼤きな価値があるとコメントがあった。 • AWS Distro for Open Telemetry Collectorを使⽤してメトリクスやログ、 トレースなどの情報を収集し、送信する⽅法について説明があった。 • KubernetesにおいてOpen Telemetry情報を収集するために収集間隔やタ イムアウトの設定を活⽤し、メモリ消費量などの制限についても⾏うべき であるとコメントがあった。 • トレース情報のフィルタリングおよびグループ化を⾏うトレースパイプラ インについて説明があった。フィルタリングは機密情報の削除にも有効と のこと。 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 19
20. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 20 Day4 11/30
21. Build cost-optimized workloads on Amazon ECS nBuilders' Session nAmazon ECSにおけるコストの最適化の⽅法について、実際に ワークショップ環境に対して適⽤することで学んだ 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 21
22. Build cost-optimized workloads on Amazon ECS • AWS Compute Optimizerによる推奨事項の取得はECS Fargateにお けるタスク定義の最適なCPU・メモリサイズを測る上でも有効 • container-insights-custom-dashboard を CloudWatch ダッシュ ボードとしてインポートする⽅法を学習 • Fargate においては Fargate とFargate Spot の両⽅をCapacity Providerで利⽤することが可能であることを学習 • ECS on EC2については、AutoScalingグループとスポットインスタ ンスのCapacity Provider両⽅を利⽤してスケーリングの仕組みを 分散させることも可能であることを学習 • AWS Graviton プロセッサの活⽤、マルチアーキテクチャコンテナ イメージの構築⽅法の解説など 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 22
23. How Amazon ECR speaks open source: OCI and the V2 proxy nChalk Talk nOCIはOpen Container Initiativeの略称で、コンテナとコンテナ イメージの標準化を⽀援するために設⽴。Amazon ECRが Dockerなどのコンテナツールとどのように対話するかの解説 をChalk Talk形式で実施 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 23
24. How Amazon ECR speaks open source: OCI and the V2 proxy • Dockerイメージのマニフェストについて、ブロブ情報の記述例やOSと アーキテクチャの推測⽅法の説明があった。また、マルチアーキテクチャ のコンテナイメージを作成する⽅法の説明も。 • Amazon ECRのアーキテクチャに関して、イメージ保存先のS3やパブ リックリポジトリにおけるCloudFrontの利⽤であったりと、Amazon ECRはバックグラウンドで関連するAWSサービスが動作しているのだな と改めて理解。 • OCIコマンドラインを利⽤したAmazon ECRへのコンテナイメージのプッ シュのデモンストレーションがあった。また、イメージを⼀意に識別する ためのイメージダイジェストと署名の活⽤が推奨されていた。 • OCIとは異なるフォーマットのコンテナレジストリにプッシュされる過程 において、その変更プロセスがECRでどのように⾏われているのかの説明 があった。 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 24
25. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 25 Day5 12/1
26. Enhance workload security with agentless scanning and CI/CD integration nBreakout Session nAmazon Inspectorに追加された3つの新機能である「CI/CDパ イプラインへの組み込み」、「EC2 エージェントレススキャ ン」、「Lambda コード修復」機能の紹介に加え、re:Invent 2023直前に発表された機能の紹介やグローバル⾦融機関がこれ らの新機能を活⽤していることついて説明 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 26
27. Enhance workload security with agentless scanning and CI/CD integration • 新機能であるCI/CDパイプラインにおけるコンテナイメージス キャンの説明が⾏われた。既存のCI/CDパイプラインに脆弱性 スキャンのプロセスをAmazon Inspector経由で実⾏する仕組み の説明後に、実際にJenkinsで脆弱性検出結果を表⽰する⽅法 が⽰された。 • EC2におけるエージェントレススキャンについても説明があっ た。 • ⽣成AIを活⽤したLambdaのコード修復機能の説明が⾏われた。 Lambdaのコード修復機能はインジェクションの⽋陥やハード コードされた認証情報、あるい暗号の問題など脆弱性の原因を 特定する機能 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 27
28. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 28 おわりに
29. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 29 おわりに 本LTでは、re:Invent 2023 で現地参加した コンテナ関連セッションを振り返りました。 コンテナ関連セッションは、Dive Deep ECRなど 他にも多くのセッションがあります。 特にArgo CDのChalk Talkは予約がいっぱいで 現地で並んでも参加できなかったです ... 参加した⽅がいらっしゃれば是⾮とも感想を下さい。（切実）
30. 2024/1/20 JAWS-UG横浜 #68 AWS re:Invent 2023 Recap Container 30 © 佐藤靖幸 2024 ご清聴ありがとう ございました。