大規模マルチアカウント環境を実運用する時の悩みと解決法 / AWS Multi-Account Tips

2024年2月15日　JAWS-UG東京に登壇した際の資料です。
(2024年3月3日　記載に一部誤りがあると分かったので修正しました)

Transcript

1. 大規模マルチアカウント環境を 実運用する時の悩みと解決法 JAWS-UG東京 2024 ～AWSライトニングトーク Night～ 2024/2/15 株式会社野村総合研究所 大石将士
2. おおいし まさし 大石 将士 (@se_o_chan） 野村総合研究所 所属 食品業、旅行業のお客様に向けて 新規・運用、アプリ・インフラを幅広く担当 最近はオンプレミスからのAWS移行を推進 2022 APN AWS Top Engineer / 2022-23 APN ALL AWS Certifications Engineer
3. 本日の内容 80以上のAWSアカウントで構成されたシステム群を運用している実案件を基に、 マルチアカウント環境運用での悩みとその解消に有益なTipsをご紹介します。 ⚫ マルチアカウント環境の基本構成とメリットを知る ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipsを知る
4. マルチアカウントのメリットと基本構成
5. マルチアカウントとは AWSアカウントをシステム別、環境別などの観点で分離することで、 運用の柔軟性と管理負荷のバランスをとりやすくする AWSアカウント A VPC AWSアカウント B AWSアカウント C VPC VPC
6. マルチアカウントの主なメリット 本番、ステージング、開発環境でアカウントを分けることで 同一ユーザが操作できる内容を環境ごとに定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C VPC 環境分離 本番 ステージング 開発 参照のみ 管理者権限 停止・起動
7. マルチアカウントの主なメリット 利用者の部門ごとにアカウントを分離し、 ユーザ別の権限管理が定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C VPC 権限分離 製造部門 営業部門 本社機構
8. マルチアカウントの主なメリット ワークロードの特性毎にアカウントを分離し、 アカウント内で許容する操作・設定を定義しやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C VPC 社内システム 社外公開 システム ワークロード分離 パブリック 公開禁止 パブリック 公開可能
9. マルチアカウントの主なメリット システム運用費の主管部署ごとにアカウントを分離し、 アカウントの管理をしやすくなる AWSアカウント A VPC AWSアカウント B AWSアカウント C VPC 請求分離 製造部門 営業部門 本社機構
10. 共通基盤OU システムアカウントOU 本番OU ステージング OU 開発OU マルチアカウント基本構成例 管理アカウント ユーザ管理アカウント Organizations IAM Identity Center 監査ログ集約アカウント 監査ログ バケット セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup システム アカウント システム アカウント システム アカウント
11. 監査ログ集約アカウント 監査ログ バケット セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント ユーザ管理アカウント IAM Identity Center システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント IAM Identity Centerで 横断的にユーザ・グループ と権限を管理 管理者の委任 Organizations
12. ユーザ管理アカウント IAM Identity Center セキュリティアカウント IAM Access Analyzer Security Hub バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント 監査ログ集約アカウント 監査ログ バケット CloudTrail CloudTrail CloudTrail CloudTrail監査ログを 集約する Organizations
13. 監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント IAM Identity Center バックアップアカウント ネットワークアカウント Direct Connect Transit Gateway AWS Backup 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント Security Hub セキュリティアカウント IAM Access Analyzer Security Hub Security Hub Security Hub 各アカウントの Security Hub検出結果を 集約する 管理者の委任 Organizations
14. セキュリティアカウント IAM Access Analyzer Security Hub 監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント IAM Identity Center ネットワークアカウント Direct Connect Transit Gateway 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント バックアップアカウント AWS Backup EC2 RDS FSx バックアップポリシーの管理と バックアップジョブの 横断的なモニタリング 管理者の委任 Organizations
15. バックアップアカウント AWS Backup セキュリティアカウント IAM Access Analyzer Security Hub 監査ログ集約アカウント 監査ログ バケット ユーザ管理アカウント IAM Identity Center 共通基盤OU マルチアカウント基本構成例 管理アカウント システムアカウントOU 本番OU ステージング OU 開発OU システム アカウント システム アカウント システム アカウント Transit Gatewayを RAMで他アカウントに共有し、 クロスアカウントで通信可に ネットワークアカウント Direct Connect Transit Gateway Resource Access Manager (RAM) Organizations
16. マルチアカウント基本構成例 これがマルチアカウントの基本構成の一例 ただし実運用を通じて、これだけだとかゆいところに手が届いていないと判明 ここからはマルチアカウント環境を運用する悩みとTipsをご紹介
17. マルチアカウント構成の悩みとTips
18. マルチアカウント構成の悩み 悩み① システム横断の通信制御を管理しにくい 悩み② AWSアカウント払出し都度の緩和申請が手間 悩み③ VPCエンドポイントの利用料がバカにならない 悩み④ 複数アカウント横断でAWS利用料を管理したい
19. 悩み① システム横断の通信制御を管理しにくい オンプレではFWで一元的に管理していた通信制御が、 アカウントやVPCを細かく分割するとセキュリティGが分かれるので管理しにくい 移行前 移行後 Firewall 本番LAN 開発LAN 本番サーバ 開発サーバ システムA（本番） システムB（本番） システムC（開発） システムD（開発） Security group Security group Security group Security group 本番LAN 開発LAN Direct Connect ソースIP ポート 10.1.0.0/16 全て インバウンドルール ソースIP ポート 10.1.0.0/16 全て インバウンドルール ソースIP ポート 10.2.0.0/16 全て インバウンドルール ソースIP ポート 10.2.0.0/16 全て インバウンドルール 本番LANの定義が 変わったら、ルールを 個別に修正する 必要あり Transit Gateway
20. Tips① プレフィックスリスト＋RAMを活用 プレフィックスリストで複数のIPレンジをグルーピングできる。 それをRAMで共有すれば、オンプレFWのように通信制御を一元管理できる 移行前 移行後 Firewall 本番LAN 開発LAN 本番サーバ 開発サーバ システムA（本番） システムB（本番） システムC（開発） システムD（開発） Security group Security group Security group Security group 本番LAN 開発LAN Direct Connect Transit Gateway ソースIP ポート pl-00001 全て インバウンドルール ソースIP ポート pl-00001 全て インバウンドルール ソースIP ポート pl-00002 全て インバウンドルール ソースIP ポート pl-00002 全て インバウンドルール プレフィッ クスリスト CIDR pl-00001 10.1.0.0/16 pl-00002 10.2.0.0/16 RAM 本番LANの定義が変 わっても、プレフィッ クスリストの修正でOK
21. Tips① プレフィックスリスト＋RAMを活用 VPCコンソールの 中に存在 プレフィックスリストが使えるのは セキュリティグループ、ルートテーブル程度。 Network ACLには使用できないため注意。
22. 悩み② AWSアカウント払出し都度の緩和申請が手間 例えばセキュリティGのルール数上限はデフォルトで60。 AWSアカウント払出し都度、Service Quotasで上限緩和申請を出すのが手間な上に忘れがち。 ソースIP ポート pl-00001 全て pl-00010 全て pl-00011 全て pl-00021 全て インバウンドルール エントリ数:45 エントリ数:15 エントリ数:5 エントリ数:5 ルール数は計70個 ルール数の上限は デフォルトだと60個
23. Tips② Service Quotasテンプレートで自動申請 Organizationsの管理アカウントでService Quotasのテンプレートを定義できる。 組織内に新しいAWSアカウントを追加する度に自動的に上限緩和申請が提出される。
24. 悩み③ VPCエンドポイントの利用料がバカにならない VPCを細かく分けると、Systems ManagerやEC2、AWS Backupのエンドポイントを 各VPCに作成することになり、アタッチ料金がバカにならない システムA（本番） システムB（本番） システムC（開発） Transit Gateway com.amazonaws.ap-northeast-1.ec2 com.amazonaws.ap-northeast-1.ec2messages com.amazonaws.ap-northeast-1.ssm com.amazonaws.ap-northeast-1.ssmmessages com.amazonaws.ap-northeast-1.logs com.amazonaws.ap-northeast-1.monitoring com.amazonaws.ap-northeast-1.backup ×２（Multi-AZ）×100アカウント 例えば各VPCで7つのエンドポイントを利用し、 AWSアカウント100個あったとすると 全体で最低1,400個のエンドポイントが必要。 1,400個のVPCエンドポイントで、月額200万円・・・ ・・・
25. Tips③ Route 53 Resolver＋RAMで関連付け VPC-EのあるVPCにRoute 53 Resolver（インバウンド/アウトバウンドエンドポイント）を作成。 そのResolverルールをRAMで関連付けると、VPCエンドポイントが共有できる。 システムA（本番） システムB（本番） システムC（開発） Transit Gateway com.amazonaws.ap-northeast-1.ec2 com.amazonaws.ap-northeast-1.ec2messages com.amazonaws.ap-northeast-1.ssm com.amazonaws.ap-northeast-1.ssmmessages com.amazonaws.ap-northeast-1.logs com.amazonaws.ap-northeast-1.monitoring com.amazonaws.ap-northeast-1.backup Route 53 Resolver 関連付け ×２（Multi-AZ）×1アカウント 14個のVPCエンドポイントで、月額2万円！！ ※ただし、Transit Gatewayに0.02USD/GBのデータ送信料がかかるので注意。 Resolverルール作成 ・・・ RAM
26. 悩み④ 複数アカウント横断でAWS利用料を管理したい いくつかのAWSアカウントは費用の主管部署が同じであるため、 AWS利用料を合算して閲覧・管理したい 本社機構管理のアカウントは 10個あるから、合算された AWS利用料を閲覧したい
27. 本社機構用請求グループ Tips④ Billing ConductorでAWS利用料を管理 Billing Conductorで任意のアカウントに対するAWS利用料を合算し、Billingで表示できる。 また、独自の追加請求やクレジットも登録できる。 管理アカウント Organizations Billing Conductor システムアカウントX システムアカウントY システムアカウントZ 営業部門用請求グループ システムアカウントA システムアカウントB システムアカウントC ・・・ ・・・ プライマリ プライマリ 請求グループ内のアカウントは プライマリアカウントの Billingで横断的に利用料を参照可
28. まとめ
29. 本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ マルチアカウント環境の基本構成とメリットを知る ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
30. 本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations＋αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ マルチアカウント環境を運用する時の悩みポイントを知る ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
31. 本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations＋αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ ネットワーク、請求が分離されるが故に管理負担が増大する側面がある ⚫ マルチアカウント環境の悩みを解決するのに有益なTipを知る
32. 本日の内容 80以上のAWSアカウントを運用している実案件を基に、 マルチアカウント環境運用の悩みとその解消に有益なTipsをご紹介しました。 ⚫ Organizations＋αでマルチアカウント構成を作り、環境・請求等の分離ができる ⚫ ネットワーク、請求が分離されるが故に管理負担が増大する側面がある ⚫ Organizations統合されたAWSサービスやRAMなどを活用して管理負担を下げる
33. ご清聴ありがとうございました