オンプレADを昇降格したらAWS上のシステムのいろんなところが通信できなくなった話

2024/6/14実施の、JAWS-UG朝会 #58 にてLTさせていただいた内容です。
A story about not being able to communicate on AWS after upgrading or demoting AD.LT at JAWS-UG morning meeting #58 held on June 14, 2024.

1. オンプレADを昇降格したら AWS上のシステムの いろんなところが 通信できなくなった話 ひよこインフラエンジニア JAWS-UG朝会 #58 2024/6/14
2. 自己紹介 • お仕事 • 某SI企業のクラウドを扱う部署において、基盤の設計～運用保守 • 製造業、地方自治体、金融系などお客様の業界は様々 • 社会人4年目 • 資格 • 基本情報、応用情報、情報処理安全確保支援士 • AWS CLF、SAA、SOA • 趣味 • 仏像鑑賞、神社仏閣巡り • 好きな仏像：興福寺南円堂 木造四天王立像 ひよこインフラエンジニア @hamijay_cloud Zennにたまに記事を投下 https://zenn.dev/hamijay_cloud
3. • アジェンダ ① プロジェクトの概要 ② 起こったできごと ③ はまりごと ④ まとめ • ゴール オンプレミスAD昇降格時に起こった出来事と"はまりごと"を 紹介し、注意するポイントへの理解を深める ※本発表内容は個人の見解であり、所属組織を代表するものではありません。 ※2024年6月14日現在の情報に基づいています。 ※オンプレミスADの昇格・降格の手順は本LTでは扱いません。 本日のゴール
4. プロジェクト の概要
5. 地方自治体様の拠点で稼働している基幹系業務システムを、 AWSクラウド上に移行するプロジェクト ・既存（稼働中）のシステムは業務チーム（@PJルーム）が運用、 AWSチーム（@テレワーク）は新規参画 ・お客様拠点-AWSはDirect Connect接続、インターネットへの経路なし ・当時はAWSチームの設計・構築やテストフェーズが終わり、 ボス、先輩、ひよこの3人で業務チームのテストを支援している段階 ・Direct Connectは全員扱ったことがなく、有資格者はSAA保有者1名 ① プロジェクトの概要
6. Direct Connect Location 運用管理アカウント ① プロジェクトの概要 本番アカウント VPC AZ-a AZ-c Private subnet 東京リージョン お客様拠点 Transit Gateway Route 53 Private Hosted zone TGW Attachment Endpoints Customer gateway Direct Connect Gateway ALB EC2 Direct Connect S3 Backup CloudWatch Systems Manager 既存システム (ADもここ) FSx(現用) Private subnet EC2 FSx(待機) Private subnet Private subnet 東京リージョン VPC Route53 Resolver インバウンド・アウトバウンド エンドポイント Private subnet Private subnet RDS(現用) RDS(待機) ※構成イメージ Route53 Resolver アウトバウンド エンドポイント
7. 起こったできごと
8. ② 起こったできごと みんな、業務チームから急ぎの確認依頼がきたぞ。 なになに・・・ 「先週末オンプレ側で旧ADドメインコントローラの降格を 行ったところ、EC2上で名前解決ができない事態が発生。 オンプレ側の作業の関連で恐縮だが、 確認をお願いしたい。」 ドメインコントローラのIPが変わった みたいだね。セキュリティグループは 新旧ドメインコントローラの通信を すでに許可していたはずだけど・・・。 セキュリティグループ以外も 全面的に確認しましょうか。 ※BOSSはサントリーホールディングス(株)のブランドです。 BOSS ボスブランドサイト │ サントリー (suntory.co.jp)
9. ② 起こったできごと みんな、業務チームから急ぎの確認依頼がきたぞ。 なになに・・・ 「先週末オンプレ側で旧ADドメインコントローラの降格を 行ったところ、EC2上で名前解決ができない事態が発生。 オンプレ側の作業の関連で恐縮だが、 確認をお願いしたい。」 ドメインコントローラのIPが変わった みたいだね。セキュリティグループは 新旧ドメインコントローラの通信を すでに許可していたはずだけど・・・。 セキュリティグループ以外も 全面的に確認しましょうか。 ※BOSSはサントリーホールディングス(株)のブランドです。 BOSS ボスブランドサイト │ サントリー (suntory.co.jp) ＜悲報＞ 年末年始のお休み まであと1週間 しかない
10. そもそもMicrosoft Active Directory やドメインコントローラ とは？ • Active Directory(AD) Windows Serverの機能の1つで、管理するネットワーク上に存在する様々 な資源やその利用者の情報や権限などを一元管理することができるもの。 • ドメインコントローラ ドメイン内の資源や利用者、アクセス権限などの情報を一元的に登録、 管理するためのデータベース。 • Organizational Unit(OU) 設定や権限を管理する最小単位。 ② 起こったできごと 参考：[1]
11. Direct Connect Location 運用管理アカウント ② 起こったできごと 本番アカウント VPC AZ-a AZ-c Private subnet 東京リージョン お客様拠点 Transit Gateway Route 53 Private Hosted zone TGW Attachment Endpoints Customer gateway Direct Connect Gateway ALB EC2 Direct Connect S3 Backup CloudWatch Systems Manager 既存システム (ADもここ) FSx(現用) Private subnet EC2 FSx(待機) Private subnet Private subnet 東京リージョン VPC Route53 Resolver インバウンド・アウトバウンド エンドポイント Private subnet Private subnet RDS(現用) RDS(待機) ※再びの構成イメージ Route53 Resolver アウトバウンド エンドポイント
12. はまりごと
13. 詳細設計書を片手に、業務チームはオンプレ側ファイウォール、 AWSチームはVPCフローログを見ながら点検 ・ルートテーブル ・EC2にアタッチしているセキュリティグループ ・ALBにアタッチしているセキュリティグループ ・VPCエンドポイントにアタッチしているセキュリティグループ ・Route 53 Resolver Rule のターゲットIPアドレス × ・FSx for Windows File Server のDNSサーバーのIPアドレス × ・FSx for Windows File Server にアタッチしているセキュリティグループ × ③ はまりごと
14. Route 53 Resolverの対処
15. ネームサーバをマネージドで提供するサービスで、特定のVPC からの問い合わせとそれ以外からの問い合わせを識別し、異なる 応答を返す [2] ③-1 Route53 Hosted Zone 引用：[2]
16. 社内サーバーなどのオンプレミス環境とVPCの間で名前解決ができる 機能 [3] • インバウンドResolverエンドポイント VPCに、オンプレミスネットワークまたは別のVPCからDNSクエリが可能 ・アウトバウンドResolverエンドポイント VPCから、オンプレミスネットワークまたは別のVPCにDNSクエリが可能 • Resolverルール ドメイン名ごとに転送ルールを1つ作成し、VPCからオンプレミスの DNSリゾルバーへのDNSクエリ、及びオンプレミスからVPCへの DNSクエリを転送するドメイン名を指定できる。 ③-1 Route53 Resolver 参考：[3]
17. Direct Connect Location 運用管理アカウント ③-1 Route53 Resolver お客様拠点 Transit Gateway Route 53 Private Hosted zone Customer gateway Direct Connect Gateway Direct Connect 既存システム (ADもここ) 東京リージョン VPC Route53 Resolver インバウンド エンドポイント 本番アカウント VPC 東京リージョン TGW Attachment Route53 Resolver アウトバウンド エンドポイント EC2 ※三度びの構成イメージ（抜粋） Amazon Route53 Resolver フォワーダー リゾルバ ルール 転送ルール① 転送ルール② ・・・ Route53 Resolver アウトバウンド エンドポイント Amazon Route53 Resolver フォワーダー リゾルバ ルール 転送ルール① 転送ルール② ・・・
18. Direct Connect Location 運用管理アカウント ③-1 Route53 Resolver お客様拠点 Transit Gateway Route 53 Private Hosted zone Customer gateway Direct Connect Gateway Direct Connect 既存システム (ADもここ) 東京リージョン VPC Route53 Resolver インバウンド エンドポイント 本番アカウント VPC 東京リージョン TGW Attachment Route53 Resolver アウトバウンド エンドポイント EC2 ※三度びの構成イメージ（抜粋） Amazon Route53 Resolver フォワーダー リゾルバ ルール 転送ルール① 転送ルール② ・・・ Route53 Resolver アウトバウンド エンドポイント Amazon Route53 Resolver フォワーダー リゾルバ ルール 転送ルール① 転送ルール② ・・・ オンプレ (AD)行きた かったら、 アウトバウ ンドエンド ポイント 通って運用 管理アカウ ントにきい て オンプレ (AD)行きた かったらな、 DX通ってお 客さんとこ 行って 本番アカウ ントから何 かきかれて るんやけど お前なんか 知ってる?
19. Direct Connect Location 運用管理アカウント ③-1 Route53 Resolver お客様拠点 Transit Gateway Route 53 Private Hosted zone Customer gateway Direct Connect Gateway Direct Connect 既存システム (ADもここ) 東京リージョン VPC Route53 Resolver インバウンド エンドポイント 本番アカウント VPC 東京リージョン TGW Attachment Route53 Resolver アウトバウンド エンドポイント EC2 ※三度びの構成イメージ（抜粋） Amazon Route53 Resolver フォワーダー リゾルバ ルール 転送ルール① 転送ルール② ・・・ Route53 Resolver アウトバウンド エンドポイント Amazon Route53 Resolver フォワーダー リゾルバ ルール 転送ルール① 転送ルール② ・・・ オンプレ (AD)行きた かったら、 アウトバウ ンドエンド ポイント 通って運用 管理アカウ ントにきい て オンプレ (AD)行きた かったらな、 DX通ってお 客さんとこ 行って 本番アカウ ントから何 かきかれて るんやけど お前なんか 知ってる?
20. Direct Connect Location 運用管理アカウント ③-1 Route53 Resolver お客様拠点 Transit Gateway Route 53 Private Hosted zone Customer gateway Direct Connect Gateway Direct Connect 既存システム (ADもここ) 東京リージョン VPC Route53 Resolver インバウンド エンドポイント 本番アカウント VPC 東京リージョン TGW Attachment Route53 Resolver アウトバウンド エンドポイント EC2 ※三度びの構成イメージ（抜粋） Amazon Route53 Resolver フォワーダー リゾルバ ルール 転送ルール① 転送ルール② ・・・ Route53 Resolver アウトバウンド エンドポイント Amazon Route53 Resolver フォワーダー リゾルバ ルール 転送ルール① 転送ルール② ・・・ オンプレ (AD)行きた かったら、 アウトバウ ンドエンド ポイント 通って運用 管理アカウ ントにきい て オンプレ (AD)行きた かったらな、 DX通ってお 客さんとこ 行って 本番アカウ ントから何 かきかれて るんやけど お前なんか 知ってる? リゾルバルールで設定している オンプレ(AD)の値が旧IPのままで 誰も新ADへの行き方を知らない 状態
21. Amazon FSx for Windows File Server の対処
22. SMBを介してアクセスできる、信頼性が高くスケーラブルな 完全マネージド型のファイルストレージ • 幅広い管理機能、高スループット、高IOPS、ミリ秒未満のレイテンシー • 数千のコンピューティングインスタンスとデバイスから同時アクセス可能 • 1つのファイルシステムにつき最大64TBまでデータを保存可能 • AWS Microsoft Managed AD または オンプレミス の Microsoft Active Directoryと統合 • EC2、ECS、Amazon WorkSpaces、Amazon AppStream 2.0、 オンプレミス環境(Direct Connect or AWS VPNが必要)から接続可能 ③-2 FSx for Windows File Server 参考：[4][5]
23. ・FSxファイルシステムの構築 ③-2 FSx for Windows File Server
24. ② FSxファイルシステムの構築 ③-2 FSx for Windows File Server ADで作成したFSxの管理者ユーザー OUを記載する OU=OU名,DC=ドメイン名(.以前),DC=local 権限を委任したグループ = FSxの管理者ユーザーが所属する
25. ③-2 FSx for Windows File Server No ファイルシステム作成後に 変更可能なパラメータ 1 ファイルシステム名 2 ストレージ容量 3 スループットキャパシティ 4 VPC セキュリティグループ 5 DNS サーバーの IP アドレス 6 サービスアカウントのユーザー名 7 毎日の自動バックアップウィンドウ 8 自動バックアップ保持期間 9 週次メンテナンスウィンドウ 10 ファイルシステム名の監査 ・入力したパラメータを確認し、作成ボタンを クリック ・ステータスがCREATING→AVAILABLE になるまで約30分
26. ・AD・FWを設定 ③-2 FSx for Windows File Server セルフマネージド Microsoft Active Directory を使用するための前提条件 - Amazon FSx for Windows File Server
27. ・AD・FWを設定 ③-2 FSx for Windows File Server 参考：[6][7] No​ TCP​ UDP ポート​ 説明​ 1​ 〇 〇 53​ ドメインネームシステム (DNS)​ 2 〇 〇 88​ Kerberos 認証​ 3 〇 〇 464​ パスワードを変更/設定する (Kerberos)​ 4 〇 〇 389​ Lightweight Directory Access (LDAP)​ 5 × 〇 123​ NTP​ 6 〇 × 135​ 分散コンピューティング環境/エンドポイントマッパー (DCE/EPMAP ※WindowsではMS-RPC)​ 7 〇 × 445​ SMB​ 8 〇 × 636​ LDAPS​ 9 〇 × 3268​ Microsoft グローバルカタログ​ 10 〇 × 3269​ Microsoft グローバルカタログ (SSL)​ 11 〇 × 5985​ WinRM 2.0 ​ (Microsoft Windows リモート管理)​ 12 〇 × 9389​ マイクロソフト AD DS Web サービス、PowerShell​ 13 〇 × 49152-65535​ RPC 用のエフェメラルポート​
28. まとめ
29. オンプレ環境で稼働中のADを昇降格したところ、AWS上 からオンプレミスへの名前解決が出来ない事態が発生。 はまりごとは下記の3点。 ① Route 53 Resolver Rule のターゲットIPアドレス ② FSx for Windows File Server のDNSサーバーのIPアドレス ③ FSx for Windows File Server にアタッチしている セキュリティグループ 5) まとめ
30. オンプレ環境で稼働中のADを昇降格したところ、AWS上 からオンプレミスへの名前解決が出来ない事態が発生。 今後気を付けたいことは下記の3点。 ① 公式ドキュメントの読み込み ② プロジェクトのドキュメントの読み込み ③ 他チームと作業の認識合わせを十分に行う 5) まとめ
31. [1] インセプト, IT用語辞典 https://e-words.jp/ [2] AWS, AWS Black Belt Online Seminar Amazon Route 53 Resolver 編 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black- Belt_2023_Amazon-Route53-Resolver_0530_v1.pdf [3] AWS, Amazon Route 53 デベロッパーガイド https://docs.aws.amazon.com/ja_jp/Route53/latest/DeveloperGuide/resolver.html 参考（2024/6/14 閲覧）
32. [4] AWS, Amazon FSx for Windows File Server Windowsユーザーガイド <https://docs.aws.amazon.com/ja_jp/fsx/latest/WindowsGuide/what-is.html> [5] AWS, Amazon FSx for Windows File Server のよくある質問 <https://aws.amazon.com/jp/fsx/windows/faqs/> [6] ディーネット, FSx for Windows File Server でファイルサーバを♪ <https://blog.denet.co.jp/amazon-fsx-for-windows-file-server-making04/> [7] クラスメソッド, Amazon FSx for Windows File Server を最低限の手順で構築 してみた <https://dev.classmethod.jp/articles/fsx-for-windows-file-server-walkthrough/> 参考（2024/6/14 閲覧）