[JAWS-UG 栃木 #2]AWS FISはドSなのか？システムに試練を与えて強くする！

Transcript

1. 2025年5月24日 #jawsug_tochigi JAWS-UG 栃木 # 2 オフライン開催！ AWS FISはドSなのか？ システムに試練を与えて強くする！
2. 自己紹介 >深津 新太郎 PM ＠ 事業会社の情報システム子会社 オンプレシステムの運用・開発・リプレイスを担当 >AWS利用 2019- >好きなサービス S3、Cloudwatch、FIS
3. 2025/4/15AWS障害 影響ありましたか？ EC2インスタンスへの主電源と二次電源が遮断されたことが原因 （https://health.aws.amazon.com/health/status?eventID=arn:aws:health:ap-northeast- 1::event/EC2/AWS_EC2_OPERATIONAL_ISSUE/AWS_EC2_OPERATIONAL_ISSUE_F82D3_02AD2D67316）
4. Everything fails, all the time. 全てのものはいつでも壊れうる Dr. Werner Vogels
5. Well-Architected Framework 信頼性の柱 Reliability 目標となる信頼性を確保するため オートスケール、マルチAZ、マルチリージョン．．． 要件定義段階から検討して、設計、構築 作ったものはテスト！
6. AWS Fault Injection Service (AWS FIS) ・マネコンから実行できる障害注入ツール ・ターゲットとアクション（障害内容）を指定 ・意図的に障害を発生させ、挙動や耐性を確認 ・回復後の処理確認も可能
7. 今回のターゲット AWS Cloud Virtual private cloud (VPC) Front End Task Amazon Aurora (Writer) Internet gateway Private subnet Public subnet Private subnet Fargate Back End Task Fargate Availability Zone Back End Task Front End Task Amazon Aurora (Reader) ALB ALB
8. 2025/4/15 AWS障害 特定AZ、EC2の電源遮断 影響を受けた (15 サービス) AWS CodeCommit AWS Lambda AWS NAT Gateway AWS Network Firewall AWS Systems Manager AWS Transit Gateway AWS VPCE PrivateLink Amazon CloudWatch Amazon Elastic Container Service Amazon Elastic Load Balancing Amazon Location Service Amazon Redshift Amazon Relational Database Service Amazon Simple Storage Service Amazon WorkSpaces
9. Fault Injection Service
11. このシナリオでうまくいった？ No...
12. 全部で10個のアクション（障害） リソースID、タグで指定されたターゲットに 続々と試練が課されていく
13. EC2障害が多い アクション（障害内容） ターゲット（障害対象）
14. NW一時遮断、RDSフェイルオーバー アクション（障害内容） ターゲット（障害対象）
15. ECS関連がない 更に試練を与えたい シナリオにアクションを追加
16. 追加試練（ECS） ESC on EC2 ：EC2障害でAZ障害が再現可能 ECS on Fargate ：AZ障害が難しい ECS単体のアクション stop-task → 同じAZで再度起動... task-network-blackhole-port (ssm-agentサイドカー必要) → タスク起動したまま...
17. ECS on Fargate AZ障害代替策 NWの障害アクション disrupt-connectivity をシナリオに追加して試行 Subnetに紐づくNACLをFISが差し替え 既存NACL → 新規NACL(In/Out：All Deny) 全通信遮断 結局、同じAZでタスク起動、保留中ステータス
18. AZが障害時、自動的にトラフィックを別のゾーンへ移動 ・AZ障害をAWSが自動で検知 ・障害中、トラフィックは別のAZへルーティングされる ・障害復旧後、自動で元の AZ にルーティングされる サポートリソース EC2、EKS、ALB、NLB... ECSがない Application Recovery Controller(ARC)ゾーンオートシフト ECS on Fargate AZ障害代替策
19. ALB ARCゾーンシフト設定 デフォルトは無効 有効化を選択
20. ALB ARCオートゾーンシフト発生時 ALB 指定AZ ゾーンシフト検出 ALB ターゲットグループ ゾーンシフト検出
21. ALB ARCオートゾーンシフト発生時 実験中（NW不達によるUnhealthy） 結局、別AZで立ち上がらず
22. 実験結果（たまたま成功） 実験後（リバランス） 実験中（AZ片寄せ）
23. 実験結果
24. 補足・感想 障害回復後、基本的に自動で元に戻る タグをつけ忘れることが多い(反省) AuroraのAZの戻し忘れが多い(反省) ※再フェイルオーバは行われない FargateのAZ障害について実施方を知りたい
25. AWS Fault Injection Service シナリオもカスタマイズできる 何度も繰り返し実行できる ARCオートゾーンシフト・ECSのAZリバランス等 実際の動きも見られる 障害試験にオススメ
26. 障害試験はいつ実施していますか？ 総合試験時？ 運用中に「GameDay」実施していますか？ Well-Architected Framework REL12-BP05 定期的にゲームデーを実施する Game Day：障害・回復シナリオが必要
27. レガシーシステムの開発・運用 開発担当 ※年齢やスキルではなく、新システムに対する経験値
28. レガシーシステムの開発・運用 開発担当 ※年齢やスキルではなく、新システムに対する経験値
29. レガシーシステムの開発・運用 開発担当 運用担当 ※年齢やスキルではなく、新システムに対する経験値 いきなり GameDayは難しい
30. レガシーシステムの開発・運用 開発担当 運用担当 ※年齢やスキルではなく、新システムに対する経験値 いきなり GameDayは難しい シナリオ
31. レベルアップ！ FISで訓練！（GameDayを繰り返す）
32. システム レジリエンス向上 エンジニア レベルアップ まとめ
33. これからやるぞ！ という決意表明のLTでした まだ全く実践していません！ 偉そうなことを話してきましたが… 最後に
34. -Share your lessons-