EC2が起動しない！？～意外なアレが原因でした～

EC2が起動しない！？～意外なアレが原因でした～

Transcript

1. EC2が起動しない！？ ～意外なアレが原因でした～ 北川 卓図 (X:@zukutakuzu)
2. 自己紹介
 【経歴】 SIer2社経験 AWS,Azure問わず 提案、要件定義、設計構築、移行案件に従事 terraform CI/CD やっていきたい 【好きなAWSサービス】
3. はじめに 今回のLTの内容は個人的に検証し判明した事象となります。 特定の環境での挙動を指すわけではありませんのでご了承ください。
4. 事の発端 実行中にならん

5. 考えられる原因 # 考えられる原因 詳細 今回のケースだと 1. ディスク使用率が 100% • ログ出力などをEC2内部に 行っている • ログローテートや定期的な削 除を行っていない • 作りたてのEC2 • 特にミドルウェアも入れていない のでログが増える要素がない 2. IAMユーザーに EC2を起動する権 限が付与されてい ない • IAMユーザーの権限はIAM ポリシー/IAMロールで制御 • IAMポリシーにEC2を起動す る権限が記載されておらず、 EC2が起動できない • IAMユーザーに ec2:StartInstancesはアタッチさ れていた • 同じ権限を付与している別のユー ザーが数日前に再起動できたと 言っていた 以下のような原因が考えられますが、今回のケースには合致しませんでした。
6. 早速ですが原因 暗号化 { "Version": "2012-10-17", "Id": "key-default-1", "Statement": [ { "Sid": "Enable IAM User Permissions", "Effect": "Allow", "Principal": { "AWS": "xxxx" }, "Action": "kms:ListKeys", "Resource": "*" } ] } IAMロール KMSキーポリシーでkms:Decryptが許可されていなかった
7. 再起動と停止→起動の違い # 起動方法 ホストコンピューター インスタンスストアボリューム 1. 再起動 インスタンスは、同じホストコン ピュータで保持される データは保持される 2. 停止→起動 インスタンスは新しいホストコン ピュータに移動されます (ただし、場 合によっては、インスタンスが現在 のホストに残ることもあります) 。 データは保持されない インスタンスのライフサイクル - Amazon Elastic Compute Cloud
8. まとめ • 多種多様なxxxポリシーがある。 ◦ IAMポリシーは問題なくてもxxxポリシーは問題ないかなど考える癖をつける。 • 切り分け調査を積極的にやる。 ◦ xxxさんが再起動だと起動したと言っていた。 ◦ terraformで同じコードでもう一つEC2作ってみたらどうなるか。 ▪ EC2が作成後すぐ停止状態になった。 ▪ terraformコードに書かれている内容に問題がある。 ▪ KMSキーポリシーの記述発見。 • IaCは正義 ◦ コード化していたことで、すぐに切り分け調査が行え、原因究明までの時間が短縮できた。 ◦ マネージドコンソールから一つ一つ確認していくしかなかったとしたら、、、原因に辿りつかな かったかも。