Upgrade to Pro — share decks privately, control downloads, hide ads and more …

コンテナのトラブルシューティング目線から AWS SAW についてしゃべってみる

kazzpapa3
November 02, 2024

コンテナのトラブルシューティング目線から AWS SAW についてしゃべってみる

2024年11月2日に JAWS-UG 金沢支部と、JAWS-UG コンテナ支部の共同開催イベント「JAWS-UG金沢支部×コンテナ支部合同企画 物理コンテナ見ながらコンテナ勉強会!」( https://jawsug-kanazawa.connpass.com/event/325803/ )でお話しした時の資料です。

今年の3月に開催された AWS Expert Online で知って私が最近推しているソリューション AWS SAW について、コンテナのトラブルシュートの観点からご紹介しました。
#jawsug_kanazawa_ct

kazzpapa3

November 02, 2024
Tweet

More Decks by kazzpapa3

Other Decks in Technology

Transcript

  1. 4 はじめまして 名前︓市野 和明(いちの かずあき) 所属︓株式会社サーバーワークス MS 部 テクニカルサポート1課 好きな

    AWS サービス︓ AWS CLI (テクサポとして) 嫌いな AWS サービス︓ Amazon FSx for Windows AWS Deadline Cloud 趣味︓ミクが好き、酒を飲む @kazzpapa3
  2. 5 はじめまして 名前︓市野 和明(いちの かずあき) 所属︓株式会社サーバーワークス MS 部 テクニカルサポート1課 好きな

    AWS サービス︓ AWS CLI (テクサポとして) 嫌いな AWS サービス︓ Amazon FSx for Windows AWS Deadline Cloud 趣味︓ミクが好き、酒を飲む @kazzpapa3 JAWS-UG 神⼾の 運営もやってます
  3. 12 テクサポの中の⼈としての 恨みつらみ ベストプラクティス 以前、JAWS-UG 北陸新幹線 で登壇した際の資料が AWS テクニカルサポート内でプチバズりしたそうなのです。 私が普段サポート業務やってて思う、恨みつらみ

    もっとこうすればいいのに って思いを書いていますので、AWS に限らずなんらかのサポートに問い合わせ をするロールの⽅は⼀読いただけると嬉しいです。
  4. 14 ⾃⼰紹介 名前︓市野 和明(いちの かずあき) 元所属︓ヤマト運輸株式会社 在籍期間︓2002〜2008年 嫌いな時期︓ ・12⽉ 歳暮〜クリスマス〜おせち

    と絶え間なくイベントがある ・7⽉〜お盆前(中元) 好きなトラックメーカー︓いすゞ 在籍中の事故件数︓0 件
  5. 25 AWS Expert Online でも取り上げられていました このところの私の推しソリューション「AWS SAW」 正式名称は AWS Support

    Automation Workflows というそうです。 2024年3⽉13 に開催された AWS Expert Online でも取り上げられていました。 AWS の中の⽅が登壇・解説されているので、概要はここを⾒ればバッチリ https://www.youtube.com/watch?v=5vokZAudVIE
  6. 26 AWS Expert Online でも取り上げられていました このところの私の推しソリューション「AWS SAW」 正式名称は AWS Support

    Automation Workflows というそうです。 2024年3⽉13 に開催された AWS Expert Online でも取り上げられていました。 AWS の中の⽅が登壇・解説されているので、概要はここを⾒ればバッチリ https://www.youtube.com/watch?v=5vokZAudVIE まさかのご本⼈︕
  7. 27 AWS Expert Online でも取り上げられていました このところの私の推しソリューション「AWS SAW」 正式名称は AWS Support

    Automation Workflows というそうです。 2024年3⽉13 に開催された AWS Expert Online でも取り上げられていました。 AWS の中の⽅が登壇・解説されているので、概要はここを⾒ればバッチリ https://www.youtube.com/watch?v=5vokZAudVIE ご本⼈の前で少し⼼が折れそうですが、 やれるだけやってみます。 まさかのご本⼈︕
  8. 29 AWS SAW の概要 これまでに AWS サポートでお客様の課題を解決して得たベストプラクティスを もとに AWS サポートエンジニアリングによって作成されたもの

    そのため「AWS サポート」のサービスページの下層ページとして AWS SAW のページが⽤意されています。 AWS Support Automation Workflows (SAW) https://aws.amazon.com/jp/premiumsupport/technology/saw/
  9. 30 AWS SAW の概要 これまでに AWS サポートでお客様の課題を解決して得たベストプラクティスを もとに AWS サポートエンジニアリングによって作成されたもの

    そのため「AWS サポート」のサービスページの下層ページとして AWS SAW のページが⽤意されています。 AWS Support Automation Workflows (SAW) https://aws.amazon.com/jp/premiumsupport/technology/saw/ 実体は AWS Systems Manager Automation Runbook となっています。
  10. 33 AWS SAW ランブックの探し⽅② その他、実体が Systems Manager Automation Runbook であることから

    Systems Manager Automation runbook reference ページでも検索可能です。 https://docs.aws.amazon.com/systems-manager-automation- runbooks/latest/userguide/automation-runbook-reference.html
  11. 34 AWS SAW ランブックの探し⽅② その他、実体が Systems Manager Automation Runbook であることから

    Systems Manager Automation runbook reference ページでも検索可能です。 https://docs.aws.amazon.com/systems-manager-automation- runbooks/latest/userguide/automation-runbook-reference.html ただしこのページは Automation Runbook のリファレンスの総合 そのため AWS SAW ランブック以外のランブックも含まれている
  12. 35 AWS SAW ランブックの探し⽅② Systems Manager Automation runbook reference ページ内で

    ランブック名に「AWSSupport-」あるいは「AWSPremiumSupport-」の 接頭辞を持つランブックが AWS SAW ランブックに相当します。 AWSSupport-を接頭辞にもつランブックの例 AWSSupport-CheckXenToNitroMigrationRequirements AWSPremiumSupport-を接頭辞にもつランブックの例 AWSPremiumSupport-ChangeInstanceTypeIntelToAMD https://docs.aws.amazon.com/systems-manager-automation- runbooks/latest/userguide/automation-aws-changeinstancetypeinteltoamd.html https://docs.aws.amazon.com/systems-manager-automation- runbooks/latest/userguide/automation-awssupport- checkxentonitromigrationrequirements.html
  13. 36 AWS SAW ランブックの探し⽅② Systems Manager Automation runbook reference ページ内で

    ランブック名に「AWSSupport-」あるいは「AWSPremiumSupport-」の 接頭辞を持つランブックが AWS SAW ランブックに相当します。 AWSSupport-を接頭辞にもつランブックの例 AWSSupport-CheckXenToNitroMigrationRequirements https://docs.aws.amazon.com/systems-manager-automation- runbooks/latest/userguide/automation-awssupport- checkxentonitromigrationrequirements.html AWSPremiumSupport- 【注意点】 AWSPremiumSupport- の接頭辞を持つ ランブックの実⾏には プレミアムサポート※ のサポート契約が必要 ※ビジネスプラン、エンタープライズプラン AWSPremiumSupport-を接頭辞にもつランブックの例 AWSPremiumSupport-ChangeInstanceTypeIntelToAMD https://docs.aws.amazon.com/systems-manager-automation- runbooks/latest/userguide/automation-aws-changeinstancetypeinteltoamd.html
  14. 39 いずれの⽅法もいいのだが… ユースケースや、AWS サービスごとに確認しなければならず、 ⼀覧になっていないため少し探しにくい (進化の早い AWS では網羅的なページがないのはあるあるではありますが…) なので、⼀覧にしてみました。 AWS

    SAW(AWS Support Automation Workflows)というソリューションを知ったのでまとめてみ た https://blog.serverworks.co.jp/summary-about-aws-saw 上記のブログ執筆時には 65 の AWS SAW ランブックがあり、 2024年8⽉25⽇ に再度確認したところ 13個増えて 78 の AWS SAW ランブックを確認しました。
  15. 40 いずれの⽅法もいいのだが… ユースケースや、AWS サービスごとに確認しなければならず、 ⼀覧になっていないため少し探しにくい (進化の早い AWS では網羅的なページがないのはあるあるではありますが…) なので、⼀覧にしてみました。 AWS

    SAW(AWS Support Automation Workflows)というソリューションを知ったのでまとめてみ た https://blog.serverworks.co.jp/summary-about-aws-saw 上記のブログ執筆時には 65 の AWS SAW ランブックがあり、 2024年8⽉25⽇ に再度確認したところ 13個増えて 78 の AWS SAW ランブックを確認しました。 先ほど(11/2)に再確認したら、 80 個 に増えているようです︕
  16. 41 いずれの⽅法もいいのだが… ユースケースや、AWS サービスごとに確認しなければならず、 ⼀覧になっていないため少し探しにくい (進化の早い AWS では網羅的なページがないのはあるあるではありますが…) なので、⼀覧にしてみました。 AWS

    SAW(AWS Support Automation Workflows)というソリューションを知ったのでまとめてみ た https://blog.serverworks.co.jp/summary-about-aws-saw 上記のブログ執筆時には 65 の AWS SAW ランブックがあり、 2024年8⽉25⽇ に再度確認したところ 13個増えて 78 の AWS SAW ランブックを確認しました。 先ほど(11/2)に再確認したら、 80 個 に増えているようです︕ 結局、つねに 公式情報をウォッチし ておく必要あり
  17. 43 Amazon ECS 向け Amazon ECS - AWS Systems Manager

    Automation runbook reference https://docs.aws.amazon.com/systems-manager-automation- runbooks/latest/userguide/automation-ref-ecs.html
  18. 44 Amazon EKS 向け Amazon EKS - AWS Systems Manager

    Automation runbook reference https://docs.aws.amazon.com/systems-manager-automation- runbooks/latest/userguide/automation-ref-eks.html
  19. 45 ECS-1. AWSSupport-CollectECSInstanceLogs 指定された Amazon EC2 インスタンスから OS と ECS

    関連のログファイルを収集します 収集したログ整理⽤に、インスタンスに⼀時ディレクトリを作成します 関連するログファイルをこれらの⼀時ディレクトリにコピーします 収集したログをアーカイブファイルに圧縮します (オプション)指定がある場合、アーカイブを Amazon S3 バケットに アップロードします
  20. 46 ECS-2. AWSSupport-TroubleshootECSContainerInstance EC2 インスタンスのユーザーデータを確認して、 正しいクラスター情報が含まれていることを確認します EC2 インスタンスにアタッチされたインスタンスプロファイルに、 ECS 登録に必要な権限があるかどうかを確認します

    インスタンスがクラスターに参加できない原因となる可能性のある ネットワーク構成の問題を調べます EC2 インスタンスが ECS クラスターに登録するための 前提条件を満たしていることを確認します。 ⼀連のチェックを実⾏して、クラスター登録の成功を妨げる可能性のある ⼀般的な問題を特定します
  21. 47 ECS-3. AWSSupport-TroubleshootECSTaskFailedToStart ECS クラスターと失敗したタスクを分析して、 タスクの起動を妨げる⼀般的な問題を特定します タスクの起動が失敗する原因となる可能性のある以下の側⾯を調査します VPC およびネットワーク接続の問題 セキュリティ

    グループの構成 IAM 権限 AWS Secrets Manager シークレット (使⽤している場合) ログ記録の構成 実⾏後に、出⼒セクションにタスク失敗の理由の詳細な分析が表⽰されます。 さらに調査するために実⾏ログを⽣成します 該当する場合は、Lambda VPC Elastic Network Interface の 削除のステータスをチェックしてレポートします
  22. 48 EKS-1. AWSSupport-CollectEKSInstanceLogs EKS クラスターの⼀部である EC2 インスタンスから、 OS と Amazon

    EKS 関連のログファイルを収集します 収集したログを保存するために、インスタンスに⼀時ディレクトリを作成します 関連するログファイルをこれらの⼀時ディレクトリにコピーします 収集したログをアーカイブファイルに圧縮します (オプション)指定がある場合、アーカイブを Amazon S3 バケットに アップロードします。
  23. 50 EKS-3. AWSSupport-TroubleshootEKSWorkerNode 指定された EC2 ワーカーノードと EKS クラスターを分析して、 ノードがクラスターに参加できない原因となる⼀般的な問題を特定します ワーカーノードとクラスター構成に対して⼀連のチェックを実⾏します

    指定された EKS クラスターの存在とアクティブ状態を確認します 指定された EC2 ワーカーノードの実⾏状態を確認します ワーカーノードがクラスターに参加できない原因を特定するために Python スクリプトを実⾏します 特定された問題の解決に役⽴つガイダンスを含む出⼒を⽣成します
  24. 52 ECS、EKS ともに ログ収集、ECS クラスターへの登録失敗、タスクが失敗となるケースなど、 トラブルシュートの基本となる切り分けは⽤意されていると思われる EC2 で稼働するコンテナが対象(Fargate 起動は対象外) (Systems

    Manager を通じて操作をすることを考えると致し⽅ないか…) トラブルシュートの王道パターンは⽤意されているかと思われるため 事象発⽣時の初動対応⼿順を、運⽤者(=利⽤者)で作成しなくても AWS が標 準化してくれている、という捉え⽅もできるのでは︖
  25. 56 余談 構内作業であれば、何トンのコンテナでも運べます︕と⾔いましたが… フォークリフトに関する資格は2種類 フォークリフト運転特別教育修了証 フォークリフト運転技能講習修了証 ・最⼤荷重が 1トン未満まで ・最⼤荷重 1トン以上

    公道を⾛る場合は相応の運転免許は必要ですが、 構内作業の場合の最⼤荷重のしきい値が1トン、というのは極端な気がしますね 公道では、⼩型特殊⾃動⾞免許あるいは普通⾃動⾞免許のいずれか or ⼤型特殊⾃動⾞免許 が必要
  26. 57 余談 構内作業であれば、何トンのコンテナでも運べます︕と⾔いましたが… フォークリフトに関する資格は2種類 フォークリフト運転特別教育修了証 フォークリフト運転技能講習修了証 ・最⼤荷重が 1トン未満まで ・最⼤荷重 1トン以上

    公道を⾛る場合は相応の運転免許は必要ですが、 構内作業の場合の最⼤荷重のしきい値が1トン、というのは極端な気がしますね 公道では、⼩型特殊⾃動⾞免許あるいは普通⾃動⾞免許のいずれか or ⼤型特殊⾃動⾞免許 が必要 40 ft コンテナで考えた場合… コンテナ⾃⾝の⾃重︓約 4,000 kg 最⼤総重量︓30,480kg(ISO規格の最⼤総重量) 最⼤ 31 トンのコンテナでひっくり返らないサイズの⾞輌ってめっちゃデカくない︖
  27. 58 余談 構内作業であれば、何トンのコンテナでも運べます︕と⾔いましたが… フォークリフトに関する資格は2種類 フォークリフト運転特別教育修了証 フォークリフト運転技能講習修了証 ・最⼤荷重が 1トン未満まで ・最⼤荷重 1トン以上

    公道を⾛る場合は相応の運転免許は必要ですが、 構内作業の場合の最⼤荷重のしきい値が1トン、というのは極端な気がしますね 公道では、⼩型特殊⾃動⾞免許あるいは普通⾃動⾞免許のいずれか or ⼤型特殊⾃動⾞免許 が必要 40 ft コンテナで考えた場合… コンテナ⾃⾝の⾃重︓約 4,000 kg 最⼤総重量︓30,480kg(ISO規格の最⼤総重量) 最⼤ 31 トンのコンテナでひっくり返らないサイズの⾞輌ってめっちゃデカくない︖ 重量物を取り扱う⾞輌の周辺を通る時はくれぐれも気をつけて︕