Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWS re:Invent 2024 re:Cap AZ障害に対応する

Kota Sasaki
January 13, 2025
0

AWS re:Invent 2024 re:Cap AZ障害に対応する

Kota Sasaki

January 13, 2025
Tweet

Transcript

  1. © NEC Corporation 2024 NEC Group Internal Use Only 2

    自己紹介 ◼ 佐々木 航太(Kota Sasaki) NECソリューションイノベータ株式会社 シニアプロフェッショナル 好きなサービス:Lambda、AppSync、CloudFormation AWS Ambassador 2024 Japan AWS TopEnginer 2024/2022/2021 Japan AWS All Certifications 2024 #40歳 #稚内出身 #野球 #AWS歴10年 #ネットワーク #セキュリティ #新製品好き #Soracom
  2. © NEC Corporation 2024 NEC Group Internal Use Only 6

    re:invent 2024 in ハワイ ハワイ経由のメリット ・時差ボケが少ない、フライト時間が7時間、6時間で体に優しい ・飛行機代がお安め(ラスベガス往復で20万円ぐらい) ・ご飯が美味しい ・Wifiが無料で使いたい放題!Youtubeも見れる。
  3. © NEC Corporation 2024 NEC Group Internal Use Only 7

    re:invent 2024 in ハワイ まだ再開してないんですー来年までに航路再開を!!!
  4. © NEC Corporation 2024 NEC Group Internal Use Only 8

    re:invent 2024 in ラスベガス
  5. © NEC Corporation 2024 NEC Group Internal Use Only 9

    re:invent 2024 in ラスベガス
  6. © NEC Corporation 2024 NEC Group Internal Use Only 10

    re:invent 2024 in ラスベガス
  7. © NEC Corporation 2024 NEC Group Internal Use Only 11

    re:invent 2024 in ラスベガス
  8. © NEC Corporation 2024 NEC Group Internal Use Only 12

    re:invent 2024 in ラスベガス
  9. © NEC Corporation 2024 NEC Group Internal Use Only 13

    re:invent 2024 in ラスベガス 歩いた距離数(12月1日ー12月7日) 154185 154,185歩 113km
  10. © NEC Corporation 2024 NEC Group Internal Use Only 15

    AZ障害に対応する https://aws.amazon.com/jp/message/56489/ 要約 2019年8月23日(金)に東京リージョンの単一AZでEC2とEBSに障害が発生した。 (実際にはRDSやWorkSpacesやALBにも障害が発生)
  11. © NEC Corporation 2024 NEC Group Internal Use Only 16

    AZ障害に対応する https://www.itmedia.co.jp/news/articles/1908/28/news127_2.html その時の対応策の一部として、ALBから当該のAZを 切り離す対応が有効という情報があり、 切り離そうとしたが、東京リージョンのAZが3つ になったタイミングは2018年だったこともあり、 2AZで運用しているものも多く切り離せなかった。
  12. © NEC Corporation 2024 NEC Group Internal Use Only 17

    AZ障害に対応する https://aws.amazon.com/jp/blogs/news/rapidly-recover-from-application-failures-in-a-single-az/ マネコンやCLIなどで特定の時間、特定のAZを 切り離すことができるようになった。 ※クロスリージョン負荷分散をOFFにする ことが条件
  13. © NEC Corporation 2024 NEC Group Internal Use Only 18

    AZ障害に対応する この場合の問題点 ・ALBを使ってる必要があった。 (Route53で切り替える方法もあるが構成が豪華) ・切り離す動作だけなので、サーバは冗長構成にしておくか、 障害時に起動する必要があった。 ・負荷分散している場合はリクエストが片方によってしまう。 (負荷に耐えきれない、または手動で起動する必要があった。)
  14. © NEC Corporation 2024 NEC Group Internal Use Only 20

    AZ障害に対応する https://aws.amazon.com/jp/blogs/news/amazon-ec2-auto-scaling-jp/ 注意 障害時の時はリソース枯 渇で起動しない場合がある から注意
  15. © NEC Corporation 2024 NEC Group Internal Use Only 21

    AZ障害に対応する https://aws.amazon.com/jp/blogs/news/amazon-ec2-auto-scaling-jp/
  16. © NEC Corporation 2024 NEC Group Internal Use Only 23

    まとめ ・ラスベガスにはホノルル経由かつハワイアン航空 でいきましょう!