Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20241024_an_real_horror_story_for_for_engineer
Search
snowwhite
October 25, 2024
0
58
20241024_an_real_horror_story_for_for_engineer
2024年10月24日に実施しました、「本当にあった恐怖物語、エンジニア編」の登壇資料です。
snowwhite
October 25, 2024
Tweet
Share
More Decks by snowwhite
See All by snowwhite
20250601_storage_and_bigdate_JAWS
yuri_snowwhite
1
51
250226_SecurityJAWS
yuri_snowwhite
2
640
20250521 yumemi_grow _ finatext
yuri_snowwhite
2
260
JAWS-UG IoT_Switchbot Notify To Discord
yuri_snowwhite
1
590
Security.Any #2
yuri_snowwhite
1
120
20240712_JAWSUG-FUKUOKA_Cloudgirl
yuri_snowwhite
0
71
2024/05/23_SecurityJAWS登壇
yuri_snowwhite
1
840
20240414_cloudgirl_ec2_costdown
yuri_snowwhite
1
150
2024_storageJAWS_EBSonLVM_created
yuri_snowwhite
0
320
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Writing Fast Ruby
sferik
628
61k
Balancing Empowerment & Direction
lara
1
340
The Invisible Side of Design
smashingmag
299
51k
Typedesign – Prime Four
hannesfritz
42
2.7k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
Faster Mobile Websites
deanohume
307
31k
Fireside Chat
paigeccino
37
3.5k
Transcript
本当にあった怖い話 ~何処へ消えた本番環境~ 2024.10.24 株式会社ゆめみ 白"雪姫"
自己紹介 • 砂岡 雪 a.k.a 白"雪姫" ◦ 雪(さん・ちゃん)もしくは、しらゆきでよんでもらっている • 2023年8月入社
◦ セキュリティとネットワークのお姉さん ◦ AWSの認定資格もいくつか保有(CLF/SAA/SAPro/ANS/SCS) • 入社まで ◦ 決済システムの業界で10年弱受託案件によるインフラ設計・ 保守・構築を実施していた • ブログ&X ◦ X→ @yuri_snowwhite ◦ ブログ→ http://d.hatena.ne.jp/kohaku_kageroh/ ↑ 余談:本人画像 を生成AIで学生 ・2次元化
突然ですが質問 です 本番環境が突然消えたことありません か?
私はあります!! • 同時進行で進んでた案件が2件 ◦ このうち1件のために、某県のデータセンターへ 車で出張していた。 ◦ 同時進行で進めていたもう 1件の会社側の方の担当者からひっきりなしに電話が来る。 •
電話が来てた理由は・・・・? ◦ 突然サイトが表示されなくなったんだけど ?!?! ◦ サイト更新したいから早く復旧して !!
何が起きてたの? • 当時使っていたVMインスタンスが削除されていた ◦ VMの管理コンソールにログインしたところ「停止」ではなく「 終了」となっていた。 ▪ つまり、削除されていた。。。。バックアップから戻すか・・・
これで終わりじゃ無かった!
スナップショットバックアップが無い データバックアップシェルが動いてない (負荷対策で止めてくれと頼まれていた )
ないないづくしでどうする?!?!
片道2時間の運転 (往復後)に徹夜で直す事に • やったこと ◦ OSの初期設定 <1時間> ◦ ミドルウェアの設定 <1時間> ◦
当時使っていたCMSのインストール <2時間半 > ◦ お客様が使ってたテーマの導入 <1時間半> ◦ お客様が持ってる過去データ導入 <3時間> 合計8時間かかって復旧!!!
教訓 • データバックアップはちゃんと取りましょう • リカバリテストもしておこうね! • 復旧できる手順をまとめておこう!
ご静聴ありがとうございました