BASEにおける インシデント対応フローと工夫

インシデントマネジメント 事態収拾のための取り組みに迫る Lunch LT の登壇で使用したスライドです
https://findy.connpass.com/event/309400/

Transcript

1. インシデントマネジメント 事態収拾のための取り組みに迫る Lunch LT 2024/02/21 @02 BASEにおける インシデント対応フローと工夫
2. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy BASE BANK チーム 02 大津 和槻 ：@cocoeyes02 2021/02~ BASE, Inc. 自己紹介 登壇 執筆 登壇応援中！
3. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy BASEとは？ 3 コンセプト： 誰でも簡単に使える ネットショップ作成サービス • 商品・注文管理 • ショップデザイン • 顧客情報管理 　　　などを行うショップオーナー向け機能 + • 商品検索 • 決済・注文（カート） 　　　などを行う購入者（カスタマー）向け機能 ネットショップ作成サービス「BASE」
4. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy 最初に全体のフローについて話し、 それから各工程の工夫を お話しします 4 今回のトークでは
5. BASEにおける インシデント対応フロー
6. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy BASEにおける インシデント対応フロー インシデント発生! 6 障害発生検知 プレモーテム 復旧対応 再発防止・ クロージング
7. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy BASEにおける インシデント対応フロー インシデント発生! 7 障害発生検知 プレモーテム 復旧対応 再発防止・ クロージング
8. 障害発生検知
9. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy 障害発生検知 9 インシデントが発生した時には、インシデントチャンネルを作成します。 情報集約のため、インシデントチャンネル内でインシデント対応のやり取りをします。 また、インシデントチャンネルを作成すると、 自動でインシデントチャンネルにinviteする社内Slack botがあります。 どんなインシデントが起こっているかリアルタイムで知りたい人が多かったため、誕生しま した。
10. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy 障害発生検知 10 例） 2/5のインシデントチャンネルに 自動でinviteされている
11. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy 障害発生検知 11 例） 2/5のインシデントチャンネルに 自動でinviteされている
12. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy BASEにおける インシデント対応フロー インシデント発生! 12 障害発生検知 プレモーテム 復旧対応 再発防止・ クロージング
13. プレモーテム
14. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy プレモーテム 14 最初に同期的にオンラインで口頭で対応方針のすり合わせをします。 リモートワークであっても、Slack ハドルやGoogle Meetなどで関係者が集まり、 すり合わせをしています。 他にも、インシデントコマンダー（インシデントの情報集約や意思決定をする人）や インシデントの重大度を決めます。 インシデントの重大度によって、主担当となる組織や責任範囲が変わってくるため、 プレモーテムの段階で決めます。 例）以下のインシデントでは、主担当となる組織や責任範囲は全く違う - ユーザの利益に影響がない軽微なインシデント - 信頼失墜に関わるセキュリティインシデント
15. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy BASEにおける インシデント対応フロー インシデント発生! 15 障害発生検知 プレモーテム 復旧対応 再発防止・ クロージング
16. 復旧対応
17. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy 復旧対応 17 インシデントコマンダーの指示のもと、それぞれ対応に当たります。 また、プレモーテムで決めたインシデントの重大度に対応したToDoリストが、 インシデントレポートに自動生成されます。 ToDoリストには、アクション、担当者、対応済 / 否のチェックボックスがあります。 アクション例) - インシデントレポートを作成する、インシデントコマンダーを決める - ユーザ告知の範囲や内容を決める、告知する、ヘルプページを作成する - 復旧対応を実施する、関係者を召集して再発防止案を考える / 実施する など...
18. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy BASEにおける インシデント対応フロー インシデント発生! 18 障害発生検知 プレモーテム 復旧対応 再発防止・ クロージング
19. 再発防止・クロージング
20. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy 再発防止・クロージング 20 再発防止策を考えて実施するため、ポストモーテムをやります。 すぐ決められそうだったらインシデントチャンネルにて、 しっかり話して決める必要があれば別途MTGでポストモーテムを行っています。 インシデントのクローズはCTOが行います。 インシデントレポートの記述が不十分だとクローズできないので、以下のような観点を 気にしながら記入します。 - インシデント発生〜終息までの時系列や、原因について不足なく書かれている - 暫定的でも復旧対応が完了している - 妥当な再発防止策を考えた上で、実施済みである
21. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy ブログもぜひ！ 21 - マルチステークホルダー時代の障害対応フロー - https://devblog.thebase.in/entry/2023/05/29/170154 - インシデント対応入門 〜初動フェーズ編〜 - https://devblog.thebase.in/entry/2023/12/02/110000 - なぜ我々はsession.cookieを変更しなければならなかったのか - 過去に起きたインシデントのレポートを外部向けに公開したブログ - https://devblog.thebase.in/entry/2022/04/13/114714
22. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy 最後に 22 フローの整備にあたり、有志で書かれた社内ドキュメントも参考にされました。 →02が書いた インシデント対応入門 〜初動フェーズ編〜 もその1つ トップダウン・ボトムアップ両方のアプローチがあり、今に至っています。 インシデント対応だけでなく、フローの整備も全員でやっていきましょう！
23. © 2012-2024 BASE, Inc. #インシデント マネジメント_findy 最後に バックエンド エンジニア SRE フロントエンド エンジニア セキュリティ エンジニア QA エンジニア データ エンジニア etc… We are hiring! https://binc.jp/jobs