ポストモーテムの基礎知識と最新事例 / Fundamentals of Postmortem

2023/10/20 ゆるSRE勉強会 #2
https://yuru-sre.connpass.com/event/293783/

Transcript

1. ©MIXI ポストモーテムの 基礎知識と最新事例 2023/10/20 ゆるSRE勉強会 #2 Vantageスタジオ みてねプロダクト開発部 基盤開発グループ 清⽔ 勲
2. ©MIXI About me 清⽔ 勲 @isaoshimizu 2011年〜 株式会社ミクシィ（現MIXI） • 2011年8⽉〜 SNS「mixi」運⽤エンジニア • 2014年4⽉〜 モンスターストライク SRE • 2018年2⽉〜 家族アルバム みてね SRE • 2022年1⽉〜 SREグループ マネージャー • 2023年4⽉〜 基盤開発グループ マネージャー • 週末は社会⼈吹奏楽団での活動（楽団⻑、トロンボーン約30年、たまに指揮者）。 キャンプとクラフトビールが好き。 • New Relic User Group 運営
3. ©MIXI ポストモーテム書いてますか？
4. ©MIXI 今年1回以上 ポストモーテムを書いた⼈！ （挙⼿）
5. ©MIXI 改めてポストモーテムの基礎知識
6. ©MIXI ポストモーテムの基礎知識 post-mortem 1) a medical examination of a dead person's body in order to find out the cause of death: 2) a discussion of an event after it has happened, especially of what was wrong with it or why it failed: 2)における例⽂ After we lose a game, there's usually a post-mortem over a few beers. https://dictionary.cambridge.org/dictionary/english/post-mortem
7. ©MIXI ポストモーテムの基礎知識 l ポストモーテムとは、想定外のインシデントが発⽣した後に書かれる内部向けの報告書、振 り返りのこと l ⾮難をしないこと l 再度同じ問題を起こさないように、根本となる原因を突き⽌め、再発防⽌をおこないます l インフラやサーバーのトラブルにおいてよく⽤いられますが、どんな問題においてもポスト モーテムを作り、振り返り、再発防⽌を⾏うことで学びとなり、信頼性を⾼めることにつな がります l インフラ障害対応とポストモーテム（以前私が書いた記事） https://mixi-developers.mixi.co.jp/fault-handling-and-postmortem-6f46547b9b13
8. ©MIXI おすすめの動画 SRE NEXT 2020での⼭⼝さんの発表 「サイト信頼性エンジニアリングの原則」 におけるポストモーテムの箇所 （後半5分くらい） https://www.youtube.com/watch?v=5tkQ_LexR2w
9. ©MIXI ポストモーテムの運⽤
10. ©MIXI ドキュメントのテンプレートを作ろう
11. ©MIXI ポストモーテムの構成例 l タイムライン l 障害内容 l 影響 l 原因 l 対応 l 再発防⽌策 l その他
12. ©MIXI 再発防⽌策 l 予防：障害の再発をポジティブに防ぐにはどうしたらよいか l 検出：同様の障害を正確に検出するまでの時間を減らすにはどうするべきか l 緩和：次回この種の障害が起きたときの深刻度や影響度の％を減らすにはどうしたらいいか l 修正：次回障害が検出されたときにどうすればより速く回復できるか テンプレートにこれらを書いておき、再発防⽌策を考える際のヒントとなるようにしてます （先ほど紹介したYouTubeの動画内でこのあたり詳しく触れられています）
13. ©MIXI 家族アルバム みてねにおけるポストモーテム運⽤ Notionで運用。組織全体の階層にテンプレートがあります。
14. ©MIXI 家族アルバム みてねにおけるポストモーテム運⽤ 今年の4⽉以降Notionで起票されたポスト モーテムの⼀覧（22件） エンジニアが作成することが多いが、エン ジニア以外のメンバーが起票することもあ る。 インフラだけじゃなく、モバイルアプリケ ーションやオペミスなど対象は様々。 みてねでポストモーテムの運⽤が始まった のは2019年（障害報告という名前で運⽤が 始まったのは2016年） 秘
15. ©MIXI 書いて終わりにしない 共有する・みんなで読む・学ぶ
16. ©MIXI 世の中に公開されている ポストモーテムを読もう
17. ©MIXI https://github.com/danluu/post-mortems Dan Luuというエンジニアによる 各社のポストモーテムまとめ Amazon、Google、Heroku、Microsoft、Facebookなどが 作成したポストモーテムへのリンクがされている 最初のcommitは2015/8/3。最初は10件ほど。
18. ©MIXI 最近のポストモーテムを 1つピックアップ
19. ©MIXI https://www.honeycomb.io/blog/incident-review-what-comes-up-must-first-go-down
20. ©MIXI Honeycomb社のオブザーバビリティプラットフォームにおける障害 l 「Incident Review: What Comes Up Must First Go Down」 l 2023年7⽉25⽇、13:40〜14:48 (UTC) まで影響があった l The incident、Analysis、Conclusionの3つの⼤項⽬ l 発⽣: MySQLのデッドロックが発⽣、クエリキャッシュもなくなり過負荷となった。フィー チャーフラグを切り替えてバグを回避しようとしたが、停⽌されるはずのホストが停⽌され ず、完全な再起動が必要に。この不具合はずっと存在していたが気づかないものだった。 l 是正措置: キャッシュの強化、新しいスキーマで更新クエリの競合を減らす、パフォーマン スとコストを安定させる⽅法を検討 https://www.honeycomb.io/blog/incident-review-what-comes-up-must-first-go-down
21. ©MIXI さいごに l⾮難のないポストモーテムを広げていく lいろんな⼈の⽬に触れられるポストモーテムを⽬指す lポストモーテムからの学びによってさらなる成⻑に