Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Notion x ポストモーテムで広げる組織の学び / Notion x Postmortem
Search
Isao Shimizu
April 24, 2025
Technology
1
230
Notion x ポストモーテムで広げる組織の学び / Notion x Postmortem
2025/04/24 ポストモーテムを実践へ ─学びを組織に定着させるには─
https://findy-tools.connpass.com/event/350544/
Isao Shimizu
April 24, 2025
Tweet
Share
More Decks by Isao Shimizu
See All by Isao Shimizu
New Relicを活用したSREの最初のステップ / NRUG OKINAWA VOL.3
isaoshimizu
3
970
「家族アルバム みてね」における運用管理・ オブザーバビリティの全貌 / Overview of Operation Management and Observability in FamilyAlbum
isaoshimizu
5
510
約10年間MIXIのインフラを 支えてきたPagerDutyの活用事例 / PagerDuty on Tour 2024
isaoshimizu
6
1.2k
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
2
1.8k
家族アルバム みてねで直面してきた技術的負債 / MIXI KAG 2024
isaoshimizu
18
9k
今年1年のEKS運用振り返り/3-shake SRE Tech Talk
isaoshimizu
2
380
ポストモーテムの基礎知識と最新事例 / Fundamentals of Postmortem
isaoshimizu
11
3.1k
全世界1,800万人が利用する「家族アルバム みてね」におけるNew Relic活用法 / FutureStack Tokyo 2023
isaoshimizu
1
580
『家族アルバム みてね』で計測しているSLIの事例 / SLI as measured in FamilyAlbum
isaoshimizu
4
790
Other Decks in Technology
See All in Technology
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
18k
AI時代にも変わらぬ価値を発揮したい: インフラ・クラウドを切り口にユーザー価値と非機能要件に向き合ってエンジニアとしての地力を培う
netmarkjp
0
130
Transformerを用いたアイテム間の 相互影響を考慮したレコメンドリスト生成
recruitengineers
PRO
2
430
AWS CDK 入門ガイド これだけは知っておきたいヒント集
anank
5
750
“日本一のM&A企業”を支える、少人数SREの効率化戦略 / SRE NEXT 2025
genda
1
270
今だから言えるセキュリティLT_Wordpress5.7.2未満を一斉アップデートせよ
cuebic9bic
2
170
ロールが細分化された組織でSREは何をするか?
tgidgd
1
420
Amplify Gen2から知るAWS CDK Toolkit Libraryの使い方/How to use the AWS CDK Toolkit Library as known from Amplify Gen2
fossamagna
1
350
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
3
300
AI エージェントと考え直すデータ基盤
na0
20
7.9k
SREの次のキャリアの道しるべ 〜SREがマネジメントレイヤーに挑戦して、 気づいたこととTips〜
coconala_engineer
1
4.3k
United™️ Airlines®️ Customer®️ USA Contact Numbers: Complete 2025 Support Guide
flyunitedguide
0
800
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
A Modern Web Designer's Workflow
chriscoyier
695
190k
GitHub's CSS Performance
jonrohan
1031
460k
Making Projects Easy
brettharned
116
6.3k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
282
13k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
750
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Designing Experiences People Love
moore
142
24k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Transcript
©MIXI Notion x ポストモーテムで 広げる組織の学び 株式会社MIXI みてね事業本部 みてねプラットフォーム部 清⽔ 勲
@isaoshimizu
2 ©MIXI About me • New Relic User Group 運営メンバー
• AWS Summit Tokyo 2014/2019、SRE NEXT 2020/2022、その他SRE関連勉強会に多数登壇 • 技術評論社「Software Design」寄稿、オライリー‧ジャパン「SREをはじめよう」翻訳レビュー • 週末は社会⼈吹奏楽団での活動(楽団⻑、担当楽器はトロンボーン)、キャンプとクラフトビールが好き 清⽔ 勲 (X: @isaoshimizu) 株式会社MIXI みてね事業本部 みてねプラットフォーム部 部⻑(SRE/CRE/セキュリティ領域) SIer時代(受託‧⾃社開発) SNS「mixi」 モンスター ストライクなど 家族アルバム みてね 2003年 2011年 2014年 2018年 2025年 新卒⼊社 ミクシィ(現MIXI)⼊社 C/C++/C#/PHP/Python/iOS/AWS Fedora/MySQL/LXC/ OpenStack Linux/MySQL/Ruby AWS/MySQL/Ruby 2022年1⽉〜EM おもに関わった技術
©MIXI 家族アルバム みてね について簡単に紹介
家族アルバム みてねはスマホで撮った⼦どもの写真や動画を家族と共有し、 コミュニケーションして楽しむ家族アルバムサービスです。
ビジネスモデル ⼦どもや家族を中⼼に、より⼦育てが楽しく、安⼼‧安全につながるサービスを提供。
家族アルバム みてねの利⽤者数推移 2015年にリリース。7⾔語‧175の国と地域で2,500万⼈以上の⽅にご利⽤いただいています。 2015 20,000,000 15,000,000 10,000,000 5,000,000 0 2016
2017 2018 2019 2020 2021 2022 国内 海外 ※ iOS‧Android™ アプリ登録者数、ブラウザ版登録者数の合計 2023 2024 25,000,000 2025年4⽉時点 2025.4
©MIXI Notion x ポストモーテムで広げる組織の学び
8 ©MIXI ポストモーテム どんなときに作る? • ユーザーに影響のあるシステム障害、バグが発⽣した時 • 障害の規模によって作らないケースもある • ユーザーに影響はないがミスや失敗をした時
• たとえば開発環境や分析環境でのトラブル、オペレーションミスなど • 障害には⾄らなかったが⾼負荷を乗り切った記録として残すことも どこに作る? • Notionのポストモーテムページ • 以前は別のドキュメントツール(DocBase) • 直近2年くらいはNotionで管理
©MIXI ポストモーテムにおけるNotionの活⽤
10 ©MIXI ポストモーテムにおけるNotionの活⽤ Notionのテンプレートを活⽤ • ボタン⼀つでテンプレートに沿ったページを作成 • あらかじめ⽤意された項⽬や説明に従って書いていく Notion AIによるサマリ作成
• ページの上部にAIサマリのエリアを設置 • 原因や再発防⽌、タイムラインなどの記載内容から⾃動的にサマリを作成 • プロンプトは「このページの要約を3⾏程度でまとめる」 Notion AIによる検索 • たとえば「直近1ヶ⽉間のポストモーテムどんなものがあったかまとめてください」 • 障害対応Slackチャンネルのやりとりの要約
11 ©MIXI ポストモーテムNotionページのテンプレート • AIサマリ(以下の情報から3⾏にまとめた要約を⾃動⽣成) • 影響(ユーザー影響‧収益への影響‧CSへの影響‧etc..) • 発⽣要因(問題が発⽣するきっかけとなった要因) •
根本原因(問題が発⽣しうる状態になった原因) • 検知(問題が発⽣したことに気付いた経緯) • 暫定対応(発⽣した問題に対する暫定対応) • 再発防⽌策(詳細は次ページに記載) • 教訓 • うまくいったこと • うまくいかなかったこと • 幸運だったこと • タイムライン
©MIXI 再発防⽌で意識していること
13 ©MIXI 再発防⽌の基本 ⾮難しない(blameless) • ⼈間ではなくシステムに注⽬する • ⼼理的安全性(⾮難によって正直に話せなくなってしまわないように) ⼈間は修正できない •
⼈為的ミスを根本原因としない • 仕組み、プロセスを改善する事が⼤事 • 「気をつける」「注意深くレビューをする」「複数⼈でチェックする」は避ける • ⼈は誰でも間違いを犯す
14 ©MIXI 再発防⽌欄の項⽬ 予防 • 障害の再発をポジティブに防ぐにはどうしたらよいか 検出 • 同様の障害を正確に検出するまでの時間を減らすにはどうするべきか 緩和
• 次回この種の障害が起きたときの深刻度や影響度の%を減らすにはどうしたらいいか 修正 • 次回障害が検出されたときにどうすればより速く回復できるか の観点で考えられるとより良い再発防⽌策となる
©MIXI ポストモーテムの活⽤
16 ©MIXI ポストモーテムの活⽤ • Notionのポストモーテムのページは事業部の最上位に配置 • 事業に関わるすべての⼈が追加‧閲覧可能 • エンジニアにかかわらず誰でも書いてよい •
⼊社したメンバーが過去のポストモーテムから学ぶ機会にもつながる • 作成したポストモーテムはSlackのgeneralチャンネル(すべての⼈がいるチャン ネル)でも共有する • 毎週のエンジニア交流会で直近のポストモーテムを共有できる機会がある • この会では、全エンジニアが集まり、業務連絡やTips共有をしている
17 ©MIXI 階層とポストモーテムのリスト
©MIXI 障害対応におけるNotion活⽤
19 ©MIXI 障害対応におけるNotion活⽤ 障害対応ポータルページを⽤意。随時⼿順を追加。いわゆるRunbook。 アラート通知に紐づけて対応⼿順がすぐわかるように⼯夫。
©MIXI まとめ
21 ©MIXI まとめ • 「⾮難しない」前提がないとポストモーテムはうまくいかない • ⾮難があると学びを得られない • ⼈間の能⼒に頼った再発防⽌にしない •
プロセスや仕組みを考える • ポストモーテムの情報は学びの宝庫 • 新しいメンバー、既存メンバーにとっても価値のある情報 • Notionはナレッジベースとして活⽤するのにとても便利 • テンプレートをうまく活⽤して作成の⼿間を減らす • Notion AIを活⽤して⼿間を減らす、理解を促進させる
©MIXI