Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
1人目の専任SREがポストモーテム文化を改善したらエンジニア以外にも広まり、 他部門との連携も...
Search
tk3fftk
September 13, 2023
Technology
4.8k
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
1人目の専任SREがポストモーテム文化を改善したらエンジニア以外にも広まり、 他部門との連携も強化された話+
https://findy.connpass.com/event/294084/
tk3fftk
September 13, 2023
Transcript
29 slides
1人目の専任SREがポストモーテム文化を 改善したらエンジニア以外にも広まり、 他部門との連携も強化された話+ 株式会社primeNumber エンジニアリング本部 SRE Hiroki Takatsuka (@tk3fftk) ポストモーテムLT
#2 1
目次 • 自己紹介とtrocco®の紹介 • primeNumberにあったポストモーテム文化 • どのような改善を行ったか • 結果として目に見える成果に繋がったもの •
まとめ 2
先に今日の発表のまとめ 3 • primeNumber社のポストモーテム文化を改善しました💪 • ポイントをふりかえると以下の2点に集約されそうです🙏 • まずは教科書通りに忠実にやる ◦ 守破離の「守」をやるイメージ
◦ 教科書は原典(GoogleのSRE本)にあたること • 組織で自走できる文化ができるまでは啓蒙・推進活動を積極的に行う ◦ 具体的にはポストモーテム作成、ふりかえりの設定とファシリテーター ◦ あれはよいものだ、と認識してもらえると担当者でやろうというムーブになっていく、はず
目次 • 自己紹介とtrocco®の紹介 • primeNumberにあったポストモーテム文化 • どのような改善を行ったか • 結果として目に見える成果に繋がったもの •
まとめ 4
髙塚 広貴 (Hiroki Takatsuka) 株式会社primeNumber エンジニアリング本部 SRE 5 • ヤフー株式会社
(2016 ~ 2022) ◦ CI/CDプラットフォーム Screwdriver.cd の SREチームのEMやスクラムマスターなど • 株式会社primeNumber (2022 ~ ) ◦ trocco®のSRE ◦ SREチームは現在2名 + 業務委託の方数名 • 猫 ◦ アル (アビシニアン ♂ 3歳半)
trocco®とは 6 フルマネージド ETL/ELT 日本特有のサービスを含めた、約100種のコネクタに対応 データ分析基盤のための技術スタックを提供するサービスです。 GUI ワークフロー 複雑なデータ処理フローを GUI
上で設定・運用 データマネジメント機能 データリネージ / Git 連携・コード管理 / スキーマ追従 / データカタログ etc.
7 約100種のコネクタで データを整備・集約 データエンジニアが手を煩わせていた作業工程を、SaaS で簡単に巻き取ることが可能です。
目次 • 自己紹介とtrocco®の紹介 • primeNumberにあったポストモーテム文化 • どのような改善を行ったか • 結果として目に見える成果に繋がったもの •
まとめ 8
エンジニアにポストモーテムを書く文化は存在していた • GitHub issueテンプレの項目を埋める形 • インシデントの発生原因や影響範囲の共 有/記録の観点が強い • でも全然埋まってないとか、活用されて ないものも結構ある…
◦ 右のやつみたいな感じ 9
せっかくのインシデントを無駄にしたくない • ポストモーテム作成に関する課題 • ポストモーテム作成後の活用の仕方 • 上記2点について、ポストモーテムの目的の1つである「失敗から学ぶ」という 観点から見ると改善の余地がありそうだと感じました👀 (「せっかくのインシデントを無駄にする」というアンチパターンがシステム運用アンチパターンにも書かれていますよね) 10
目次 • 自己紹介とtrocco®の紹介 • primeNumberにあったポストモーテム文化 • どのような改善を行ったか • 結果として目に見える成果に繋がったもの •
まとめ 11
やったこと 12 • ポストモーテムのGoogle Docs移行 • Google Docsのテンプレ機能でポストモーテムテンプレートを更新 • インシデント対応マニュアルの作成
• 「ポストモーテムふりかえり」の推進
ポストモーテムのGoogle Docs移行 + テンプレ更新 13 • 同時編集・コメント可能で社内でコラボレーションが容易なGoogle Docsを利用 ◦ GoogleのSRE本のChapter
15 (Postmortem Culture: Learning from Failure) の通り ▪ > Real-time collaboration, An open commenting/annotation system, Email notifications • というか本で「俺たちはこれ使ってるぜ」と書かれているツールそのもの ▪ Google DocsはpN社で普段から利用していた • (前職ではBox Notesを使っていましたが、欲しい機能があり心理的にも導入コストが 低ければ何でもいいはず) • 基本的には SRE本やSRE Workbookに忠実にテンプレートを更新 ◦ 対応に関わっていない人でも読めば何が起こったか追えるよう項目を追加 ◦ 再発防止のためのアクションに優先度をつけるように ◦ 「インシデント対応からの学び」の項目を追加 などなど
こんな感じ 14
インシデント対応マニュアルの作成 • インシデント発生時に行うフローをまとめた ◦ 最低限「インシデント検知した人が何をしたらいいかわからない」状態を無くす目的 • ポストモーテム作成もインシデント対応フローに組み込み • 一応対応フローチャートもMermaidで書いたよ! 15
でも、とっさにコンフル開いてマニュアル見れないよね… • 別チームのエンジニアがSlackのカスタムレスポンス化してくれて浸透🎉 ◦ とあるインシデントのポストモーテムふりかえりの再発防止アクションでした 16
「ポストモーテムふりかえり」の推進 17 • ポストモーテムをベースに議論・再発防止策を検討するミーティング ◦ これをprimeNumber社内では「ポストモーテムふりかえり」と呼んでいます • インシデント発生時、率先してポストモーテムふりかえりを開催+ファシリ • primeNumber社は他部署間の交流が活発
• ポストモーテムに関してもエンジニア組織だけに閉じてしまうのはもったいな い、と感じ、エンジニア組織以外にも「ポストモーテムふりかえり」を推進 • 例えばテクニカルライターチームに推進した例 👉
ある日のSlack… 18
troccoヘルプドキュメントのヘッダに突然のランチメニューが 19 これ
テクニカルライターチームの実験でしたとさ 20
こんにちは、ポストモーテムおじさんです 21 (※このときはまだ共有会って言ってますね)
前向きにふりかえろう • 多くの人の時間を使ってまでふりかえりを行うべき理由の1つだと考えています⏳ 22
目次 • 自己紹介とtrocco®の紹介 • primeNumberにあったポストモーテム文化 • どのような改善を行ったか • 結果として目に見える成果に繋がったもの •
現在どう運用しているか (“プラス”部分) • まとめ 23
成果だと思っているもの • ヒヤリハットもきっちり学びと改善に ◦ 例えば、2023年1月の CircleCI のセキュリティインシデント • ポストモーテムふりかえりを通じてカスタマーサクセスチームとの連携改善 •
開発チームのエンジニアから会社としての強みではないか、というコメントも 24
• 👍 インシデント対応フローに組み込まれ、対応担当者がポストモーテム作 成〜ふりかえりまで実施できている • 👍 対応フローの改善についてもポストモーテムふりかえりで話せている • 👍 (以前からできてますが)
責任を個人ではなくチームのものにできている • 🙏 テンプレの改善 (改善の結果、形骸化してしまっている項目がある) • 🙏 再発防止アクションの履行をSREチームでwatchしている ◦ 「アクションが確実に実施されること」「実施できない場合に優先度・期日を変更した判断理由が書かれること」 現在のポストモーテム運用について個人的 Good👍 / Motto🙏 25
目次 • 自己紹介とtrocco®の紹介 • primeNumberにあったポストモーテム文化 • どのような改善を行ったか • 結果として目に見える成果に繋がったもの •
まとめ 26
まとめ 27 • primeNumber社のポストモーテム文化を改善しました💪 • ポイントをふりかえると以下の2点に集約されそうです🙏 • まずは教科書通りに忠実にやる ◦ 守破離の「守」をやるイメージ
◦ 教科書は原典(GoogleのSRE本)にあたること • 組織で自走できる文化ができるまでは啓蒙・推進活動を積極的に行う ◦ 具体的にはポストモーテム作成、ふりかえりの設定とファシリテーター ◦ あれはよいものだ、と認識してもらえると担当者でやろうというムーブになっていく、はず
trocco®を一緒に創ってくれる方を探しています👀 • 海外展開に向けて面白い経験ができると思うのでぜひ🙏 ◦ trocco® SRE ◦ trocco® ソフトウェアエンジニア ◦
セキュリティスペシャリスト ◦ その他募集一覧 👉 https://herp.careers/v1/primenumber • ゆるく交流しませんか?の会 pN meet up!@目黒 もやります🍻 ◦ 2023年9月29日(金)19:00~21:00 開催予定です! 28
参考資料など • 1人目の専任SREがポストモーテム文化を改善したらエンジニア以外にも広まり、他部門との連携も強化された話|Hiroki Takatsuka • Example Postmortem, Google - Site
Reliability Engineering 29
More Decks by tk3fftk
See All by tk3fftk
Claude Team Plan導入・ガイド
tk3fftk
0
640
地域 SRE コミュニティ最前線 - ホンマでっかSRE勉強会
tk3fftk
1
730
どこまでゆるくて許されるのか
tk3fftk
1
1k
セキュリティの専門家じゃなくてもできる。「セキュリティ意識」をアップデートして サプライチェーン攻撃への耐性を高めよう。
tk3fftk
7
1.8k
TROCCOで始めるクラウドコストを民主化するためのFinOps
tk3fftk
3
940
障害対応のRunbookは作った、でも本当に動くの? AWS FIS で EKS の AZ 障害を再現してみた
tk3fftk
1
320
AWSの資格って役に立つの?
tk3fftk
2
590
ヘルシーSRE
tk3fftk
3
510
セキュアなAI活用のためのLiteLLMの可能性
tk3fftk
5
3.5k
Other Decks in Technology
See All in Technology
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
250
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
260
農家は秘伝のタレを知らない - NOBODY KNOWS THE HIDDEN SOURCE - Kaggriculture 3rd Place Solution
masspeaks
3
640
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
420
認知の質も文化醸成も。数年取り組んで見えてきた技術広報のKPI設計 / Tech PR KPIs: Lessons on Awareness Quality and Culture After Several Years
bitkey
PRO
0
130
SORACOM × AWS IoT Core でSREする
butadora
0
120
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
130
ぼくのClaude Codeの使い方
falken
PRO
5
7.6k
お風呂場をサーバルームにしよう
yusuke427
0
380
OWASP AI Agentic Top10に準拠するクラウドネイティブなガードレールの実践(CNDW 2026)
keitah
1
370
統制されたID・権限をどう利用するか : DPoP/FAPIによるAPIセキュリティ強化
oidfj
1
230
cdkdがどんだけ早いか、実際に動かして見てみよう
smt7174
1
140
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
2.2k
Docker and Python
trallard
47
4.3k
The Curse of the Amulet
leimatthew05
4
17k
Winning Ecommerce Organic Search in an AI Era - #searchnstuff2025
aleyda
2
2.2k
My Coaching Mixtape
mlcsv
0
390
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
35
2.9k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
6.2k
Accessibility Awareness
sabderemane
1
310
Getting science done with accelerated Python computing platforms
jacobtomlinson
2
580
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
6
1.3k
WENDY [Excerpt]
tessaabrams
15
41k
Building AI with AI
inesmontani
PRO
1
1.4k