Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
hacomonoポストモーテムの取り組み(2023/09)
Search
hacomono Inc.
PRO
September 14, 2023
Technology
1
1.2k
hacomonoポストモーテムの取り組み(2023/09)
https://findy.connpass.com/event/294084/
hacomono Inc.
PRO
September 14, 2023
Tweet
Share
More Decks by hacomono Inc.
See All by hacomono Inc.
MagicPodでモバイルアプリの”自動テスト”を最速で立ち上げよう
hacomono
PRO
1
68
専任担当からチームに還してQA全員で取り組むテスト自動化
hacomono
PRO
0
54
Nuxt 3ではじめるテスト導入戦略と初手
hacomono
PRO
0
23
Waroomとインシデントと私
hacomono
PRO
0
110
Product Engineer Night #6プロダクトエンジニアを育む仕組み・施策
hacomono
PRO
1
610
初めてアジャイルテストに挑戦してみたら、スクラムチームが良いサイクルを回し始めた話
hacomono
PRO
1
250
スクラムチームの品質戦略 1年の歩み
hacomono
PRO
1
400
スクラムエッセンス導入3ヶ月のチームに起きた変化
hacomono
PRO
1
380
アジャイルの灯火を絶やさない! 社内アジャイルコミュニティ運営
hacomono
PRO
1
340
Other Decks in Technology
See All in Technology
どちらを使う?GitHub or Azure DevOps Ver. 24H2
kkamegawa
0
830
NW-JAWS #14 re:Invent 2024(予選落ち含)で 発表された推しアップデートについて
nagisa53
0
270
継続的にアウトカムを生み出し ビジネスにつなげる、 戦略と運営に対するタイミーのQUEST(探求)
zigorou
0
590
Oracle Cloud Infrastructure:2024年12月度サービス・アップデート
oracle4engineer
PRO
0
190
LINEヤフーのフロントエンド組織・体制の紹介【24年12月】
lycorp_recruit_jp
0
530
Fanstaの1年を大解剖! 一人SREはどこまでできるのか!?
syossan27
2
170
ブラックフライデーで購入したPixel9で、Gemini Nanoを動かしてみた
marchin1989
1
540
Storage Browser for Amazon S3
miu_crescent
1
210
日本版とグローバル版のモバイルアプリ統合の開発の裏側と今後の展望
miichan
1
130
祝!Iceberg祭開幕!re:Invent 2024データレイク関連アップデート10分総ざらい
kniino
3
300
Amazon SageMaker Unified Studio(Preview)、Lakehouse と Amazon S3 Tables
ishikawa_satoru
0
160
PHPerのための計算量入門/Complexity101 for PHPer
hanhan1978
5
160
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Site-Speed That Sticks
csswizardry
2
190
The World Runs on Bad Software
bkeepers
PRO
65
11k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Producing Creativity
orderedlist
PRO
341
39k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
The Cost Of JavaScript in 2023
addyosmani
45
7k
Java REST API Framework Comparison - PWX 2021
mraible
28
8.3k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.4k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.9k
Music & Morning Musume
bryan
46
6.2k
How STYLIGHT went responsive
nonsquared
95
5.2k
Transcript
Last Update 2022.03.16 hacomonoでのポストモーテムの取り組み 株式会社hacomono CTO室 EM 横山 司
None
3 3 店舗・施設の業務管理システム / マイページ がオールインワン 店舗内 予約 入会 決済
マイページ 会員管理 月謝自動化 チケット 管理 シフト管理 会員マイページ 予約管理 マネジメント機能 店頭物販 Iotドア連携 チェック イン 店頭予約 マシン連携 入退館
Confidential Series C|hacomono Data 4 4 hacomonoの2022年から2023年の推移 導入店舗数 チャーンレート 年間キャッシュレス決済額
年間NRR 累計ユーザー登録数 1,100 3,000 店舗 店舗 (2022年1月末時点) (2023年4月時点) 0.5% 以下 閉店・経営難以外の解約は ほぼ“ゼロ”をキープ 2023年4月現在 約 3 倍の導入店舗数増 125% 135 (2022年) (2023年) % 安定した10%の成長 約4倍の決済額増 200 310 (2022年) (2023年) 約110万人以上のユーザー増加 56億円 227 (2022年) (2023年) 億円 約 約 万人 約 万人 約
5 ビジネスの急成長 → 組織の急拡大 → プロダクトの複雑化 多種多様なインシデント増大 - 組み合わせエッジケースで起こるバグ - 大手顧客のデータ量/同時アクセス数でのパフォーマンスダウン - インフラ、アーキテクチャレベルの設計に起因する問題 -
リリース手順、監視手順などオペレーショナル・エクセレンスに関わる問題 SREなど特定メンバーの負荷増大、プロセスなどの不備が露呈 組織的な取り組みの検討(2023/03〜) ポストモーテム重要性の取り組み
6 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
7 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
8 体制 : PSIRTの立ち上げ
9 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
10 プロセス : インシデントガイドライン
11 プロセス : インシデント体制と役割
12 プロセス : インシデントレポート &ポストモーテムテンプレート
13 プロセス : インシデントレポート &ポストモーテムテンプレート
14 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
15 仕組み : SLOダッシュボード
16 仕組み : SLOダッシュボード
17 仕組み: インシデントと再発防止策の関連付け
18 1. 体制 PSIRTの組成 2. プロセス インシデントガイドライン、ポストモーテムテンプレート、各種基準などフローや仕組みの整備 3. 仕組み SLOダッシュボード、インシデントトレンド、インシデントと紐づけた再発防止策のタスク管理、
週次振り返り 4. 文化 開発チームの月次イベントでの共有、専用Slackチャンネルでの称賛 hacomonoでの取り組み
19 文化
20 インシデント→ポストモーテム→学習&再発防止策→Action hacomonoこれまでの取り組み の流れを作った ポストモーテムからの学びの例 - 障害訓練の実施(新入社員のオンボーディングにも) - SREによる監視ツールの講習会 -
影響調査で使うSQLのシェア - Statuspageの導入 (もっと簡単に社外告知したい )
21 開発チームの外側に課題があることが多い点が アジャイル(スクラム)開発の難しさと似ている ポストモーテムの難しさ ✓そもそもプロダクトの品質課題 ✓組織文化の課題 ✓組織間連携など体制面の課題 ✓スキル課題
22 改善していきたいポイント - 短期対応 vs 根本対策のバランス - 何が起きていたかをどこまで掘り下げるべきか - 再発防止策がずれていて再発しちゃう問題
- やることを増やすだけではなく減らすこと - 特定チームや個人ではなく組織全体での学習にすること ポストモーテムの難しさ
https://www.hacomono.jp/