Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
OpsJAWS MEETUP25_みんなが幸せなインシデント管理
Search
Ryo Yoshii
September 05, 2023
Technology
1.7k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
OpsJAWS MEETUP25_みんなが幸せなインシデント管理
2023年9月4日開催 OpsJAWS Meetup#25 インシデント管理 で登壇した資料を公開します。
幸せになってほしい
Ryo Yoshii
September 05, 2023
Transcript
16 slides
Ops JAWS Meetup#25 みんなが幸せなインシデント管理 2023年9月4日
2 自己紹介 経歴 HWエンジニア → 中小SIer → ERPコンサル → AWS
パートナー → つながる会社 Follow Me prairie.cards →→→→→→→→→→→→ Community OpsJAWS, (AWS Community Builder) 好きな言葉 No human labor is no human error. Ryo Yoshii 吉井 亮
インシデントとは サービス停止、または、品質低下によって ユーザーに影響を与える事象 3
インシデント管理とは 各所への影響を最小限に留め、 早期にサービスを復旧させるプロセス 4
インシデント管理プロセス 1. 検出 2. 分類 3. 解決策の立案 4. 解決策の実施 5.
回復、クローズ 5
どこに不幸が あるでしょうか? 6 1. 検出 2. 分類 3. 解決策の立案 4.
解決策の実施 5. 回復、クローズ
アラート疲れ • 重要度や緊急度で通知先を変える • アラート本文に”意味”を持たせる 7
SLO と見比べる 稼働率 99.5 → 年間 43.8時間、月間 3.65時間 99.9 →
年間 8.76時間、月間 43.8分 99.95 → 年間 4.36時間、月間 21.9分 ※ 数時間ならオンコールでもいけそう ※ 43分だとNOCが必要 8
無いぞ、無いぞ、手順書 • まずサービス回復 • 根本解決のための証拠保全 • エスカレーションも手順のうち 9
眠いけど引き継ぎはしよう • ライブインシデント状況ドキュメント • 対面、WebMtg 会話で引き継ぎ 10
俺たちはアベンジャーズだ • つよつよエンジニアに頼らない • 当人も悪い気がしていないようだ… 11
繰り返すこのインシデント、あのアラートはまるで恋だね また繰り返す このインシデント 繰り返さないように根本対策を! 12
私達は人間です • 精神的、肉体的負担が増えてきたら インシデント対応から離れてもいい • 持ち回り公平に 13
訓練 • 最初のアサインはシャドーから • 適切な研修 14
プロには報酬で報いる オンコール 応答・対応したら💴 対応しなくても当番になったら💴 15
THANK YOU 16
More Decks by Ryo Yoshii
See All by Ryo Yoshii
Technical Project Manager の役割とやりがい、少しだけ AI
yoshiiryo1
0
640
AIAgentを駆使してSREが貢献する開発体験の向上
yoshiiryo1
4
1.4k
SRE は管理職に向いている
yoshiiryo1
6
6.3k
SRE with AI:実践から学ぶ、運用課題解決と未来への展望
yoshiiryo1
1
2.6k
2025-02-21 ゆるSRE勉強会 Enhancing SRE Using AI
yoshiiryo1
1
850
Enhancing SRE Using AI
yoshiiryo1
1
1.4k
Amazon Bedrock Agents と Chatbot で無敵のOpsになる
yoshiiryo1
1
340
組織横断型であるがゆえの楽しみと苦しみ
yoshiiryo1
4
1.3k
EC2 の運用と監視の基本をおさらい 「監視、バックアップ、操作」
yoshiiryo1
0
1.1k
Other Decks in Technology
See All in Technology
Kubernetes, Agones, WebRTC, GPU で作る クラウドゲーミング基盤を本番運用に乗せるまで
vivion
0
270
現地速報! Microsoft Ignite アップデートレポート
kasada
1
450
ポケモンバトルのAIエージェント
koji_kawamura
0
130
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
4
2.1k
AWS re:Invent 2026 FSI Pre-Event Networking Night
junjikoide
0
160
共通基盤の実装に Kotlin - Quarkus を選定した理由と採用したアーキテクチャ
nealle
1
160
New Relicのアラート対応をClaude Codeで自動修正するワークフローを作った話
manabuseki
0
380
Go でトランザクション、どう書いてますか?
knwoop
1
540
閉域網でのAPI公開の選択肢全部比較!
takano0131
5
690
マネジメントされる側の仕事は「文句」を言うこと
riyaamemiya
7
6k
From vibe coding to reliable (agentic) development
jcabot
0
190
サーバーラックは作る時代! 3Dプリンターで作る10インチラックのススメ
jacopen
2
510
Featured
See All Featured
The agentic SEO stack - context over prompts
schlessera
0
1k
How to make the Groovebox
asonas
2
2.6k
[SF Ruby Conf 2025] Rails X
palkan
3
1.5k
Paper Plane (Part 1)
katiecoart
PRO
3
12k
Build The Right Thing And Hit Your Dates
maggiecrowley
39
3.5k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
48k
Thoughts on Productivity
jonyablonski
76
5.5k
Google's AI Overviews - The New Search
badams
0
1.7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
130k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
128
56k
Utilizing Notion as your number one productivity tool
mfonobong
4
650