Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
通知と手順書をセットで 設計してみた / Design Notification and Ru...
Search
Ryo Yoshii
July 26, 2021
Technology
1.5k
4
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
通知と手順書をセットで 設計してみた / Design Notification and Runbook
2021-07-26(月)19:00 - 20:40 JST 開催の Ops JAWS Meetup#19 勉強会で発表した資料です
Ryo Yoshii
July 26, 2021
Transcript
20 slides
通知と手順書をセットで 設計してみた Ops JAWS Meetup#19 勉強会 2021年7月26日 1 ネクストモード株式会社 吉井
亮
自己紹介 吉井 亮 ネクストモード株式会社 Twitter : @YoshiiRyo1 Blog : https://dev.classmethod.jp/author/yoshii-ryo/
好きな言葉 : No human labor is no human error. 2
本日の内容 ▪ 話すこと ・通知された後の行動 ・つらみ ▪ 話さないこと ・製品の紹介 3
4 システム構成
今回の構成 (スーパー簡易版) 5 HTTPS. SFTP, 管理画面 Customer DC 監視系は CloudWatch
Security系 がっつり通知
6 通知と手順書
やめておいたほうが… と言いたくなる通知 • とりあえず CPU/Memory Usage (設計が無い) • とりあえずメール (重要度の分類が無い)
• 全サーバー ”89の法則” (80%Warn,90%Crit) • ログは ”error” で検知 • 過剰なしきい値 (1回でも通知など) • 定期的な見直しが無い 7
最低限やっておきたい通知 ★ システム利用者が困る事象を発見する レスポンス低下、画面ハングアップなどを メトリクスやログから検知したい。 8
最低限やっておきたい通知 ★ 要アクションと Notice は分ける 要アクションは社用携帯でポップアップなど 復旧アクションが取りやすいように。 Notice は平日日中帯の暇な時に見るくらいで。 9
最低限やっておきたい通知 ★ 単純なメトリクスだけで済まさない Anomaly Detection で異常を検知。 Count だけではなく割合をみる。 「HTTP 500が
nn 回」より 「全リクエストの nn %」のほうが実用的 10
通知が飛んだ後に何するか? 通知ごとにアクションを決めておかないと 通知する意味が無い。 ただノイジーなだけの通知は誰も見なくなる。 手順書を作っておきましょう 11
わかりやすい通知にするには 1. 通知に回復手順書を含ませる a. がっつり作り込む b. メンテナンスは大変かも 2. 通知内容と手順をドキュメントに残しておく 今回こっち
12
ドキュメントの内容 • アラート名 (件名やSlack表示名など) • アラートの意味 • アラート受領後の対応 • インシデント責任者、対応してほしいメンバー
• 影響範囲、依存関係 13
14
ドキュメントの内容 サンプル https://github.com/YoshiiRyo1/document-templates-for-aws/blob/master/design/doc_source/cloud-design-monitoring.md 15
つらかったこと 1 飛んでくる通知の内容が事前にわからない。 セキュリティ系や Health は特に。 ので、構築の初期段階から通知を仕込んでおいて 様々な通知内容をプロジェクト内に溜め込む。 横展開も忘れずに (社内ナレッジ、GitHub
等) 16
つらかったこと 2 ドキュメントの更新を継続できるか? 対応手順の更新、しきい値の修正、 通知内容の更新などドキュメントは継続的改善が 大前提。 17
18 まとめ
今回の構成 (簡易版) 通知は飛ばしたあとが大切。 飛ばしたあとのアクションを定義して 手順書を作りましょう。 システム動作前には不明なところも多いので 動かしながら更新していきましょう。 19
ありがとうございました 20
More Decks by Ryo Yoshii
See All by Ryo Yoshii
Technical Project Manager の役割とやりがい、少しだけ AI
yoshiiryo1
0
640
AIAgentを駆使してSREが貢献する開発体験の向上
yoshiiryo1
4
1.4k
SRE は管理職に向いている
yoshiiryo1
6
6.3k
SRE with AI:実践から学ぶ、運用課題解決と未来への展望
yoshiiryo1
1
2.6k
2025-02-21 ゆるSRE勉強会 Enhancing SRE Using AI
yoshiiryo1
1
850
Enhancing SRE Using AI
yoshiiryo1
1
1.4k
Amazon Bedrock Agents と Chatbot で無敵のOpsになる
yoshiiryo1
1
340
組織横断型であるがゆえの楽しみと苦しみ
yoshiiryo1
4
1.3k
EC2 の運用と監視の基本をおさらい 「監視、バックアップ、操作」
yoshiiryo1
0
1.1k
Other Decks in Technology
See All in Technology
[DBRE Summit 26] DBRE はデータベース運用をどう変えたのか
_awache
0
120
ノードが消える前提で設計する!Karpenterで金融システムを止めないためのノウハウ大全
daitak
1
240
【Oracle AI SPOTLIGHT ウェビナー】AI時代、狙われるデータと止められない業務をどう守るか?
oracle4engineer
PRO
1
140
OWASP AI Agentic Top10に準拠するクラウドネイティブなガードレールの実践(CNDW 2026)
keitah
1
430
Well, that’s weird…
csswizardry
1
190
20261119_AgentCore
takuyay0ne
1
190
閉域網でのAPI公開の選択肢全部比較!
takano0131
5
690
データから見る AI時代のエンジニア転職と採用
junya_okura
4
1.2k
クラウドでも使えるNetApp -現場目線での設計とクラウドバックアップの活用
ryutakondo
1
300
OCI Artifact による自動運転タクシーに向けた OTA 基盤の構築
biwashi
1
290
業務の傍らで進める改善ループエンジニアリング
bengo4com
1
230
Is the Website Dying?
miriamschwab
0
120
Featured
See All Featured
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
3
1.5k
技術選定の審美眼(2025年版) / Understanding the Spiral of Technologies 2025 edition
twada
PRO
121
130k
Visualization
eitanlees
153
17k
Deep Space Network (abreviated)
tonyrice
0
430
Utilizing Notion as your number one productivity tool
mfonobong
4
650
Done Done
chrislema
187
17k
Java REST API Framework Comparison - PWX 2021
mraible
34
9.8k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
23k
Leo the Paperboy
mayatellez
11
2.5k
Dominate Local Search Results - an insider guide to GBP, reviews, and Local SEO
greggifford
PRO
0
410
Crafting Experiences
bethany
1
450