Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
アラートの過不足をなくす
Search
iwamot
February 10, 2023
Technology
1
110
アラートの過不足をなくす
2023-02-10
ENECHANGE Tech Talk (社内勉強会)
iwamot
February 10, 2023
Tweet
Share
More Decks by iwamot
See All by iwamot
ECS on FargateへのSeekable OCI導入レポート
iwamot
0
350
サービスクォータ、ちゃんと監視してますか?
iwamot
0
670
AWS Well-Architected Toolで信頼性をレビューした結果
iwamot
0
340
テックカンパニーとしてのENECHANGEの中期目標
iwamot
0
58
AIの活用状況と今後の展望
iwamot
0
49
ENECHANGE社のAWSセキュリティ改革ストーリー
iwamot
0
120
ALBのアクセスログをAthenaで分析してSLOをゆるく決める
iwamot
2
1.1k
ChatGPT in SlackでAI Slackbotを楽しく運用する
iwamot
1
350
Function callingによるSlackbotの機能拡張
iwamot
2
170
Other Decks in Technology
See All in Technology
テストコードを書きながらCompose Multiplatformを乗りこなす
subroh0508
0
140
エムスリーQAチーム紹介資料 / Introduction of M3 QA Team
m3_engineering
1
290
動画配信サービスのフロントエンド実装に学ぶ設計原則
yud0uhu
0
120
Dungeons and Dragons and Rails
joelq
0
220
YJIT Makes Rails 1.7x faster / RubyKaigi 2024
k0kubun
0
120
AI JIMY - 登壇(インストール編)
hanacchi
0
150
PhpStorm超絶技巧40分集中講義 #phpconkagawa
yusuke
4
710
Shinagile 2024
kawaguti
PRO
2
120
日本が誇るイタリアのダンスミュージック!? ユーロビートって何??
minorun365
PRO
1
130
【TSkaigi】2024/05/11 当日スライド
kimitashoichi
14
3.9k
From here to resilience - a travel guide
ufried
1
160
パスワードを保存しますか?
hanacchi
0
250
Featured
See All Featured
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
The Mythical Team-Month
searls
217
42k
Building Adaptive Systems
keathley
32
1.9k
What's in a price? How to price your products and services
michaelherold
238
11k
How to train your dragon (web standard)
notwaldorf
75
5.2k
Code Review Best Practice
trishagee
56
15k
Being A Developer After 40
akosma
67
580k
Gamification - CAS2011
davidbonilla
77
4.6k
Designing the Hi-DPI Web
ddemaree
276
33k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Why Our Code Smells
bkeepers
PRO
331
56k
Transcript
アラートの過不足をなくす 2023-02-10 ENECHANGE Tech Talk (社内勉強会) CTO室 岩本隆史 (@iwamot)
現状の問題点 不必要なアラートが多い 必要なアラートが足りない
不必要なアラートが多い
不必要なアラートの例 CPU使用率が高い 不正なリクエストによって例外が発生している
アラートの定義 深夜であっても即対応すべき事象を知らせるもの 後日対応でよいならチケットで知らせればよい
不必要なアラートの問題点 即対応すべき事象が埋もれてしまう 無視が習慣化してしまう
不必要なアラートをなくす CPU使用率が高い → 削除する 不正なリクエストによって例外が発生している → アプリ側でハンド リングして4xxエラーを返す
必要なアラートが足りない
必要なアラートの例 サービスレベル (SLI) の悪化 お客様に迷惑がかかる 収益に悪影響がある ディスク空き容量の急激な低下 突然サービス不能になりかねない
必要なアラートを仕掛ける サービスレベル (SLI) の悪化 → 手段を検討中 ディスク空き容量の急激な低下 → 一部実施済みだが改善する
おわりに
ご協力のお願い 即対応が必要なアラートのみにしていきましょう サービスレベル目標 (SLO) を定義していきましょう
参考記事 Google - Site Reliability Engineering 訳書『SRE サイトリライアビリティエンジニアリング』 クラウド環境でのアラートを考えてみよう 監視疲れを起こさない工夫