Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オンコールよもやま話 / JAWS-UG SRE#7 OnCall Yomoyama
Search
Shoji Shirotori
November 07, 2023
Technology
1
530
オンコールよもやま話 / JAWS-UG SRE#7 OnCall Yomoyama
JAWS-UG SRE支部 #7 の LT で話したオンコールよもやま話のスライドです。
https://jawsug-sre.connpass.com/event/291843/
Shoji Shirotori
November 07, 2023
Tweet
Share
More Decks by Shoji Shirotori
See All by Shoji Shirotori
Data Ingestion ETL の技術選定の変遷をADRで振り返る / Data Ingestion ETL ADRs at DataOps Night#4
irotoris
3
1.8k
Wantedlyの障害対応文化とインシデントコマンダー / Wantedly Incident Commander
irotoris
4
2.2k
SRE を実践するためのプラットフォームの作り方と技術マネジメント / Building a Platform for SRE
irotoris
3
5.7k
Other Decks in Technology
See All in Technology
C++26 エラー性動作
faithandbrave
2
870
SpiderPlus & Co. エンジニア向け会社紹介資料
spiderplus_cb
0
390
シフトライトなテスト活動を適切に行うことで、無理な開発をせず、過剰にテストせず、顧客をビックリさせないプロダクトを作り上げているお話 #RSGT2025 / Shift Right
nihonbuson
3
1.4k
.NET 最新アップデート ~ AI とクラウド時代のアプリモダナイゼーション
chack411
0
130
20241228 - 成為最強魔法使!AI 實時生成比賽的策略 @ 2024 SD AI 年會
dpys
0
340
サイバー攻撃を想定したセキュリティガイドライン 策定とASM及びCNAPPの活用方法
syoshie
3
1.7k
組織に自動テストを書く文化を根付かせる戦略(2024冬版) / Building Automated Test Culture 2024 Winter Edition
twada
PRO
26
7.1k
テストを書かないためのテスト/ Tests for not writing tests
sinsoku
1
150
[Oracle TechNight#85] Oracle Autonomous Databaseを使ったAI活用入門
oracle4engineer
PRO
1
210
Evolving Architecture
rainerhahnekamp
3
210
AIエージェントに脈アリかどうかを分析させてみた
sonoda_mj
2
130
Google Cloud で始める Cloud Run 〜AWSとの比較と実例デモで解説〜
risatube
PRO
0
140
Featured
See All Featured
Music & Morning Musume
bryan
46
6.3k
Done Done
chrislema
182
16k
Producing Creativity
orderedlist
PRO
343
39k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
550
Building an army of robots
kneath
302
44k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
The Power of CSS Pseudo Elements
geoffreycrofte
74
5.4k
4 Signs Your Business is Dying
shpigford
182
21k
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
Measuring & Analyzing Core Web Vitals
bluesmoon
5
190
Transcript
© 2023 Wantedly, Inc. オンコールよもやま話 JAWS-UG SRE支部 #7 Oct. 18
2023 - Shoji Shirotori @irotoris
© 2023 Wantedly, Inc. About Me Shoji Shirotori @irotoris Infrastructure
Squad at Wantedly, Inc. Infra /SRE / Data Engineer ❤ AWS, Kubernetes, BigQuery, Python, Go
© 2023 Wantedly, Inc.
© 2023 Wantedly, Inc. 話すこと • ウォンテッドリーのオンコール体制の紹介しつつ • 無くしたアラートをピックアップして紹介
© 2023 Wantedly, Inc. Wantedly Architecture Overview
© 2023 Wantedly, Inc. Infrastructure Squad (インフラチーム) とは インフラや開発運用に関わる機能とプラクティスをプラットフォームとして提供していく
© 2023 Wantedly, Inc. ウォンテッドリーのオンコール体制の紹介 • Infra チームが夜間休日のオンコール (PagerDuty) を持つ
◦ 平日日中で障害が発生した場合は Infra チームじゃなくても障害対応に集まってくる ▪ 集まりすぎるのでインシデントコマンダーが整理 ▪ 平日日中で壊れるのは だいたいデプロイ起因 ◦ 夜間休日はインフラや外部起因が多い ▪ サービス特性上、夜間休日のリクエストは落ち着いているが壊れるときは壊れる • AWSリソースやインフラのスケーリングを超えた • 非同期ジョブが詰まる • 外部 API が壊れた • Bot やスクレイピングでの異常なアクセス ▪ ここでのオンコール担当の責務は 1次対応と、騒いで人を集めること • メンバーが一週間交代で担当 ▪ 夜間休日対応の負荷を減らすために不要なアラートを整理している
© 2023 Wantedly, Inc. アラートの種類 - 通知先 • Slack #war_room
+ PagerDuty ◦ 即招集、対応開始 • Slack #hoge_alert ◦ 各チームで対応、トリアージ ◦ #infra_alert ◦ #visit_alert ◦ #profile_alert ◦ #core_services_alert • Slack #fuga_notice #piyo_logs ◦ 通知のみ
© 2023 Wantedly, Inc. アラートの種類 - 通知先 • Slack #war_room
+ PagerDuty ←ここのアラートを減らす ◦ 即招集、対応開始 • Slack #hoge_alert ◦ 各チームで対応、トリアージ ◦ #infra_alert ◦ #visit_alert ◦ #profile_alert ◦ #core_services_alert • Slack #fuga_notice #piyo_logs ◦ 通知のみ
© 2023 Wantedly, Inc. アラートの種類 - 通知までの経路 • AWS /
GCP -> Datadog -> PagerDuty ◦ Infra / middleware layer • Kubernetes -> Prometheus -> Datadog -> PagerDuty ◦ Kubernetes Layer • Application -> New Relic -> Pager Duty ◦ Application Layer ◦ Ping / ErrorRate / Latency
© 2023 Wantedly, Inc. 減らしたアラート • DB Disk full alert
◦ RDS のストレージ自動拡張を有効に ◦ ストレージ拡張のイベントは notice チャンネルへ ◦ 自動拡張上限の場合のみ war_room チャンネルへ
© 2023 Wantedly, Inc. 減らしたアラート • DB CPU 100% alert
◦ RDS から Aurora にしたら 100% でもサービスがちょっと遅くなる程度で致命 的な問題になることが減った ◦ サービスの Error Rate / Latency は見ているので alert チャンネルへ
© 2023 Wantedly, Inc. 減らしたアラート • Kubernetes Pod のスケール上限アラート ◦
Pod が HPA 上限に張り付いていてもサービスが落ちるわけではない ◦ Error Rate / Latency を見ている ◦ notice で、後から見ればよい
© 2023 Wantedly, Inc. 減らしたアラート • AWS Health (AWS Service
Status) ◦ EC2 / RDS / ElastiCache といった AWS サービスとしてのステータス ◦ AWS の障害で我々のサービスがすぐさま落ちる訳では無い ◦ X が一番はやく検知できる
© 2023 Wantedly, Inc. 減らしたアラート • ElastiCache for Redis Eviction
alert ◦ キーが eviction されても問題ない使い方をしていた Redis もいた ◦ キャッシュ用途のインスタンスは eviction 通知を notice に変更
© 2023 Wantedly, Inc. 減らしたアラート • 外国からの死活監視 ◦ 日本からは無事だが海外からの死活監視が落ちる現象(謎) ◦
サービス提供している国からのみに監視を減らした
© 2023 Wantedly, Inc. なんとなくまとめ • インフラ技術の進化で基盤、サービスの弾力性を強化しやすい ◦ 勝手に直る設定 •
よりユーザーに近いアラートを設定することが大事になってきた ◦ API の ErrorRate / Latency 以外にも Forntend の描画速度
© 2023 Wantedly, Inc. Thank you!!
© 2023 Wantedly, Inc. 障害対応の心構え - Wantedly Engineering Hanbook https://docs.wantedly.dev/introduction/incident
© 2023 Wantedly, Inc. 障害対応の心構え - Wantedly Engineering Hanbook https://docs.wantedly.dev/introduction/incident