Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オンコールよもやま話 / JAWS-UG SRE#7 OnCall Yomoyama
Search
Shoji Shirotori
November 07, 2023
Technology
1
610
オンコールよもやま話 / JAWS-UG SRE#7 OnCall Yomoyama
JAWS-UG SRE支部 #7 の LT で話したオンコールよもやま話のスライドです。
https://jawsug-sre.connpass.com/event/291843/
Shoji Shirotori
November 07, 2023
Tweet
Share
More Decks by Shoji Shirotori
See All by Shoji Shirotori
Data Ingestion ETL の技術選定の変遷をADRで振り返る / Data Ingestion ETL ADRs at DataOps Night#4
irotoris
3
2.2k
Wantedlyの障害対応文化とインシデントコマンダー / Wantedly Incident Commander
irotoris
5
2.6k
SRE を実践するためのプラットフォームの作り方と技術マネジメント / Building a Platform for SRE
irotoris
3
5.9k
Other Decks in Technology
See All in Technology
株式会社島津製作所_研究開発(集団協業と知的生産)の現場を支える、OSS知識基盤システムの導入
akahane92
1
1.2k
PHPでResult型やってみよう
higaki_program
0
190
DATA+AI SummitとSnowflake Summit: ユーザから見た共通点と相違点 / DATA+AI Summit and Snowflake Summit
nttcom
0
210
AI エンジニアの立場からみた、AI コーディング時代の開発の品質向上の取り組みと妄想
soh9834
6
250
本当にわかりやすいAIエージェント入門
segavvy
10
5.9k
ゼロから始めるSREの事業貢献 - 生成AI時代のSRE成長戦略と実践 / Starting SRE from Day One
shinyorke
PRO
0
230
SAE J1939シミュレーション環境構築
daikiokazaki
0
140
Snowflake のアーキテクチャは本当に筋がよかったのか / Data Engineering Study #30
indigo13love
0
250
PHPからはじめるコンピュータアーキテクチャ / From Scripts to Silicon: A Journey Through the Layers of Computing
tomzoh
2
380
ObsidianをLLM時代のナレッジベースに! クリッピング→Markdown→CLI連携の実践
srvhat09
7
9k
SREを知らずに SREマネージャーになった話 / How I Became an SRE Manager Without Knowing What SRE Is
moneyforward
0
300
Semantic Machine Intelligence for Vision, Language, and Actions
keio_smilab
PRO
2
390
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Automating Front-end Workflow
addyosmani
1370
200k
Thoughts on Productivity
jonyablonski
69
4.7k
Designing for humans not robots
tammielis
253
25k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Gamification - CAS2011
davidbonilla
81
5.4k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
109
19k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Rails Girls Zürich Keynote
gr2m
95
14k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
The Invisible Side of Design
smashingmag
301
51k
Transcript
© 2023 Wantedly, Inc. オンコールよもやま話 JAWS-UG SRE支部 #7 Oct. 18
2023 - Shoji Shirotori @irotoris
© 2023 Wantedly, Inc. About Me Shoji Shirotori @irotoris Infrastructure
Squad at Wantedly, Inc. Infra /SRE / Data Engineer ❤ AWS, Kubernetes, BigQuery, Python, Go
© 2023 Wantedly, Inc.
© 2023 Wantedly, Inc. 話すこと • ウォンテッドリーのオンコール体制の紹介しつつ • 無くしたアラートをピックアップして紹介
© 2023 Wantedly, Inc. Wantedly Architecture Overview
© 2023 Wantedly, Inc. Infrastructure Squad (インフラチーム) とは インフラや開発運用に関わる機能とプラクティスをプラットフォームとして提供していく
© 2023 Wantedly, Inc. ウォンテッドリーのオンコール体制の紹介 • Infra チームが夜間休日のオンコール (PagerDuty) を持つ
◦ 平日日中で障害が発生した場合は Infra チームじゃなくても障害対応に集まってくる ▪ 集まりすぎるのでインシデントコマンダーが整理 ▪ 平日日中で壊れるのは だいたいデプロイ起因 ◦ 夜間休日はインフラや外部起因が多い ▪ サービス特性上、夜間休日のリクエストは落ち着いているが壊れるときは壊れる • AWSリソースやインフラのスケーリングを超えた • 非同期ジョブが詰まる • 外部 API が壊れた • Bot やスクレイピングでの異常なアクセス ▪ ここでのオンコール担当の責務は 1次対応と、騒いで人を集めること • メンバーが一週間交代で担当 ▪ 夜間休日対応の負荷を減らすために不要なアラートを整理している
© 2023 Wantedly, Inc. アラートの種類 - 通知先 • Slack #war_room
+ PagerDuty ◦ 即招集、対応開始 • Slack #hoge_alert ◦ 各チームで対応、トリアージ ◦ #infra_alert ◦ #visit_alert ◦ #profile_alert ◦ #core_services_alert • Slack #fuga_notice #piyo_logs ◦ 通知のみ
© 2023 Wantedly, Inc. アラートの種類 - 通知先 • Slack #war_room
+ PagerDuty ←ここのアラートを減らす ◦ 即招集、対応開始 • Slack #hoge_alert ◦ 各チームで対応、トリアージ ◦ #infra_alert ◦ #visit_alert ◦ #profile_alert ◦ #core_services_alert • Slack #fuga_notice #piyo_logs ◦ 通知のみ
© 2023 Wantedly, Inc. アラートの種類 - 通知までの経路 • AWS /
GCP -> Datadog -> PagerDuty ◦ Infra / middleware layer • Kubernetes -> Prometheus -> Datadog -> PagerDuty ◦ Kubernetes Layer • Application -> New Relic -> Pager Duty ◦ Application Layer ◦ Ping / ErrorRate / Latency
© 2023 Wantedly, Inc. 減らしたアラート • DB Disk full alert
◦ RDS のストレージ自動拡張を有効に ◦ ストレージ拡張のイベントは notice チャンネルへ ◦ 自動拡張上限の場合のみ war_room チャンネルへ
© 2023 Wantedly, Inc. 減らしたアラート • DB CPU 100% alert
◦ RDS から Aurora にしたら 100% でもサービスがちょっと遅くなる程度で致命 的な問題になることが減った ◦ サービスの Error Rate / Latency は見ているので alert チャンネルへ
© 2023 Wantedly, Inc. 減らしたアラート • Kubernetes Pod のスケール上限アラート ◦
Pod が HPA 上限に張り付いていてもサービスが落ちるわけではない ◦ Error Rate / Latency を見ている ◦ notice で、後から見ればよい
© 2023 Wantedly, Inc. 減らしたアラート • AWS Health (AWS Service
Status) ◦ EC2 / RDS / ElastiCache といった AWS サービスとしてのステータス ◦ AWS の障害で我々のサービスがすぐさま落ちる訳では無い ◦ X が一番はやく検知できる
© 2023 Wantedly, Inc. 減らしたアラート • ElastiCache for Redis Eviction
alert ◦ キーが eviction されても問題ない使い方をしていた Redis もいた ◦ キャッシュ用途のインスタンスは eviction 通知を notice に変更
© 2023 Wantedly, Inc. 減らしたアラート • 外国からの死活監視 ◦ 日本からは無事だが海外からの死活監視が落ちる現象(謎) ◦
サービス提供している国からのみに監視を減らした
© 2023 Wantedly, Inc. なんとなくまとめ • インフラ技術の進化で基盤、サービスの弾力性を強化しやすい ◦ 勝手に直る設定 •
よりユーザーに近いアラートを設定することが大事になってきた ◦ API の ErrorRate / Latency 以外にも Forntend の描画速度
© 2023 Wantedly, Inc. Thank you!!
© 2023 Wantedly, Inc. 障害対応の心構え - Wantedly Engineering Hanbook https://docs.wantedly.dev/introduction/incident
© 2023 Wantedly, Inc. 障害対応の心構え - Wantedly Engineering Hanbook https://docs.wantedly.dev/introduction/incident