アラートの話をしよう！

2 • akshimo(あくしも) ◦ X:@akshimo • 東京出身 ◦ 2021年〜新潟へ移住 •
好きなもの ◦ アジャイル/スクラム ◦ DDD/BDD/イベント駆動 ◦ ウイスキー、物理学、哲学

開発は綺麗事ばかりじゃない！絶対にエラーは起こる。それにどう立ち向かうか？ 3

Agenda ケース１: 某越境EC ▸ エラー監視のアンチパターン ▸ ログレベルケース２：某FinTech ▸ アラートルールの設定
▸ 日々の運用 4

1. 越境ECの大量エラー通知オオカミ少年と化した通知に立ち向かう

エラー通知 - Bugsnag - エラーはSlack通知 - warning以上も通知利用技術 - Laravel/php
- DDD - イベント駆動 - Alibaba Cloud 前提 6

大量のエラー通知が発生 Bugsnag経由で数十件/日のエラー通知が！エラー通知を見ないメンバーもではじめる 7

そもそもエラーって何？ 8

“ ISTQB 『間違った結果を生み出す人間の行為』 9

“ ISTQB 『間違った結果を生み出す人間の行為』 => エラーならば必ず通知が必要、ということではないはず 10

緊急性通知先 emergency 夜間休日でもすぐに対応が必要 #xxx-emergency alert 休日でも数時間以内に対応が必要 #xxx-alert critical 当日または翌営業日までに対応
#xxx-critical error 障害起票をし優先度決定 #xxx-error warning 毎営業日確認し問題あれば起票 #xxx-warning notice 緊急性はないが定期的に確認 #xxx-notice info なし CloudWatch的なやつ debug なしローカルのログとか bugsnag 未知 #xxx-bugsnag 11 ログレベルごとの対応方針をチームで決定

▸ 通知がスッキリ！ ▸ 各通知の緊急性判断を迷わない、間違わない結果 12

2. FinTechでのエラー運用リリースで荒れたアラートを解消する

エラー通知 - Sentry - エラー通知利用技術 - Ruby on Rails
- MVC - モノリス前提 14

多くのエラー発生ある部分を移行をしたタイミングからエラーが多く発生毎日対応に追われるハメに 15

想定外のことが起きている日々対応していくしかない 16

17 Before

18 After

▸ 特定のアラートはOpsチャンネルに通知するようSentry を設定 ▸ 各チャンネルに散らばったアラートなどはリアク字チャネラーで転送してOpsチャンネルに集約 ▸ アラートは朝会で即対応 & 不要なアラートは１日以内に
非通知に改善したこと 19

Sentryでアラートルールを設定できる指定したルールにあてはまるイベントのみ、特定のチャンネルに通知するなど設定できる。特定の名前空間で発生したエラーのみ自チームのOpsチャンネルに通知するよう設定した。 https://sentry.io/resources/alert-rules / Sentryのアラート設定
20

Slackアプリ「リアク字チャンネラー」指定の絵文字リアクションをメッセージに使用したら、自動で指定のチャンネルにメッセージをコピーしてくれる。散らばった運用対応を、Opsチャンネルに集約することができた。 https://slack.com/intl/ja-jp/help/article s/360000482666-Slack-%E7%94%A8%E3 %83%AA%E3%82%A2%E3%82%AF%E5%A D%97%E3%83%81%E3%83%A3%E3%83%B
3%E3%83%8D%E3%83%A9%E3%83%BC リアク字チャンネラーによる転送 21

放置されるアラートをゼロに朝会でアラートは基本全てArchive or Resolveする。バックログアイテム化して対応、アラートの抑制（非通知 or Warning）など方針を決定しすぐ対応する。朝会での即対応
22

そして平和は訪れた 23

THANKS! Any questions? You can ﬁnd me at @akshimo 24

アラートの話をしよう！

アラートの話をしよう！

a.shimomura

More Decks by a.shimomura

Featured

Transcript