Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
オブザーバビリティ勉強会で模擬障害対応をやってみた
Search
Tech Leverages
June 06, 2024
Technology
1
560
オブザーバビリティ勉強会で模擬障害対応をやってみた
# ゆるSRE勉強会 #6
20:35-20:40 『オブザーバビリティ勉強会で模擬障害対応をやってみた』
蒲生廣人さん X(旧Twitter): @gamonges_eng
Tech Leverages
June 06, 2024
Tweet
Share
More Decks by Tech Leverages
See All by Tech Leverages
今日から始める技術的負債の解消
leveragestech
3
440
ドキュメントとの付き合い方を考える
leveragestech
2
170
開発者体験を向上させる ボトムアップな組織改善
leveragestech
1
160
市場価値の高いエンジニアを 目指そう!!
leveragestech
2
46
より快適なエラーログ監視を目指して
leveragestech
5
1.6k
絶賛設計中!参画者のエンゲージメントを最大化する体験重視のオンボーディング
leveragestech
1
100
SREが強化するべき組織のケイパビリティ
leveragestech
0
84
DevOps実現のための私たちのSREのあり方
leveragestech
1
64
アウトプット=アウトカムではない世界で開発生産性を考える
leveragestech
4
770
Other Decks in Technology
See All in Technology
Deep dive into Nuxt Server Components
wattanx
1
380
Vue.js、Nuxtの機能を使い、 大量のコピペコードをリファクタリングする
igayamaguchi
3
800
Application Signalsで始めるSLO ユーザー満足度を数値化する第一歩
niftycorp
PRO
2
140
Transforming Event Attendees into Lifelong Donors: Insights from Claire Axelrad
auctria
PRO
1
110
Do you know “Environment Variables” ?
akimiya
0
140
AWS DDKを利用したDataOps事始め
beex
1
160
不要なリソースを自動で定期的に整理する方法 ~Sandboxアカウントのコストを削減しよう!~
amixedcolor
4
220
RSGT Walk Through
kawaguti
PRO
2
370
自然言語処理を役立てるのはなぜ難しいのか
pfn
PRO
14
4.2k
Amazon Managed Grafana で AWS IoT TwinMaker によるデジタルツインアプリケーションを動かしてみた
wakatsuki
0
110
Unlearn Modularity
lemiorhan
6
280
とある事業会社にとっての Kaggler の魅力
hakubishin3
7
1.5k
Featured
See All Featured
Fireside Chat
paigeccino
32
3k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
The Language of Interfaces
destraynor
154
24k
Building Better People: How to give real-time feedback that sticks.
wjessup
362
19k
Learning to Love Humans: Emotional Interface Design
aarron
272
40k
Automating Front-end Workflow
addyosmani
1365
200k
Ruby is Unlike a Banana
tanoku
96
11k
[RailsConf 2023] Rails as a piece of cake
palkan
49
4.8k
GraphQLとの向き合い方2022年版
quramy
43
13k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
26
700
Embracing the Ebb and Flow
colly
84
4.4k
Transcript
オブザーバビリティ勉強会で模 擬障害対応をやってみた レバテック開発部DevOps推進グ ループSREチーム 蒲生廣人
| © Leverages inc. 2 • 所属 ◦ レバテック開発部DevOps推進グループSREチーム • サービス
◦ レバテック ▪ エンジニアの転職支援、新卒支援 ▪ フリーランスエンジニアの案件支援 • 趣味 ◦ フットサル、ずっと真夜中でいいのに • 好きな言葉 ◦ 「推測するな、計測せよ」 ◦ 「一行のログの先には、一人のユーザーがいる」 自己紹介 Introduction
| © Leverages inc. 3 • オブザーバビリティ導入へのハードル • 模擬障害対応やってみた • 模擬障害対応の効果
• まとめ アジェンダ INDEX
オブザーバビリティ導入までのハードル
| © Leverages inc. 5 ※ツールの選定や導入決定に至るまでの経緯は端折ります🙏 • オブザーバビリティの解像度 ◦ モニタリングとどう違うの ◦
それまでのモニタリング体制文化からの変容 ▪ インフラのメトリクス、ログ中心の監視設定からユーザー体験重視のプラクティスへ • ツール移行 ◦ 監視設定などの移行コスト ◦ 運用自体の移行コスト 導入当初のハードル オブザーバビリティ導入までのハードル
| © Leverages inc. 6 • オブザーバビリティ勉強会 ◦ オブザーバビリティの考えや概念について学んでもらう • ツールハンズオン
◦ 導入したオブザーバビリティツール(NewRelic)の操作を一通り行うことで、ツールを開発チー ムで触れるようにする • アラート勉強会 ◦ ユーザー視点でのアラートをどう設定していくのか ◦ NewRelicのアラート設定ハンズオン • NewRelicアラートのTerraformライブラリ作成 • NewRelic合宿 ◦ GWの中日にあった平日3日間で、出勤している開発部メンバーでアラートの移行作業を行う ◦ その間SREチームががっつりサポート ハードルを超えるための取り組み オブザーバビリティ導入までのハードル
| © Leverages inc. 7 • 具体的な普段の運用方法の解像度が上がりきらない ◦ APMなど新しい機能をどう運用にのせていくか • いざ障害が発生した際に使いこなせるかわからない
◦ ツールを使ったトラブルシューティング経験がないので、インシデント時の対応に不安が残る 解決しきれない課題 オブザーバビリティ導入までのハードル
模擬障害対応やってみよう
| © Leverages inc. 9 • 具体的な普段の運用方法の解像度が上がりきらない ◦ 実際に運用しているサービスのテレメトリをツールで見れる状態にして 開発者が分析できる状態を作る •
いざ障害が発生した際に使いこなせるかわからない ◦ 実際に障害を起こしてみて、導入したツールを使って何ができるか、トラブルシューティングをど うやっていくのか、を体験させてみる どうしてやるの 模擬障害対応やってみよう
| © Leverages inc. 10 • 対象 ◦ NewRelicのライセンスを配った社員約30名ほど • シナリオ選び
◦ 実際に過去に起きたインシデントの中から、売上損失につながりやすいインシデントシナリオを3 つ用意 • 環境 ◦ 関係するサービスのSTG環境 ▪ 開発者以外の社内の人が使っているケースがあるので事前に告知 ▪ ゴミデータができるなど不可逆性の高いものは、模擬障害対応用のデータベースを作って そちらで実施 どうやったの 模擬障害対応やってみよう
| © Leverages inc. 11 どうやったの 模擬障害対応やってみよう NewRelicのワークロードという機能 を使って、関連するアプリケーションや リソースをひとまとめで管理。 障害発生時に、どこで問題が発生して
いるか可視化してくれるようにした
| © Leverages inc. 12 どうやったの 模擬障害対応やってみよう フリーランスのエンジニアが案件を探すた めの案件検索画面のレイテンシをアラート に設定して、 中でゴニョゴニョしてレイテンシを悪化さ
せた
模擬障害対応の効果
| © Leverages inc. 14 • 具体的な普段の運用方法の解像度が上がりきらない ◦ APMなど新しい機能をどう運用にのせていくか 運用のイメージの解像度UP 模擬障害対応の効果
• 新しく使う機能でダッシュボードやアラートを作成し、それらを使って調査をしても らった ◦ これの一個前の勉強会で、ダッシュボードとアラートの作成ハンズオンをやって いるので概念は分かってる ◦ 自システムの設定例を見てもらうことで、自分たちで設定する時の参考にして もらった
| © Leverages inc. 15 • いざ障害が発生した際に使いこなせるかわからない ◦ ツールを使ったトラブルシューティング経験がないので、インシデント時の対応に不安が残る 障害発生時のトラブルシューティングの解像度UP 模擬障害対応の効果
• 過去に起きた障害を、新しいツール(NewRelic)を使って調査してもらうことで 実際の障害対応に近い体験をしながらツールの扱いに慣れてもらった
まとめ
| © Leverages inc. 17 • 障害対応をカジュアルな気持ちで体験できる ◦ ISUCONに近いゲーム感覚があった • 解決すべき問題に対して、ツールを駆使する体験ができる
◦ ハンズオンだけだと具体的にツールを役立たせる、みたいなところまではできないけど 障害を解決するっていう問題に対して取り組ませるのは、また違う頭の使い方をするところがいい • 出題者側はシステムの仕組みを理解するいい機会になる ◦ 「こここうなってたのね!」とか「こうするとここが壊れるのね!」っていうアハ体験は楽しかった ◦ でも準備は大変 模擬障害対応はいいぞ(準備は大変だけど) まとめ
| © Leverages inc. 18 • Xアカウント:@gamonges_eng • レバテック技術広報アカウント:@levtech_dev • レバテック技術ブログ:Zenn
NewRelicに移行した経緯が書いてあるADRをチームメンバーが公開してくれました!!🎉🎉🎉 蛇足