Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
障害はチャンスだ! 障害を前向きに捉える
Search
Recruit Technologies
November 04, 2020
Technology
1
590
障害はチャンスだ! 障害を前向きに捉える
2020/11/04_ Data Engineering Study #4「データ分析基盤の障害対応事例LT祭り」での、山田の講演資料になります
Recruit Technologies
November 04, 2020
Tweet
Share
More Decks by Recruit Technologies
See All by Recruit Technologies
Flutter移行の苦労と、乗り越えた先に得られたもの
rtechkouhou
3
11k
ここ数年間のタウンワークiOSアプリのエンジニアのチャレンジ
rtechkouhou
1
1.4k
大規模環境をAWS Transit Gatewayで設計/移行する前に考える3つのポイントと移行への挑戦
rtechkouhou
1
1.8k
【61期 新人BootCamp】TOC入門
rtechkouhou
3
41k
【RTC新人研修 】 TPS
rtechkouhou
1
40k
Android Boot Camp 2020
rtechkouhou
0
40k
HTML/CSS
rtechkouhou
10
49k
TypeScript Bootcamp 2020
rtechkouhou
9
44k
JavaScript Bootcamp 2020
rtechkouhou
1
42k
Other Decks in Technology
See All in Technology
工場IoTを実現するClassmethod PLC Data to Cloudのご紹介 | DevelopersIO 2024 福岡
cmakky
0
210
学びの敷居を下げるためにどんな工夫をしたの?
mineo_matsuya
3
320
ベイジアンABテストってありなの? / Is Bayesian AB Testing Truly Effective?
ak_iyama
1
530
CDKアプリとしてのAmplify Gen2 - @aws-amplify/backendのアーキテクチャにみるCDKベストプラクティス -
fossamagna
0
240
マルチエージェントで性能が上がったText-to-SQLのいま/Text-to-SQL
yoshidashingo
2
1.5k
ビズリーチが目指す「開発生産性」ダッシュボード 〜 データ収集の壁と乗り越え方 〜 / dev-productivity-con2024
visional_engineering_and_design
14
7.5k
MLP Can Be A Good Transformer Learner
safie
1
120
WordPressサイトのかなり現実的な制作の流れ
webbingstudio
1
150
EC2の脆弱性対応で何が使える? Inspector や SSM あたりを整理する #nakanoshima_dev
masahirokawahara
1
610
IaCツールのいろいろ
takesection
0
220
機械学習クラスタ コンテナネットワーキング BoF
pfn
PRO
1
160
えにしテックさん15周年に寄せて〜万葉と私のこれまでの学び〜
nay3
46
28k
Featured
See All Featured
Writing Fast Ruby
sferik
623
60k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
143
44k
Making the Leap to Tech Lead
cromwellryan
126
8.7k
Art, The Web, and Tiny UX
lynnandtonic
290
20k
Six Lessons from altMBA
skipperchong
22
3.2k
How to Ace a Technical Interview
jacobian
273
23k
Practical Orchestrator
shlominoach
184
9.9k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
9k
The Cult of Friendly URLs
andyhume
74
5.8k
Designing with Data
zakiwarfel
96
4.9k
Optimising Largest Contentful Paint
csswizardry
14
2.6k
The World Runs on Bad Software
bkeepers
PRO
62
10k
Transcript
障害はチャンスだ! 障害を前向きに捉える 2020/11/04 Data Engineering Study #4 株式会社リクルート 山田 雄
Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て 山田 雄(Yamada Yu) @nii_yan 社会人歴 20年ぐらい データエンジニア
(データ基盤の開発・運用) AWS/GCP/BigData/Mail/Hadoop...
None
None
None
データ基盤は一度出来ると使えるのが当 たり前になり、エンジニアは責められる 事があっても褒められる事はなくなる
なので 障害対応は とても重要です!
障害対応 によって得られる事もある
None
障害対応時に起きること モブプロ/ペアプロになり、他の人のコマンドを見られる その場にいる人での対応なので、知らないシステムでも仕様を知れる →障害対応は自身の能力を伸ばせるチャンス!! 障害対応には率先してあたりましょう 障害対応時のルールを事前に定めておくことも重要
障害は 振り返りが とても大事
ポストモーテム 障害の事後検証報告書 ポストモーテムを作る事によって障害復旧に携わった本人以外に、 組織も成長出来る。 googleで障害が起きた時などにも発表される ・BACKGROUND ・ISSUE SUMMARY ・ROOT CAUSE
・REMEDIATION AND PREVENTION ・DETAILED DESCRIPTION OF IMPACTなど・・・
ポストモーテム例 ▪概要 ▪インパクト ▪根本原因 ▪発生原因 根本原因よりも深堀りした内容 ▪対応 ▪教訓 ・うまくいったこと ・うまくいかなかったこと
・幸運だったこと ▪タイムライン ・yyyy-MM-dd HH:mm:ss など出来るだけ細かく ▪再発防止策
まとめ • 障害は起きないに越した事はない ◦ ですが、障害の起きないシステムは存在しない • 障害は、人も組織も成長出来るチャンスでもある ◦ 障害対応の仕方によって基盤の価値が変わる
Fin.