Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
障害はチャンスだ! 障害を前向きに捉える
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
Recruit Technologies
November 04, 2020
Technology
1
760
障害はチャンスだ! 障害を前向きに捉える
2020/11/04_ Data Engineering Study #4「データ分析基盤の障害対応事例LT祭り」での、山田の講演資料になります
Recruit Technologies
November 04, 2020
Tweet
Share
More Decks by Recruit Technologies
See All by Recruit Technologies
Flutter移行の苦労と、乗り越えた先に得られたもの
rtechkouhou
3
12k
ここ数年間のタウンワークiOSアプリのエンジニアのチャレンジ
rtechkouhou
1
1.6k
大規模環境をAWS Transit Gatewayで設計/移行する前に考える3つのポイントと移行への挑戦
rtechkouhou
1
2k
【61期 新人BootCamp】TOC入門
rtechkouhou
3
42k
【RTC新人研修 】 TPS
rtechkouhou
1
41k
Android Boot Camp 2020
rtechkouhou
0
41k
HTML/CSS
rtechkouhou
10
51k
TypeScript Bootcamp 2020
rtechkouhou
9
46k
JavaScript Bootcamp 2020
rtechkouhou
1
43k
Other Decks in Technology
See All in Technology
マルチプレーンGPUネットワークを実現するシャッフルアーキテクチャの整理と考察
markunet
2
240
白金鉱業Meetup_Vol.22_Orbital Senseを支える衛星画像のマルチモーダルエンベディングと地理空間のあいまい検索技術
brainpadpr
2
290
vLLM Community Meetup Tokyo #3 オープニングトーク
jpishikawa
0
320
ナレッジワーク IT情報系キャリア研究セッション資料(情報処理学会 第88回全国大会 )
kworkdev
PRO
0
170
JAWS FESTA 2025でリリースしたほぼリアルタイム文字起こし/翻訳機能の構成について
naoki8408
1
360
スクリプトの先へ!AIエージェントと組み合わせる モバイルE2Eテスト
error96num
0
160
マネージャー版 "提案のレベル" を上げる
konifar
22
15k
Claude Codeが爆速進化してプラグイン追従がつらいので半自動化した話 ver.2
rfdnxbro
0
510
「Blue Team Labs Online」入門 - みんなで挑むログ解析バトル
v_avenger
0
150
ナレッジワークのご紹介(第88回情報処理学会 )
kworkdev
PRO
0
190
AIエージェント時代に備える AWS Organizations とアカウント設計
kossykinto
3
800
Exadata Database Service on Dedicated Infrastructure(ExaDB-D) UI スクリーン・キャプチャ集
oracle4engineer
PRO
8
7.2k
Featured
See All Featured
The AI Search Optimization Roadmap by Aleyda Solis
aleyda
1
5.4k
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
sarafernandez
1
1.3k
Java REST API Framework Comparison - PWX 2021
mraible
34
9.2k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.3k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
287
14k
Building a Scalable Design System with Sketch
lauravandoore
463
34k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
199
73k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
25
1.8k
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
1
670
Writing Fast Ruby
sferik
630
63k
svc-hook: hooking system calls on ARM64 by binary rewriting
retrage
2
160
A better future with KSS
kneath
240
18k
Transcript
障害はチャンスだ! 障害を前向きに捉える 2020/11/04 Data Engineering Study #4 株式会社リクルート 山田 雄
Hobby & Ability ビール/日本酒/ゴルフ/トミカ/子育て 山田 雄(Yamada Yu) @nii_yan 社会人歴 20年ぐらい データエンジニア
(データ基盤の開発・運用) AWS/GCP/BigData/Mail/Hadoop...
None
None
None
データ基盤は一度出来ると使えるのが当 たり前になり、エンジニアは責められる 事があっても褒められる事はなくなる
なので 障害対応は とても重要です!
障害対応 によって得られる事もある
None
障害対応時に起きること モブプロ/ペアプロになり、他の人のコマンドを見られる その場にいる人での対応なので、知らないシステムでも仕様を知れる →障害対応は自身の能力を伸ばせるチャンス!! 障害対応には率先してあたりましょう 障害対応時のルールを事前に定めておくことも重要
障害は 振り返りが とても大事
ポストモーテム 障害の事後検証報告書 ポストモーテムを作る事によって障害復旧に携わった本人以外に、 組織も成長出来る。 googleで障害が起きた時などにも発表される ・BACKGROUND ・ISSUE SUMMARY ・ROOT CAUSE
・REMEDIATION AND PREVENTION ・DETAILED DESCRIPTION OF IMPACTなど・・・
ポストモーテム例 ▪概要 ▪インパクト ▪根本原因 ▪発生原因 根本原因よりも深堀りした内容 ▪対応 ▪教訓 ・うまくいったこと ・うまくいかなかったこと
・幸運だったこと ▪タイムライン ・yyyy-MM-dd HH:mm:ss など出来るだけ細かく ▪再発防止策
まとめ • 障害は起きないに越した事はない ◦ ですが、障害の起きないシステムは存在しない • 障害は、人も組織も成長出来るチャンスでもある ◦ 障害対応の仕方によって基盤の価値が変わる
Fin.