障害対応訓練でチームの弱さを知る

Transcript

1. AI時代の障害対応訓練 ～インシデントに「強いチーム」をつくる～ 障害対応訓練で チームの弱さを知る 2026年10月22日 Tebiki株式会社 黒木 洋平（杞憂）
2. 自己紹介 黒木 洋平 @kiyou77 QAエンジニア Tebiki株式会社 QREチーム（QAE＋SRE） 2025年入社 プロダクト横断での品質改善とテスト効率化 社外活動として、WACATE 実行委員 （合宿型のテストワークショップ） テスト・QAのコミュニティでは 杞憂 として活動 きゆう 2
3. 自己紹介 この発表のもとになったブログ 3
4. Tebikiについて Tebiki株式会社：2018年創業のスタートアップ ミッションは「現場の未来を切り拓く」 デスクレスワーカーの課題解決に向けて、2つのプロダクトを開発 動画マニュアルを中心に、 現場ノウハウを可視化する 現場の紙帳票をデジタル化して、 自動でデータ分析まで行う 4
5. Tebikiについて 自分の立ち位置と開発への関わり方 Dev el o pm n ar en t e at io as Platform Team er QAはEnabling QAEとして、テスト技術をPEに委譲 CRE Dev Team Op PEが自分で設計し、自分でテストする Le 開発チーム（PE）を中心に、周りのチームが支える組織 Enabling Team l Re n e EM QAE 現在のQA は Platform Team に寄り、更に組織横断で品質に関わる立ち位置 5
6. Tebikiについて 障害対応訓練のこれまで 2025.1 tebiki 現場分析 2025.6 2025.12 ブログに書いた → 2026.7 2026.10 ← ブログに書いた tebiki 現場教育 NEW → 立ち上げ 型化と継続 課題の発見 6
7. 障害対応訓練でチームの弱さを知る 1 2 3 4 障害対応訓練の立ち上げ 訓練の流れ 訓練当日の様子 学びと継続における課題 7
8. 障害対応訓練の立ち上げ 現場分析チームの訓練がどのように立ち上がったか 2025.1 tebiki 現場分析 2025.6 第1回 2025.12 ブログに書いた → 2026.7 2026.10 ← ブログに書いた tebiki 現場教育 NEW → 立ち上げ 型化と継続 課題の発見 8
9. 障害対応訓練の立ち上げ きっかけは組織の拡大 プロダクトの成長に伴い、組織の規模が およそ2倍 に インシデント対応は、オンボーディングで手渡せない マニュアルを読むだけでは、対応の流れを体感としてつかめない 都合よく本番障害が起こっても、お客様が困っている状況を練習には使えない 既存メンバーが抱える不安 負荷もプレッシャーも大きい対応を、自分しかできない状況を解消したい tebiki現場分析チームで上がった 「障害訓練をやるとよいのでは？」という声をQAエンジニアが拾い企画へ 9
10. 障害対応訓練の立ち上げ 企画の共有 朝会でチーム全体に企画を相談した 当時のtebiki現場分析チームは全員で朝会をする規模 組織拡大によって、まさにチームごとの朝会に変わろうとしていたタイミング PEの工数を管理していたPdMも、安全・品質につながる取り組みを歓迎 チームとして課題感があったこともあり、反対もなく実施へ！ 10
11. 障害対応訓練でチームの弱さを知る 1 2 3 4 障害対応訓練の立ち上げ 訓練の流れ 訓練当日の様子 学びと継続における課題 11
12. 訓練の流れ どのように訓練を進めているか 2025.1 tebiki 現場分析 2025.6 第1回 ブログに書いた → 2025.12 第2回 tebiki 現場教育 2026.7 第3回 2026.10 ← ブログに書いた NEW → 立ち上げ 型化と継続 課題の発見 12
13. 訓練の流れ 訓練全体のプロセス ～1ヵ月前 ～1週間前 当日 後日 企画・役割分担 資料作成・企画の共有 疑似障害の仕込み 企画チームの ふりかえり 30分 MTG 40分 各自作業 疑似障害の検討 朝・30分 訓練本番 60〜120分 各自作業 60分＋バッファ30分 当日の段取り・進捗確認 参加者のふりかえり 30分 MTG 15分 30分 準備のMTGは計1時間に抑え、なるべく少ない工数で回せる進め方に 13
14. 訓練の流れ 企画MTG：実施要否から決める 実施の要否と、実施する場合の目的・ねらいを決める （としてはいるが、これまでtebiki現場分析では実施判断の会を3回行い、 3回とも開催となった。継続的に新しいメンバーが入り続けているため） 実施するとなったら、参加メンバーやスケジュール、役割分担を決める 要否から考え、ねらいを設定することで、形骸化してしまうことを防ぐ 14
15. 訓練の流れ 参加者のロール インシデントコマンダー ／ 修正担当 ／ 影響調査担当 ／ 顧客連絡 各1人 また、判断に迷っていそうなときに助け舟を出せる経験者をサポートとして置く 第1回はロールを決めず、役割分担も訓練の一部とした 第2回以降は、経験してほしいロールを指名した 「この人にこの経験をしてほしい」など、訓練のねらいを達成できるように采配を行う 15
16. 訓練の流れ 訓練の実施方法 Sandbox環境に障害を引き起こす変更を入れ 何らかの形で 発覚させる 例：Datadogのシステムアラートきっかけ CSからの問い合わせきっかけ（企画チームがCS役を演じる） 訓練の時間は、開始から 60分（バッファ込み 90分） その中で、訓練のねらいが達成できるように設計 伝えておくこと 訓練の日程・時間（14時ごろに何かが起こります） Sandbox環境で行うこと 秘密にすること どういう障害が起こるか 何をきっかけに発覚するか 16
17. 訓練の流れ 訓練の告知 17
18. 訓練の流れ ふりかえり ホワイトボード上で訓練のふりかえりを実施する 付箋に書き出す内容 訓練の中で起こったこと うまくいった・良かったこと うまくいかなかった・もっとできたこと フィードバックの焦点 インシデント対応として、 対応内容に漏れがないか 認識ズレを抱えたまま 進めてしまわなかったか 障害の内容は状況次第でも、対応すべきプロセスは変わらない これを漏れなく進めることが重要 18
19. 障害対応訓練でチームの弱さを知る 1 2 3 4 障害対応訓練の立ち上げ 訓練の流れ 訓練当日の様子 学びと継続における課題 19
20. 訓練当日の様子 第3回の実際の様子をご紹介 2025.1 tebiki 現場分析 2025.6 2025.12 ブログに書いた → 2026.7 第3回 2026.10 ← ブログに書いた tebiki 現場教育 NEW → 立ち上げ 型化と継続 課題の発見 20
21. 訓練当日の様子 疑似障害の仕込み 架空の組織名で リアリティを出す ログの残り方にパターンを付け、一様に対応できないようにする意地悪 21
22. 訓練当日の様子 訓練開始のきっかけ 訓練だと分かるよう明記 企画チームが問い合わせを入れ、訓練を始める 22
23. 訓練当日の様子 企画チームの実況 あとでタイムラインを追い、参加者へのフィードバックのためにログを残す 23
24. 訓練当日の様子 参加者間で認識のズレが発生 別機能と混同 実際の障害 画像アップロード全般が失敗 問い合わせの内容 「画像の書き込みに失敗する」 書き込み後にアップロード処理があるため失敗する ユーザー目線では「書き込みの失敗」に見える 実際の障害の範囲は、問い合わせよりも広い 参加者の受け取り方 「手書き署名」と混同 「画像書き込み」と名前の似た別機能 手書き署名には問題なし 24
25. 訓練当日の様子 ふりかえりボード 25
26. 訓練当日の様子 参加者のふりかえり こうすれば良かったんだな、わかっているようでいなかった といった、やってみたからこその気づき 26
27. 訓練当日の様子 具体的なフィードバック 修正や調査はAIのサポートで高速化している しかし、認識を合わせ、顧客に正しく伝える責任までは、AIに任せられない 27
28. 障害対応訓練でチームの弱さを知る 1 2 3 4 障害対応訓練の立ち上げ 訓練の流れ 訓練当日の様子 学びと継続における課題 28
29. 学びと継続における課題 やってみて分かったこと よかったこと 難しかったこと 対応プロセスを一通り経験できることは 新しいメンバーにとっても大きな安心感につながる 「ねらい」に沿った訓練の設計やメンバーの采配 障害の内容やメンバー構成が、訓練を大きく決定づける 安心感 学び ある程度簡単に対応できる障害内容でも コミュニケーションやプロセスの改善点など やってみて気が付けることが多い チームの弱さの発見や プロセスの改善につながる 訓練の設計と采配 当日のサポート 訓練が始まると企画側も余裕がなくなり その場で適切なサポートができないこともある 始まってしまうと止められないため どれだけ準備できているかが重要 29
30. 学びと継続における課題 継続していく上での課題と対応 これまで 有志の企画チーム これから → あくまで「有志メンバー」なので モチベーションの維持が難しい tebiki現場教育では、企画主体が定まっておらず 継続が上手くできていなかった QREチーム（QAE＋SRE） 固定の有志企画チームではなく、 様々なメンバーを巻き込んでいく プロダクトチームに協力をもらいながら QREが組織横断で訓練を企画 QREチームが企画のオーナーになり、アップデートしながら継続 30
31. 障害対応訓練でチームの弱さを知る 1 2 3 4 障害対応訓練の立ち上げ 訓練の流れ 訓練当日の様子 学びと継続における課題