Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introdu...
Search
SadayoshiTada
October 30, 2024
Technology
1
160
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
SRE NEXT 2024をふりかえって 〜学びをもとにした取り組み事例紹介〜で発表した資料です。
SadayoshiTada
October 30, 2024
Tweet
Share
More Decks by SadayoshiTada
See All by SadayoshiTada
開発者が安心して実行可能なSQL実行基盤の取り組み/Initiatives for a Secure SQL Execution Platform for Developers
taddy_919
2
5.6k
バックアップのリストア検証が可能な AWS Backup Restore testing を使ってみた/AWS Backup Restore testing, which enables backup restore verification
taddy_919
0
530
今日から実践!継続的に自分の軌跡を残す方法/Start practicing today! How to Continuously Keep Track of Yourself
taddy_919
0
3.5k
スタートアップ企業での散乱した システムリリースフローをととのえる話/Maintain the system release flow
taddy_919
1
3.7k
スタートアップ企業でのデータ活用に向けての取り組み/Working with Startups to Leverage Data
taddy_919
0
3.3k
スタートアップ企業でのAWS マルチアカウント運用の実践と普及/Practice and dissemination of AWS multi-account operation in a start-up company
taddy_919
1
5k
AWS Organizations と一緒にはじめるアカウント分離/Starting Account Separation with AWS Organaizations
taddy_919
0
2k
データドリブンな組織を目指す、AWSを活用したデータ分析基盤の取り組み/AWS-based data analytics infrastructure initiatives for a data-driven organization
taddy_919
0
2.9k
20200419_Amazon Builder's Library オンライン輪読会 vol.11
taddy_919
0
150
Other Decks in Technology
See All in Technology
新卒1年目が挑む!生成AI × マルチエージェントで実現する次世代オンボーディング / operation-ai-onboarding
cyberagentdevelopers
PRO
1
160
クライアントサイドでよく使われる Debounce処理 をサーバサイドで3回実装した話
yoshiori
1
140
Emacs x Nostr
hakkadaikon
1
150
APIテスト自動化の勘所
yokawasa
7
4k
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.6k
サイバーエージェントにおける生成AIのリスキリング施策の取り組み / cyber-ai-reskilling
cyberagentdevelopers
PRO
2
180
【若手エンジニア応援LT会】AWS Security Hubの活用に苦労した話
kazushi_ohata
0
150
チームを主語にしてみる / Making "Team" the Subject
ar_tama
4
300
サイロ化した金融システムを、packwerk を利用して無事故でリファクタリングした話
coincheck_recruit
3
3.6k
話題のGraphRAG、その可能性と課題を理解する
hide212131
4
1.4k
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
9
120k
日経電子版におけるリアルタイムレコメンドシステム開発の事例紹介/nikkei-realtime-recommender-system
yng87
1
460
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
290
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Bash Introduction
62gerente
608
210k
[RailsConf 2023] Rails as a piece of cake
palkan
51
4.8k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
107
49k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
43
6.6k
Producing Creativity
orderedlist
PRO
341
39k
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
The Invisible Side of Design
smashingmag
297
50k
How GitHub (no longer) Works
holman
311
140k
Transcript
© LayerX Inc. C on fid en tial プロダクトチームへのSystem Risk
Records 導入・運用事例の紹介 2024/10/30 多田貞剛(@taddy_919) SRE NEXT 2024を振り返って 〜学びをもとにした取り組み事例紹介〜
© LayerX Inc. 2 バクラク事業部 PlatformEngineering部 DevOpsチーム 多田 貞剛 (Sadayoshi
Tada)/ taddy 自己紹介 • SIerやスタートアップを経て5社目 ◦ 2022/03〜 株式会社LayerX SNS 𝕏 taddy_919 tasogare0919
目次 Agenda 1. 定期システムモニタリングにおける課題 2. System Risk Recordsとは 3. 弊社内での導入・運用事例紹介
4. まとめ
定期システムモニタリングにおける課題
© LayerX Inc. 5 定期システムモニタリングの運用イメージ 定期システムモニタリングにおける課題 定期的にシステムのメトリクスやログを確認し、怪しい挙動があった場 合、Slackへの投稿やバックログに積んでいた
© LayerX Inc. 6 この運用で感じていた課題感 定期システムモニタリングにおける課題 • Slackで調査するメンバーがアサインされた際、対応ステータスが 見えづらかった •
バックログに追加する時、バックログに載せるべきかを判断するプ ロセスがなく取り急ぎ追加し、対応のアイテムが積み上がっていた • 対応した結果を共有されるが他のメンバーはどんな対応したかは大 まかに把握しているものの、どういう調査や修正の判断をしたかは 見えづらかった
System Risk Recordsとは
8 © LayerX Inc. System Risk Recordsとは System Risk Recordsとは
• SRE NEXT 2024で株式会社diniiの浦山さんが紹介された取り 組み ◦ 発表資料 ◦ Zennの記事 ◦ Youtube • Google SpreadsheetとGoogle Docsでのテンプレートが公開 されている
9 © LayerX Inc. System Risk Recordsの紹介 [Template] System Risk
Records より引用 System Risk Recordsのイメージ(一覧画面)
10 © LayerX Inc. System Risk Recordsの紹介 [Template] System Risk
Records より引用 System Risk Recordsのイメージ(詳細画面) • 概要 • リスクの認知〜原因特定までのログ • 原因 • 対策方針 • 対策ログ • Next Action
11 © LayerX Inc. 発表を聞いての所感 System Risk Recordsとは • 弊社でもNotionを使っているため、発表を参考にSystem
Risk Recordsを取り入れやすいと感じた • 定期モニタリングの課題に対する改善として参考になった
弊社内での導入・運用事例紹介
© LayerX Inc. 13 弊社の運用イメージ(Notionのアイテムプロパティ) 弊社内での導入・運用事例紹介 • 公開済みテンプレートをベースに 設定した •
追加したプロパティとして以下が ある ◦ DatadogのURL ◦ 調査後修正する対象のバック ログのリンク ◦ ポストモーテム後のアクショ ンアイテムのリンク
© LayerX Inc. 14 弊社の運用イメージ(詳細画面) 弊社内での導入・運用事例紹介 • こちらもテンプレートをベース に記載する項目を設定した ◦
概要 ◦ リスクの認知〜原因特定 までのログ ◦ 原因 ◦ 対策 ◦ Next Action
© LayerX Inc. 15 System Risk Records導入後の変化や課題 弊社内での導入・運用事例紹介 • アサインメンバーの対応状況がNotionに残るようになった
◦ 調査後修正を行う場合、バックログで対応を行うフローができた ◦ どういうプロセスを経て調査・修正の対応が行われたかが関係 者が確認できるようになった • 異常な挙動に対する調査・修正に対して、今後のリスクとその優先度 が可視化されるようになった • 1ヶ月強ほど運用して約50件ほど登録されている ◦ リスクの粒度が細かすぎたり、既に恒久対応が完了しているもの もあり管理方針を見直す
まとめ
© LayerX Inc. 17 • SRE NEXT 2024で学んだ、System Risk Recordsを自社に
持ち帰って実践した事例を紹介しました • これからのやっていき!もあるので、開発チームと協力して取り組ん でいきます まとめ まとめ