システムの各種ログを確認する Dashboardの開発

Transcript

1. ©2024 Metaps Holdings, Inc. システムの各種ログを確認する Dashboardの開発 株式会社メタップスホールディングス SREエンジニア 是永 総⼀郎
2. ©2024 Metaps Holdings, Inc. ⾃⼰紹介 是永 総⼀郎 株式会社メタップスホールディングス SREエンジニア Soichiro Korenaga 好きなAWSサービス：AWS Systems Manager 趣味：折り紙 ＠s_korenaga
3. ©2024 Metaps Holdings, Inc. 折り紙
4. ©2024 Metaps Holdings, Inc. 社名
 株式会社メタップスホールディングス 
 (Metaps Holdings, Inc.) 
 設立
 2023年1月26日　
 資本金
 100百万円（資本準備金を含む）
 ※2023年12月末時点
 所在地
 東京都渋谷区渋谷二丁目24番12号 
 渋谷スクランブルスクエア 
 従業員数
 72名 ※2023年12月末時点
 経営陣
 代表取締役　山﨑 祐一郎 取締役　　　原 大輔
 取締役　　　青沼 克典 
 社外取締役　大谷 仁人 
 監査役　　　萩野矢 宏樹 事業内容
 クラウドとAIを中心にしたインキュベーション 
 テクノロジー企業への投資 
 
 MISSION テクノロジーでお金と経済のあり方を変える
 
 世界を解き放つ
 
 
 VISION 会社概要
5. ©2024 Metaps Holdings, Inc. 5 srestはAWSファンデーショナルテクニカルレビュー （FTR）認証を取得しています 無料トライアル実施中 ＞
6. ©2024 Metaps Holdings, Inc. ©2024 Metaps Holdings, Inc. 6 インフラ基盤 アプリケーションが 動いてる環境 アプリケーションのエラーを トラッキングするツール オンコール担当 (SRE) に障害を エスカレーションするサービス インフラ基盤の監視 エラートラッキング オンコール通知 srestは各種インフラサービスのインテグレーション先となり、 各サービスのイベントログを集積‧可視化する基盤に イベントログの集積‧可視化 システムメトリクス 監視ツール 6 6 無料トライアル実施中 ＞
7. ©2024 Metaps Holdings, Inc. システムログをいい感じに⾒やすくしたい！
8. ©2024 Metaps Holdings, Inc. 背景 SREの⽇常業務 システムの正常性の確認 AWS、Datadog、Sentry、etc. 複数アカウントやサービスをまたがると⼤変 ⾯倒なので必要な情報はSlackに送るようにしたい (オンコール対象ではないものの発⽣したら確認したいイベントとか特に)
9. ©2024 Metaps Holdings, Inc. Slack通知ツールの開発 欲しい情報をSlackに通知するツールを開発
10. ©2024 Metaps Holdings, Inc. 欲しい情報と情報源 通知する内容(⼀部) 通知内容 理由 トリガー Health Dashboardのイベント 対応期限の短い問題を見逃すと危険 healthのイベント GuardDutyの検出結果 致命的な脆弱性にはなるべく早く対応したい GuardDutyのイベント SecurityHubの検出結果 致命的な脆弱性にはなるべく早く対応したい SecurityHubのイベント Inspectorが検知した脆弱性の検出結果 致命的な脆弱性にはなるべく早く対応したい Inspectorのイベント IAMの権限が無いため失敗した操作ログ 権限が無い不正な動きをしていないか確認 CloudTrailのイベント RDSのdatabaseやTableの作成・削除のログ RDS内で不正な動きがないか確認 Cloudwatch Logs ECSのオートスケーリングのログ オートスケールの理由を確認 ECSのイベント Configのルール変更 不審な動きや意図しない変更をいち早く察知したい Configのイベント WAFのブロックIPを通知 攻撃の検知や意図しないIPブロックを察知したい WAFのイベント 各種SaaSのイベント(Webhook経由)
11. ©2024 Metaps Holdings, Inc. 構成図 GuardDuty Config Inspector CloudWatch Logs Lambda Slack Lambda Slack Datadog PagerDuty Slack Webhook EventBridge EventBridge Health Dashboard Sentry ‧ ‧ ‧ ‧ ‧ ‧
12. ©2024 Metaps Holdings, Inc. ツールの配布⽅法 SARで各AWSアカウントに配布 開発したLambdaの提供が簡略化 Serverless Application Repository Lambda Developer
13. ©2024 Metaps Holdings, Inc. 結果 確認したい情報がSlackで⾒れるようになった ‧緊急で対応が必要な情報(主にHealth Dashboard)も素早く検知 ‧いつもと違う挙動が発⾒しやすい ‧アカウントやサービスを切り替える⼿間を省略 ‧細かな対応は⾃動実⾏してくれる
14. ©2024 Metaps Holdings, Inc. 結果 Happy！
15. ©2024 Metaps Holdings, Inc. 結果 Happy！ かと思われたが…
16. ©2024 Metaps Holdings, Inc. 問題 管理するプロダクトが増えると通知が爆増 通知の⾒落としが発⽣してきた
17. ©2024 Metaps Holdings, Inc. dashboardの開発 Slackに通知している情報を⼀元管理したい   dashboardを開発することに
18. ©2024 Metaps Holdings, Inc. dashboardの構成図
19. ©2024 Metaps Holdings, Inc. dashboardの構成図 データ収集
20. ©2024 Metaps Holdings, Inc. dashboardの構成図 dashboard
21. ©2024 Metaps Holdings, Inc. 実際の画⾯
22. ©2024 Metaps Holdings, Inc. 実際の画⾯ SaaS‧AWSサービス
23. ©2024 Metaps Holdings, Inc. 実際の画⾯ イベント数
24. ©2024 Metaps Holdings, Inc. 実際の画⾯ イベントログ
25. ©2024 Metaps Holdings, Inc. dashboard開発の結果 結果、⽇々の確認作業が簡略化 最近の傾向もわかりやすく(グラフ) 今度こそHappy！
26. ©2024 Metaps Holdings, Inc. dashboardのサービス化 この仕組みは他の企業でも使えるのでは   サービス化
27. ©2024 Metaps Holdings, Inc. srestの構成図
28. ©2024 Metaps Holdings, Inc. まとめ ‧⽇々のアカウント巡回をSlack通知で楽に ‧Slack通知地獄をdashboardで楽に ‧楽にしてハードルを下げよう