DevOpsDays Taipei 2026 - Alert 分析進化史

Alert 分析進化史：從 Excel 到 AI Agent，6 個月的迭代與妥協

https://devopsdays.tw/2026/session/4767

Transcript

1. Alert 分析進化史 Miles @ 2026/6/26 DevOpsDays Taipei 2026 從 Excel 到 AI Agent，6 個 月 的迭代與妥協
2. https://github.com/MilesChou Miles PHP, Docker, DevOps
3. Outline • 講古聽故事 • AI Work fl ow 設計經驗分享
4. 前情提要
5. 前情提要 • 2024 以前，不同團隊的 Alert 是各 自 管理的 • 2024 完成了 Alert 集中服務，中央可控管觸發 水 位，團隊可在 Kibana 查 Log
6. 前情提要 • 2024 以前，不同團隊的 Alert 是各 自 管理的 • 2024 完成了 Alert 集中服務，中央可控管觸發 水 位，團隊可在 Kibana 查 Log • 2025 專案延續，想出讓 Alert 可以不擾 民 的 方 法或機制
7. 前情提要 開局就是 一 份 Excel
8. 就來分析 Excel 吧
9. 分析 Excel 資料 • 漏看 • 查很慢 • 只有對話資訊，沒有細節 • 跨團隊理解缺少必要知識
10. 不然，來查 Kibana 好了
11. Kibana 分析 message Top N 使 用 Lens 的 Top values
12. Kibana 分析 message Top N
13. Kibana 分析 message Top N
14. 再來我該怎麼辦？ • 定義 Alert Model，把 log 規範化 • 由團隊提供分類 方 法，直接 用 分類 方 法下 regex • 強制對所有訊息 group by + regex 分類 • 參考資訊 • 12,556 錯誤 / 1,673 種樣態
15. 是時候展現出 AI 的實 力
16. AI 分析 Excel 資料 • 想請 AI 分類數百筆 alert，結果 AI 用 「它覺得的關鍵字」做表 面 比對 • 例如：timeout 一 律歸成「網路問題」，但其實可能是 db slow query • 最後 Excel 的資料是 人工 分類完的
17. AI 分析 Kibana 資料 • Kibana 有提供 API 可以下載 JSON 資料 • 本地有 JQ 可以 用
18. AI 分析 Kibana 資料 • Message Group by 後的資料（Random） • 服務 Alert 分布 • 時間區段 Alert 分布
19. AI 分析 Kibana 資料
20. GitHub Repo
21. GitHub Issues
22. GitHub Project
23. Teams
24. AI Work fl ow 設計
25. AI Work fl ow 設計 Overview
26. AI Work fl ow 設計 下載資料
27. AI Work fl ow 設計 單 日 統計報表流程
28. AI Work fl ow 設計 當 月 趨勢
29. AI Work fl ow 設計 根因分析 RCA
30. AI Work fl ow 設計 根因分析 RCA
31. AI Work fl ow 設計 跨團隊會議
32. AI Work fl ow 設計 洞察報告
33. AI Work fl ow 設計 Teams 通知
34. AI Work fl ow 設計 Teams 通知
35. AI Work fl ow 設計的經驗分享 • 固定執 行 的任務，比起 prompt，腳本才是最適合的 • Token 用 量更少 • 失誤率更低 • 白 名單更好設定
37. AI Work fl ow 設計的經驗分享 • 拆多個階段 • 每個階段的產出都可被檢核 • 第 一 個階段完成，第 二 個階段失敗不 用 全部重來 • metadata 是 JSON 格式，流程階段儲存在裡 面
38. AI Work fl ow 設計的踩雷經驗 • 不要 用 MCP， 用 JQ 就好 • 不要 用 Database， 用 JSONL 就好 • 不要任意調整開 issue 流程，是需要經過討論的
39. Skill 設計 • 78 個檔案 • 40% 執 行 任務 • 60% 教 AI 做事
40. Hannah Yang @ 5/28 DevOps Taiwan Meetup #78 「將標準整理清楚，AI 超好 用 」
41. 最後，做了這麼多，有 用 嗎？
43. 在沒有 AI 的時候 我們發 生 Alert 都怎麼處理？
45. 人 覺得不好處理的，AI 通常也不好處理
46. 如何 一 句話簡述主幹開發，我會說 「把程式寫好」
47. 今天是聊 Alert，我會說 「把 Log 寫好」
48. 事實上，把程式寫好、把 Log 寫好 都是在解決「 人 會遇到的問題」