Data Observability：企業資料管理技術的未來顯學

隨著 Observability 的觀念開始普及，如同當年的 DevOps 一樣，Observability 也開始影響其他領域，而 Data 就是其中一個重要領域。本場演講就讓我們來認識關於 Data Observability 的 What's it ? Why it matters? Data Observability 的發展與現況，以及為何企業開始需要關注這一個新興關鍵字。

Transcript

1. Data Observability： 企業資料管理技術的未來顯學 Cheng Wei Chen @ DevOpsDays Taipei 2025
2. Cheng Wei Chen 陳正瑋 炬識科技 / Technology Consultant 《Effective DevOps 中 文 版》譯者、GitLab Hero、DevOps Taiwan Community 志 工 https://chengweichen.com
3. 企業內外部每天都在持續產出 大 量 Data 其實這不只是 一 個技術議題。 ? 如何妥善管理與應 用 ？
4. 軟體 除了 Code 和 Infrastructure， 還有什麼與 軟體 密切相關？ Data
5. 程式碼 為了軟體，為了程式碼，我們做了很多努力⋯⋯ Code
6. Infra 為了 Infrastructure，我們也做了很多努力⋯⋯ 基礎設施 / 架構
7. Data 但為了 Data，你有沒有為它做過什麼？ 資料 / 數據 回答我 ! Look in my EYES ! 圖片由 Google Gemini 生 成 你對於 Data 的認識有多少？
8. 資料 軟體
9. 圖片由 Google Gemini 生 成 如何取得乾淨的水？ Q:
10. Garbage In, Garbage Out 關鍵在於品質 圖片由 Google Gemini 生 成
11. 圖片由 Google Gemini 生 成 為了資料品質， 過去我們做了哪些努力？ Q:
12. 圖片由 Google Gemini 生 成 Data Engineering Data Monitoring Data Governance Data Quality Data Engineering
13. 圖片由 Google Gemini 生 成 Data Engineering Data Monitoring Data Governance Data Quality Data Engineering Q：為什麼還是無法解決問題？
14. Q：Why Observability？ 讓我們換 一 個問題 明明你過去也有做 Monitoring 啊？
15. 圖片由 Google Gemini 生 成 圖片由 Google Gemini 生 成 被動反應 主動預防 單點監視 完整脈絡 Monitoring Observability
16. 圖片由 Google Gemini 生 成 主動預防 完整脈絡 Observability Data Observability? 資訊透明度 即時性
17. 圖片出處：https://www.montecarlodata.com/blog-interpreting-the-gartner-data-observability-market-guide/ Gartner Hype Cycle for Data and Analytics Governance, 2024
18. 圖片出處：https://www.amazon.com/Fundamentals-Data-Observability-End-End/dp/1098133293 《Fundamentals of Data Observability》 2023.09.19 出版
19. 圖片出處：https://www.infoq.com/articles/culture-trends-2025/ InfoQ Trends Report 2025
20. 截圖出處：https:// fi rsteigen.com/blog/data-pipeline-observability/ Data Observability 或 Data Pipeline Observability？
21. Data Observability Tools 資料來源：https://www.gartner.com/reviews/market/data-observability-tools , https://www.metaplane.dev/blog/top-data-observability-tools More…
22. Data observability provides full visibility into the health of your data and systems so you are the fi rst to know when the data is wrong, what broke, and how to fi x it. —Monte Carlo 出處：https://www.montecarlodata.com/blog-what-is-data-observability/
23. Data observability refers to the practice of monitoring, managing and maintaining data in a way that ensures its quality, availability and reliability across various processes, systems and pipelines within an organization. —IBM 出處：https://www.ibm.com/think/topics/data-observability
24. Data observability is a discipline that aims to address the needs of organizations to ensure data availability, reliability, and quality throughout the data lifecycle— from ingestion to analytics and automation. Ensuring data trustworthiness and security can pose signi fi cant hurdles for organizations that rely on data to inform business and product strategies, optimize and automate processes, and drive continuous improvements. —Dynatrace 出處：https://www.dynatrace.com/knowledge-base/data-observability/
25. Data Product 是 AI 引擎的燃料， 而 Data Observability 是保證燃料可靠度的基礎。
26. 支 柱名稱 定義 指標範例 可以解答的商業問題 新鮮度 (Freshness) 衡量 Data 的即時性和更 新頻率。 上次更新時間、延遲、
 批次作業完成時間。 「我們的銷售數據是否 足 夠即時，以便 支 援今 日 的 報告需求？」 數據量 (Volume) 監控 Data 的完整性和數 量是否符合預期。 記錄數量差異、
 遺失的 Data 數。 「與歷史平均相比，今 日 的交易數據量是否在正常 範圍內？」 品質
 (Quality) 檢視 Data 是否符合預期 的統計特徵和品質標準， 例如值的範圍、空值比例 等。 空值百分比、唯 一 值比 例、 Data 類型匹配度、 異常值偵測率、錯誤率。 「客 戶 年齡數據中是否存 在異常值或不合理的數據 分佈？」 結構 (Schema) 追蹤 Data 的資料結構或 格式是否發 生 意外變更。 Schema 變更告警、欄位 數量、Data 類型驗證。 「產品資料表的結構是否 發 生 了未經通知的變更， 導致報表出錯？」 血 緣 (Lineage) 描繪 Data 的來源、轉換 過程、最終去向以及被誰 使 用 。 上下游依賴關係圖、影響 分析報告、數據轉換追 蹤。 「如果這個數據源出現問 題，會影響哪些下游的報 表和分析？」 Data Observability 五 大 支 柱
27. 圖片由 Google Gemini 生 成 導入 Data Observability 的挑戰？ Q:
28. 1. 初期投資與長期效益的平衡點 2. 工 程團隊的技能升級與轉型 3. 打破部 門 牆，建立共同的資料品質 文 化 4. 資料品質指標的訂定與分析 5. 規模化，擴 大 應 用 範圍 導入 Data Observability 的挑戰？
29. 小結
30. Data Observability 資訊透明度 即時性 Observability Metrics Logs Traces Freshness Quality Volume Schema Lineage
31. Data Observability 資訊透明度 即時性 Observability 用 最合乎「成本效益 + 帶來價值」的 方 式， 提升對於＿＿＿＿的觀測能 力 與理解能 力 。 整體系統 資料 ⋯⋯
32. 圖片由 Google Gemini 生 成 資料 再次偉大！ 讓
33. 圖片來源：https://towardsdatascience.com/what-the-ops-are-you-talking-about-518b1b1a2694 Data / DataOps 並不孤單！
34. 強化團隊的 Data 意識 品質 價值
35. 圖片由 Google Gemini 生 成 當你的競爭對手都在 提升團隊的資料意識、 資料工程、資料監控、 資料可觀測性、 資料可靠性工程、 資料品質、資料治理⋯⋯ 那麼你為 Data 做了什麼？ 資料掏金熱， 你加入了嗎？ 擁抱不確定性，迎接數據未來