20250307 雲端原生：引領數位轉型與永續的雙贏之道

https://docs.google.com/presentation/d/1YkCphH9qXruDOOH6u07urDnBOG3sNQX-WuIY5ti--y8/edit?usp=sharing

Transcript

1. 雲端原生：引領數位轉型與永續的雙贏之道 2025 數位永續高峰會 Phil Huang <pichuang@cloudnative.tw> CNCF Ambassador / Senior Cloud Solution Architect, Microsoft 2025/03/07
2. 2 2 % < 全球資料中心的能源消耗 佔全球用電量的 https://www.cncf.io/blog/2024/10/01/cncf-and-sustainability-how-cloud-native-projects-are-shaping-the-green-tech-movement/ Photo by NASA on Unsplash
3. 3 Photo by Rolf van Root on Unsplash 2020 年時就已經採用 7,500 個 節點 https://openai.com/index/scaling-kubernetes-to-7500-nodes/
4. 4 1,920 張 NVIDIA H100-80G 21 天 連續訓練 9.8 T Tokens 想要訓練出類同 Microsoft Phi-4 (14B) 的 Small Language Model (SLM)? 你需要... https://huggingface.co/microsoft/phi-4
5. 5 Phil Huang 黃秉鈞 • CNCF Ambassador 雲原生基金會大使 • Cloud Native Taiwan User Group 成員 • Microsoft 資深雲端解決方案架構師
6. 6 何謂 Cloud Native Computing Foundation (CNCF)? 1. 雲原生計算基金會：是 Linux Foundation 旗下的一個非營利組織，致力推動雲原生技術 的普及，讓軟體能靈活運行於現代雲端環境 2. 建立開源生態系統：該基金會以供應商中立 (Vendor Neutral) 的態度，支援並託管多個 知名開源專案，如 Kubernetes 與 Prometheus，以促進全球技術生態的健康發展 3. 推動標準化與最佳實踐：為雲原生技術制定統一的定義、 API 規範以及最佳實踐，確保各大 專案或產品之間互相操作性高、部署與管理更簡便
7. 7 Kubernetes 是 CNCF 196 個專案當中之一 https://landscape.cncf.io/
8. 8 永續議題與 AI • 法規治理要求 ◦ 歐洲能源效率指令 (EED) 將會要求透明的 資訊中心能源效率報告 ◦ 歐洲人工智慧法案 (EU AI Act) 要求訓練模 型的能源/碳足跡報告 • 自 2012 年來，AI 訓練所運用的算力每 3.43 個月 就會翻倍，到 2018 年，AI 算力需求增長了 30 萬 倍 ◦ OpenAI GPT-4 使用 1.7 Trillion 參數和 13 Trillion Tokens，耗時 100 天，使用 25,000 NVIDIA A100 GPU．估計訓練期 間的能源消耗為 50 GWh，考慮到台灣每 戶每年耗電量為 4,056 kWh，大概可滿足 台灣家庭相當於 12,500 戶每年用電左右
9. 9 https://kccnceu2024.sched.com/event/1YeMh/tutorial-cloud-native-sustainable-llm-inference-in-action-chen-wang-eun-kyung-lee-bo-wen-ibm-huamin-chen-red-hat-cathy-zhang-intel 離線訓練 (Offline Training) 是整個最耗能的 階段，可以佔比超過總耗能的 60%，涉及到 大量資料和計算資源反覆繁雜的訓練
10. 10 永續議題對 CNCF 來說非常重要 CNCF 專門成立一個子組別 Environmental Sustainability 進 行相關議題探討和開發 主要關注議題： 1. 資源優化：採用雲原生技術如 Kubernetes 調度資源技術和 其他 CNCF 可觀測專案通過最佳化資源使用，針對 Power Usage Effectivenss (PUE)、Water Usage Effectiveness (WUE)、Carbon Usage Effectiveness (CUE) 進行數據持續性觀測 2. 成本節約：永續實踐通常與效率提升和成本節約相關，具有相 當直接的經濟效益 3. 風險管理：透過穩定的綠色能源 (Green Power)、再生水資 源等永續措施，企業可以在日益嚴峻的氣候變遷挑戰下維持 正常營運降低能源供給不足的營運風險
11. 11 永續雲端原生的基礎 雲端碳排放 綠色計算 碳/能源計價 基於永續性軟體工程 的架構與設計 追蹤監控實際消耗狀 況，並且換算分數 包含操作時的碳排放 和 新建/處置硬體的碳排放
12. © 2023 Cloud Native Computing Foundation 12 選擇資料中心的區域其實也可以影響碳排變化 Img: https://www.accton.com.tw/design-and-development/ Ref: How Microsoft measures datacenter water and energy use to improve Azure Cloud sustainability | Azure Blog | Microsoft Azure • Green Power: 主要為再生能源 (Renewable Energy)，來源為光 > 風 > 水 > 廢棄物 > 地熱 • Power Usage Effectiveness (PUE): 用電效率， 數字越接近 1 越好，現行 Microsoft 全球資料中心平 均為 1.18，其他多數都在 1.3x ~ 1.5x 左右 • Water Usage Effectiveness (WUE): 用水效率， 單位為 L/kWh，現行 Microsoft 全球資料中心平均 為 0.30 L/kWh • Carbon Usage Effectiveness (CUE): 用碳效率， 單位為 kgCO2/kWh
13. 13 CNCF 與其他永續組織的合作 • Green Software Foundation (GSF) ◦ Software Carbon Intensity (SCI) Specificiation • Linux Foundation Energy (LF Energy) • Cloud Carbon Footprint • Energy Efficient High Performance Computing Working Group (EE HPC WG) • Open Compute Project (OCP)
14. 14 Green Software Foundation (GSF) 推動規格 ISO 標準 化 ISO/IEC 21031:2024 • 比較不同軟體或程式的環境影響： 比較具 有相同功能的多個軟體在使用時對環境的 影響 • 評估軟體修改的碳影響：評估對軟體進行 變更後對碳排放量的影響 • 適用於各類軟體：包含 AI 等 LLM 之應用 估算
15. 15 Software Carbon Intensity (SCI) 軟體碳排強度 關於架構設計，現在也有基於永續性軟體工程 (Sustainable Software Engineering) 的架構設計可以探討
16. 16 Kubernetes 與永續性議題的結合 • 資源最適化與自動調整：Kubernetes 能夠基於特定條件下 進行動態縮放資源、自動擴縮容容器 (Container) 負載，可在 非高峰時段自動關閉或調整資源大小，達到節能效果 • 現代服務容器化：相較於單一服務放置於裸機、虛擬機上，透 過 Kubernetes 管理的容器化環境能夠更有效率地處理雲端 資源，提升整體能源執行效率 • 採用多種 CNCF 永續性應用工具：CNCF Kepler、 Carbon-Aware KEDA Operator 、KubeGreen 等
17. 17 KubeGreen • 專為雲原生平台設計的專案：一個專為 Kubernetes 設計的工具，能在非高峰時段暫 停 不必要的工作負載，顯著降低能源消耗 • 自動暫停閒置資源：KubeGreen 能夠在非工作 時間 (如夜間或週末) 自動暫停不需要運行的 Kubernetes 資源，藉此避免資源浪費 • 降低能源消耗與碳排放：透過自動關閉閒置資源 ，KubeGreen 減少了不必要的運算負載，從而 降低電力消耗並大幅減少 CO2 排放 https://kube-green.dev/docs/FAQ/#how-many-co2-is-produced-by-pod
18. 18 KubeGreen Demo https://kube-green.dev/docs/FAQ/#how-many-co2-is-produced-by-pod apiVersion: kube-green.com/v1alpha1 kind: SleepInfo metadata: name: working-hours spec: weekdays: "1-5" sleepAt: "20:00" wakeUpAt: "08:00" timeZone: "Asia/Taipei" suspendCronJobs: true excludeRef: - apiVersion: "apps/v1" kind: Deployment name: api-gateway 平時約略 12 台 Kubernetes 節點在運行 離峰狀態約略 8 台 Kubernetes 節點在運行， 約可節省 33 % 左右的成本
19. 19 Kepler • 精確能源監控技術：Kepler 利用 eBPF 技術 和 CPU 性能計數器，能夠在 Kubernetes 環境中及時捕捉各項系統運作數據，從而精確 估算個工作服仔的電力消耗 • 深度整合 Kubernetes 與 Prometheus：Kepler 能夠將捕捉到的能耗 數據，以 Promtheus 兼容格式輸出，使監 控、調度與自動化擴展更加無縫和高效 • 支援能源優化與可持續發展決策： 透過持續監 測和數據分析，Kepler 能幫助使用者帳喔系 統全局電力消耗狀況，進而調整資源分配，降 低碳排放 https://kube-green.dev/docs/FAQ/#how-many-co2-is-produced-by-pod 每一個 Pod 運行的能源消耗量
20. 20 Kepler ：Peformance/Watts Visualization https://www.youtube.com/watch?v=1j9fMi1Z-Ak 能源消耗 LLM 運作狀況 每瓦特效能
21. 21 結語 • 採用 Kubernetes 作為數位轉型核心引擎：Kubernetes 作為容器編排平台，能最佳化 統合容器化後的微服務，提供企業彈性且高效的基礎架構支援 • 考慮新增軟體碳排強度 (SCI) 作為評估軟體執行效率因子之一： 基於國際化標準 ISO/IEC 21031:2024 開始進行評估及建立基礎量測數 值 • 多參與開源軟體的應用及分享： 如導入 KubeGreen、Kepler 等雲原生專案，並持續於 CNCF 社群上分享經驗
22. Thank you