Lab：輕輕鬆鬆體驗 MLOps（with GitLab）

這次在 iThome Cloud Summit 2024 分享了一場工作坊，主題是「輕輕鬆鬆體驗 MLOps」，讓學員試用了一下 GitLab 的 MLOps 相關功能，並且介紹了「軟體開發」與「ML 開發」的不同之處。

Transcript

1. Lab：輕輕鬆鬆體驗 MLOps Photo by Faris Mohammed on Unsplash Cheng Wei Chen @ iThome Cloud Summit 2024
2. Lab 的內容不會涉及 LLM 或 進階的 ML 開發細節， 僅專注在 MLOps / ML 開發流程。
3. Cheng Wei Chen 陳正瑋 炬識科技 / Technology Consultant 《Effective DevOps 中⽂版》譯者、GitLab Hero、DevOps Taiwan Community 志⼯ https://chengweichen.com
4. Agenda 1. 暖場 2.「軟體」開發 與「ML」開發 3. 簡介 Lab 環境與內容 4. 實際操作 5. 回顧與總結
5. 暖場
6. 你們家有⾃⼰訓練ML嗎？
9. 圖片來源：https://medium.com/@sarita_68521/understanding-neural-networks-in-10-minutes-b186 ff 435ded
10. 「軟體」開發 與「ML」開發
11. 資料來源：《設計機器學習系統：迭代開發⽣產環境就緒的 ML 程式》 將「輸入」與「規律模式」交給「軟體」， 然後我們可以得到「輸出」
12. 資料來源：《設計機器學習系統：迭代開發⽣產環境就緒的 ML 程式》 將「輸入」與「輸出」交給「機器學習」， 然後我們可以得到「複雜的規律模式」
13. 資料來源：《設計機器學習系統：迭代開發⽣產環境就緒的 ML 程式》 ML 以 輸入 和 輸出 來了解箇中的 規律模式， ⽽非透過輸入和規律模式來計算輸出。
14. 你知道「輸入 & 輸出」與「規律模式」的內容， 然後透過「軟體開發流程」，產出「軟體」
15. 你知道「輸入」與「輸出」的內容， 然後透過「ML開發流程」，產出「規律模式」
16. ML 是指從 既有資料 學習 複雜 規律模式， 並利⽤習得模式 預測 未⾒資料 的⽅法
18. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
19. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
20. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
21. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
22. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
23. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
24. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
25. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
26. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
27. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example
35. Version Control System Package Registry Artifacts Management Release Dependencies Source Code Deploy Appliation Deploy Appliation Deploy Appliation Local Alpha Beta Production
36. Version Control System Package Registry Dependencies Local ML Team Testing Production Testing ML Dependencies Code Code Model Experiments Deploy ML Deploy ML Model Registry Model Experiments System Prod Data Data Pipeline Data for Dev
37. 圖片來源：https://towardsdatascience.com/what-the-ops-are-you-talking-about-518b1b1a2694
39. 簡介 Lab 環境與內容
40. 實際操作
41. 講義 https://chengweichen.com/2024/07/ithome- cloud-summit-2024-mlops-with-gitlab.html
42. 回顧與總結
43. 範例來源：https://github.com/apache/spark/blob/master/examples/src/main/python/pi.py , https://gitlab.com/gitlab-org/incubation-engineering/mlops/model_experiment_example 看起來都是 Code，實際上很不⼀樣
44. 資料科學家更喜歡這樣做事？
47. Version Control System Package Registry Dependencies Local ML Team Testing Production Testing ML Dependencies Data for Dev Code Code Model Experiments Deploy ML Deploy ML Model Registry Model Experiments System Prod Data Data Pipeline
48. 反思： MLOps 不是 ML + DevOps
49. 反思： ML 的交付頻率？迭代頻率？
50. 反思： MLOps 是為了誰？ 滿⾜什麼需求？
51. 反思： MLOps ⼯具鏈本⾝有價值嗎？
52. 反思： 你家有礦（Data）嗎？