ML Engineering & MLOps - Data Cafe

30 May 2024 at Data Cafe Thailand

Transcript

1. ML ENGINEERING : FON Kamolphan Liwprasert FROM MODEL TO PRODUCTION
2. แนะนําตัว Fon Kamolphan Liwprasert PhD Student at Chula MLOps Consultant at AIMET Google Developer Experts - Cloud Women Techmakers Ambassador
3. Agenda ▸ ทําความรู้จักกับ Machine Learning Engineering ▸ รูปแบบการนํา model ไปประยุกต์ใช้ ▸ ML in Production ▸ Tech Stack ที่น่าสนใจ ▸ แหล่งเรียนรู้ที่น่าสนใจเกี่ยวกับ MLE
4. ทําความรู้จักกับ Machine Learning Engineering
5. https://cloud.google.com/solutions/machine-learning/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning Hidden Technical Debt in Machine Learning Systems Elements for ML systems
6. นิยาม AI System แบบง่าย https://youtu.be/VfcY0edoSLU AI System = * Software Engineering DevOps Data Engineering Data Science ML/AI Research ML Engineering Software + Model + DATA
7. นิยาม AI System แบบง่าย https://youtu.be/VfcY0edoSLU AI System = * Software Engineering DevOps Data Engineering Data Science ML/AI Research ML Engineering Software
8. High-level of ML Systems 1. Data ▸ Data Engineering Pipelines ▸ Data Quality is a key 🔑 2. Model ▸ Machine Learning Pipelines ▸ Train, Evaluate, Test 󰙤 3. Software ▸ Model Serving & Predictions ▸ Deployment strategies & Infra 🐳☁
9. Machine Learning Engineers are technically proficient programmers who research, build, and design self-running software to automate predictive models. An ML Engineer builds artificial intelligence (AI) systems that leverage huge data sets to generate and develop algorithms capable of learning and eventually making predictions. - Brainstation.io ML Engineer Machine Learning Engineer คือ นักพัฒนาโปรแกรมที่วิจัย สราง และออกแบบ ซอฟตแวรที่สามารถรันโมเดลทำนายผลได และสรางระบบ AI โดยใชประโยชนจากขอมูลจำนวนมาก
10. หน้าที่ของ MLE Machine Learning Engineer
11. Machine Learning Engineer / Software Engineer Model training pipelines / tools work with DS / AI Automate the process of model training using pipelines and tools. (MLOps) Deploy ML model in production & monitoring Productionize the ML models including model versioning and optimization. Online prediction / API High performance model serving with low latency and high availability. Monitor the model prediction and performance for improvement. Integrate ML into application & monitoring
12. MLOps คืออะไร
13. Launching is easy, Operating is hard. ปญหาของ ML คือ ทํายังไงให จัดการดูแลระบบไดในระยะยาว ทําไมต้องมี MLOps CC0 images from pixabay.com
14. Process in Machine Learning Intro to Machine Learning in Production - Andrew Ng Deeplearning.ai
15. MLOps Continuous Training Continuous Monitoring CI/CD Concept drift Logging Canary Deployment A/B Testing Data-Centric AI vs Model-Centric AI Monitoring Healthcheck Testing Data Version Control Experiment Tracking Data Lineage Lifecycle Automation Data Quality Data Labeling Data Augmentation Train & Evaluate Model Versioning Model Serving & Deployment Optimization Error Reporting
16. MLOps Lifecycle https://services.google.com/fh/files/misc/practitioners_guide_to_mlops_whitepaper.pdf
17. MLOps = Continuous delivery and automation pipelines in machine learning MLOps: สร้าง automate pipeline ให้ ML System CI Continuous Integration CD Continuous Delivery CT Continuous Training CM Continuous Monitoring
18. DevOps vs MLOps ภาพจาก https://www.phdata.io/blog/mlops-vs-devops-whats-the-difference/ DevOps MLOps
19. 1 2 3 4 Benefit of MLOps Automate process ชวยลด Technical Debt ในระยะยาว ได Pipeline ที่ดี ทำให data scientist ทำงานรวมกันไดงาย ชวยลดความเสี่ยง และขอผิด พลาด human error ปรับปรุง และ Maintain ได งาย สามารถ scale ได
20. ML System Business Requirements ML System Developers ML System Users ML System Deployment, monitoring, updating of logics Feature engineering ML algorithms Designing Machine Learning Systems -- Chip Huyen Evaluation Data Infrastructure MLOps: Continuous process Deployment, monitoring, updating of logics Data
21. Tools มากมายให้เลือกใช้ DVC (Data Version Control)
22. Start with essential things first
23. Project Boilerplate: CookieCutter https://cookiecutter-data-science.drivendata.org/
24. Microsoft’s Python Package Template https://github.com/microsoft/python-package-template
25. Good App? Follow 12 Factor Apps! https://12factor.net/
26. Level of MLOps
27. MLOps level 0: Manual process https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
28. MLOps level 1: ML Pipeline https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
29. https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning MLOps level 2: CI/CD Pipeline
30. ผลลัพธ์ในแต่ละขั้นตอนของ MLOps https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
31. “Model Card” ตัวอยาง Model Card Model Metadata: เก็บข้อมูลของ Model https://services.google.com/fh/files/misc/practitioners_guide_to_mlops_whitepaper.pdf
32. Production: รูปแบบการนํา model ไปประยุกต์ใช้
33. Deep RL ML models Classification / Regression รูปแบบของ Model Computer Vision Object Detection / Image Classification / Face Recognition NLP Translation / Sentiment Analysis / Chatbot / LLM ตัวอยาง RL Robotics / Simulation Controlling problems (Large Language Model) Deep Learning
34. เอา model ไปใช้อย่างไรได้บ้าง https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Batch Prediction ไมตอง real time Streaming มีขอมูลเขามาตลอด เวลา near-real time API Online prediction ในลักษณะ request/response Edge computing ประมวลผลที่ device ปลายทาง a.k.a Deployment
35. 1. Batch prediction: ทํางานแบบ batch @aurimas_gr https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment
36. 2. Streaming: ทํางานตามลําดับใน queue @aurimas_gr https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment
37. 3. API: Online prediction - model serving @aurimas_gr https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment
38. 4. Edge computing: ใช้ device ปลายทาง @aurimas_gr https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Edge devices
39. Recap: ML Deployment https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Batch Prediction ไมตอง real time Streaming มีขอมูลเขามาตลอด เวลา near-real time API Online prediction ในลักษณะ request/response Edge computing ประมวลผลที่ device ปลายทาง
40. ML in Production
41. Batch Production Centralized Decentralized On-device “Edge” Edge computing Web Mobile Embedded On-Cloud / On-Premise Direct Model serving Streaming API Edge
42. ตัวอยาง Model Serving Centralized: Model Serving https://ubuntu.com/blog/guide-to-ml-model-serving https://www.anyscale.com/blog/serving-ml-models-in-production-common-patterns
43. Edge: Web ML & MediaPipe ❤
44. Example: MediaPipe https://mediapipe-studio.webapps.google.com/
45. For beginner: เริ่มต้นอย่างไร ?
46. ML Engineering = Software Engineering + ML Git: Version Control Docker Kubernetes CI/CD Programming!
47. Things to consider 🎯 การออกแบบระบบ ขึ้นอยูกับ use case และความตองการ ควรพิจารณาอยางถี่ถวน กอนตัดสินใจใช tool ที่เหมาะสม ⚒ 🎯 Pricing 💲: บาง tool มีคาใชจายคอนขางสูง 💸 ตองดูความคุมคาระยะยาว 🎯 Over-engineering : Perfect is the enemy of good xkcd by Randall Munroe. Automation takes a life of its own.
48. https://cloud.google.com/solutions/machine-learning/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning Hidden Technical Debt in Machine Learning Systems Elements for ML systems
49. Rule of Machine Learning Martin Zinkevich https://developers.google.com/machine-learning/guides/rules-of-ml
50. To make great products: do machine learning like the great engineer you are, not like the great machine learning expert you aren’t. Martin Zinkevich https://developers.google.com/machine-learning/guides/rules-of-ml
51. Resource
52. Made With ML https://madewithml.com/
53. AI Engineering Club https://ai-engineering.club/
54. MLOps Zoomcamp https://github.com/DataTalksClub/mlops-zoomcamp
55. Chip Huyen อาจารยวิชา Machine Learning Systems Design มหาวิทยาลัย Stanford (https://stanford-cs329s.github.io/) และผูเขียนหนังสือ Blog: Chip Huyen https://huyenchip.com/blog/
56. Books
57. Q & A
58. Thank You :) FON Kamolphan Liwprasert