Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ML Engineering: from model to production

ML Engineering: from model to production

ML Engineering: from model to production
By Fon, Kamolphan Liwprasert

Presented at Data Day 2023 online event on Sep 23rd, 2023

Note: some part of the slide is in Thai language.

Kamolphan Liwprasert

September 23, 2023
Tweet

More Decks by Kamolphan Liwprasert

Other Decks in Technology

Transcript

  1. Agenda 🐤 ทําความรู้จักกับ Machine Learning Engineering 🐤 รูปแบบการนํา model ไปประยุกต์ใช้

    🐤 ML in Production 🐤 Tech Stack ที่น่าสนใจ 🐤 แหล่งเรียนรู้ที่น่าสนใจเกี่ยวกับ MLE
  2. นิยาม AI System แบบง่าย https://youtu.be/VfcY0edoSLU AI System = * Software

    Engineering DevOps Data Engineering Data Science ML/AI Research ML Engineering Software + Model + DATA
  3. High-level of ML Systems 1. Data ▸ Data Engineering Pipelines

    ▸ Data Quality is a key 🔑 2. Model ▸ Machine Learning Pipelines ▸ Train, Evaluate, Test 󰙤 3. Software ▸ Model Serving & Predictions ▸ Deployment strategies & Infra 🐳☁
  4. Machine Learning Engineers are technically proficient programmers who research, build,

    and design self-running software to automate predictive models. An ML Engineer builds artificial intelligence (AI) systems that leverage huge data sets to generate and develop algorithms capable of learning and eventually making predictions. - Brainstation.io ML Engineer Machine Learning Engineer คือ นักพัฒนาโปรแกรมที่วิจัย สราง และออกแบบ ซอฟตแวรที่สามารถรันโมเดลทำนายผลได และสรางระบบ AI โดยใชประโยชนจากขอมูลจำนวนมาก
  5. Machine Learning Engineer / Software Engineer Model training pipelines /

    tools work with DS / AI Automate the process of model training using pipelines and tools. (MLOps) Deploy ML model in production & monitoring Productionize the ML models including model versioning and optimization. Online prediction / API High performance model serving with low latency and high availability. Monitor the model prediction and performance for improvement. Integrate ML into application & monitoring
  6. Launching is easy, Operating is hard. ปญหาของ ML คือ ทำยังไงให

    จัดการดูแลระบบไดในระยะยาว ทําไมต้องมี MLOps CC0 images from pixabay.com
  7. MLOps Continuous Training Continuous Monitoring CI/CD Concept drift Logging Canary

    Deployment A/B Testing Data-Centric AI vs Model-Centric AI Monitoring Healthcheck Testing Data Version Control Experiment Tracking Data Lineage Lifecycle Automation Data Quality Data Labeling Data Augmentation Train & Evaluate Model Versioning Model Serving & Deployment Optimization Error Reporting
  8. 1 2 3 4 Benefit of MLOps Automate process ชวยลด

    Technical Debt ในระยะยาว ได Pipeline ที่ดี ทำให data scientist ทำงานรวมกันไดงาย ชวยลดความเสี่ยง และขอผิด พลาด human error ปรับปรุง และ Maintain ได งาย สามารถ scale ได
  9. Deep RL ML models Classification / Regression รูปแบบของ Model Computer

    Vision Object Detection / Image Classification / Face Recognition NLP Translation / Sentiment Analysis / Chatbot / LLM ตัวอยาง RL Robotics / Simulation Controlling problems (Large Language Model) Deep Learning
  10. เอา model ไปใช้อย่างไรได้บ้าง https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Batch Prediction ไมตอง real time Streaming

    มีขอมูลเขามาตลอดเวลา near-real time API Online prediction ในลักษณะ request/response Edge computing ประมวลผลที่ device ปลายทาง a.k.a Deployment
  11. Recap: ML Deployment https://www.newsletter.swirlai.com/p/sai-03-machine-learning-deployment Batch Prediction ไมตอง real time Streaming

    มีขอมูลเขามาตลอดเวลา near-real time API Online prediction ในลักษณะ request/response Edge computing ประมวลผลที่ device ปลายทาง
  12. Batch Production Centralized Decentralized On-device “Edge” Edge computing Web Mobile

    Embedded On-Cloud / On-Premise Direct Model serving Streaming API Edge
  13. Things to consider 🎯 การออกแบบระบบ ขึ้นอยูกับ use case และความตองการ ควรพิจารณาอยางถี่ถวน

    กอนตัดสินใจใช tool ที่เหมาะสม ⚒ 🎯 Pricing 💲: บาง tool มีคาใชจายคอนขางสูง 💸 ตองดูความคุมคาระยะยาว 🎯 Over-engineering : Perfect is the enemy of good xkcd by Randall Munroe. Automation takes a life of its own.
  14. To make great products: do machine learning like the great

    engineer you are, not like the great machine learning expert you aren’t. Martin Zinkevich https://developers.google.com/machine-learning/guides/rules-of-ml