政大數據分析社 機器學習的商業應用_Rei

Transcript

2. 政大數據分析社 機器學習的商業應用
3. 01 02 03 04 機器學習專案從何而來？ 機器學習專案的開發與發展 資料即服務 個人學經歷簡介 05 給新鮮人的建議 CONTENT
4. 01 個人學經歷簡介
5. Rei Machine Learning Engineer Education • Bachelor in Mathematics @ CCU • Master in Mathematics @ NTHU Work Experience • E.SUN Commercial Bank (DA & MLE) (2016 ~ 2022) • LINE Taiwan EC (MLE) (2022 ~ Now)
6. 02 機器學習專案從何而來？ Domain Knowledge
7. 資料分析的需求 集中式資料分析單位 信貸 外匯 信用卡 證券 風險管理 巴塞爾協定 行銷分析 產生各行銷渠道的 名單 Large Medium Small
8. 商業模式 (以信用卡為例) 申請辦卡 用卡消費 審核未過 消費增加 調整額度 繳款 接收行銷資訊 寄送帳單
9. 提升商業效率的專案？ 申請辦卡 用卡消費 審核未過 消費增加 調整額度 繳款 接收行銷資訊 寄送帳單 盜刷預測模型 行銷推薦模型 風險預測模型 (A) 風險預測模型 (B) 帳單 e 化 自動扣繳 風險預測模型 (C) 財力證明 OCR 即時消費推播 資料從哪裡來？ 如何使用資料？
10. 03 機器學習專案 開發與發展 ML Project Lifecycle
11. 機器學習模型的生命週期 原始資料 (raw data) 特徵資料 (feature data) 模型訓練資料 (training data) (inference data) 模型權重 推論結果 (inference result) User 顯示畫面上 特徵工程 模型資料 模型訓練 模型推論 服務部署 資料收集 feature correlation training time ML metric business metric pressure test CPU usage
12. 以行銷推薦模型為例 原始資料 (raw data) 特徵資料 (feature data) 模型訓練資料 (training data) (inference data) 模型權重 推論結果 (inference result) User 顯示畫面上 特徵工程 模型資料 模型訓練 模型推論 服務部署 資料收集 feature correlation training time ML metric business metric pressure test CPU usage 人的基本資料 消費紀錄 X: 近 N 天消費紀錄 Y: 是否購買 Label encoding, Normalization, … Loss, f1_score, … table
13. 推薦模型如何評估？ precision recall 𝑇𝑃 𝑇𝑃 + 𝐹𝑃 𝑇𝑃 𝑇𝑃 + 𝐹𝑁 白話文翻譯 模型認為會買 𝑎𝑛𝑑 真的購買的⼈ 模型認為會買的⼈ 模型認為會買 𝑎𝑛𝑑 真的購買的⼈ 所有購買的⼈ Top K
14. 以 OCR 專案為例 人工標記 分類影像檔 原始資料 (raw data) 人工標記資料 模型權重 User 顯示畫面上 {“姓名”： “生日”： …} 人機協作回饋資料 模型訓練 部署 API 資料收集
15. 如何設計 OCR 專案服務架構 input output
16. 如何設計 OCR 專案服務架構 正面 背面 內政部 API 封面 內頁 OCR API OCR API 組合 API 確認姓名
17. OCR 服務如何評估價值？ 每天 1 萬件申請書 OCR Accuracy 99 % 整份 accuracy 95 % (正面 + 背面正確) Classification Accuracy 99 % 有 9,405 申請書可以秒 pass 錯誤 1 格的有 ? % 錯誤 2 格的有 ? % … 有 500 申請書只需要修改 1 格 有 95 申請書只需要修改 2 格 …
18. 04 資料即服務 Data as a Service
19. 以資料工程對來經營產品
20. 圖片來源: D.Sculley et. al. NIPS 2015 Hidden Technical Debt in Machine Learning Systems 一個 ML 專案所要做的事情
21. 以推薦系統為例 Sensor 資料源 feature engineering model dataset model B training model B inference offline evaluation model A training model A inference online evaluation Redis table API Airflow candidate Ranking A/B test
22. 圖片來源: D.Sculley et. al. NIPS 2015 Hidden Technical Debt in Machine Learning Systems 在既有的專案上開發新功能 未登入 user 要 看到什麼？ API 為什麼 變慢了？ 為什麼最近 ETL 變久了？ 新推薦模型 程式碼龐大 開發變慢 模型成效 如何？ CI / CD 好久 Bug 出現了！
23. LINE 購物上的比價群組 商品規格 extracted by Vila Lin
24. Team Working Style 開發前與大家同步執行方式 or design 程式碼是需要被 review 的 (Pull Request) 先講解 PR 目的 Review PR 後直接與原作者溝通 頻繁且快速 sync Documentation (Coding as document) 共同制定 team best practice 分享、回饋、調整
25. 05 給新鮮人的建議
26. 給新鮮人的建議
27. 給新鮮人的建議 發揮你的價值跟影響力 個人學習 經營者思維 知己知彼
28. 06 Q & A
29. Q & A 機器學習 1. 實務上關於 XGBoost 模型調參的經驗 • A：learning_rate, max_depth, min_child_weight, n_estimator • A：我比較常用 lightGBM 2. 了解機器學習在商業問題上的建模完整流程 產業文化 & 經歷累積 1. 金融業與科技業之間有哪些差異？ 2. 問題 1. 若想要在金融業從事機器學習相關工作，請問您會建議該累積甚麼樣的經驗？ 2. 哪個領域較重視或應用層面較廣？ 3. 想請問講師過去的實習經驗，該如何累積過去經歷?