Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
資料煉金術師:一場關於 LINE 電商煉金的故事
Search
LINE Developers Taiwan
PRO
January 30, 2024
Technology
1
3.6k
資料煉金術師:一場關於 LINE 電商煉金的故事
Speaker: Vila Lin
Event: 梅竹黑客松企業參訪
LINE Developers Taiwan
PRO
January 30, 2024
Tweet
Share
More Decks by LINE Developers Taiwan
See All by LINE Developers Taiwan
用 AI 和 LINE Bot 簡化生活:讓圖片告訴你何時該忙!-- LINE 工作坊
line_developers_tw
PRO
0
85
Scaling The E-Commerce Recommendation System
line_developers_tw
PRO
0
16
Enhanced EC Recommendations: Trustworthy Validation with Large Language Models for Two-Tower Model
line_developers_tw
PRO
0
6
揭秘LLMOps: 讓LLM服務像火箭 般穩定高效的祕密!
line_developers_tw
PRO
0
44
ML Life Cycle for LINE SHOPPING Recommender
line_developers_tw
PRO
0
10
Review AI from LINE EC NLP
line_developers_tw
PRO
0
7
LINE購物 App x ATDD: 利用 ATDD 改善開發流程
line_developers_tw
PRO
0
29
Grafana Alloy Best Practice
line_developers_tw
PRO
0
3.7k
Distributed Tracing in LINE Taiwan
line_developers_tw
PRO
0
37
Other Decks in Technology
See All in Technology
新入社員 オンボーディング改善プロジェクト - シンプルな仕組みで変革のきっかけを
enpipi
0
370
データ分析基盤のためにS3を深堀りする~アーキテクチャ設計の考え方のヒントに~
nrinetcom
PRO
1
740
テストを楽に書きたい
tomorrowkey
2
260
入社半年(合計1年)でGoogle Cloud 認定を全冠した秘訣🤫
risatube
1
270
ラブグラフ紹介資料 〜プロダクト解体新書〜 / Lovegraph Product Deck
lovegraph
0
14k
ゼロからはじめる生成AI〜AWS認定とハンズオンで学ぶ初心者の道〜
kenichinakamura
0
130
多数のWebサービスをECS/Fargate構成で効率よく構築・運用するなら copilot-cli
interu
2
160
Amplify Gen 2ではじめる 生成AIアプリ開発入門
tsukuboshi
0
390
生成AI入門
shukob
0
110
40代後半で開発エンジニアからクラウドインフラエンジニアにキャリアチェンジし、生き残れる自信がようやく持てた話
iwamot
8
8k
ReSTIRの数理と実装 (rtcamp10)
yumcyawiz
1
450
不要なリソースを自動で定期的に整理する方法 ~Sandboxアカウントのコストを削減しよう!~
amixedcolor
4
220
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
222
8.9k
How to train your dragon (web standard)
notwaldorf
87
5.6k
Unsuck your backbone
ammeep
668
57k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
The Cost Of JavaScript in 2023
addyosmani
43
5.9k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.5k
It's Worth the Effort
3n
183
27k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Building Better People: How to give real-time feedback that sticks.
wjessup
362
19k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
46
4.9k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
167
49k
Transcript
資料煉⾦術師
01 02 02 推薦系統 資料科學家、機器學習工程師、資料工程師 電商鍊成陣 國家鍊⾦術師 真的有賢者之石嗎? 我所看到的真理 Agenda
Vila Lin 電商資料⼯程經理 • 學歷: 清⼤⽣資 MS • 領域: 機器學習、類神經網路、⽣物統計
、演算法設計與分析
SECTION 01 電商鍊成陣 推薦系統
推薦 in LINE 錢包 左: LINE 禮物個⼈化品牌推薦 右: LINE 個⼈化類別推薦
推薦 in LINE 購物 個⼈化品牌商品 個⼈化店家 熱銷⾦榜 低價商品 今⽇熱搜字
SECTION 02 資料⼯程師、機器學習⼯程師、資料科學家 國家鍊⾦術師
電商鍊⾦術師 資料 分析師 軟體 ⼯程師 DevOps ⼯程師 商業面向 工程面向
電商鍊⾦術師 資料科學家 機器學習工程師 資料工程師 研究 ML/AI 進階分析 研究 ML/AI 進階分析
模型/演算法/參數最佳化 開發 ML 流程 軟體工程 設計模式 分散式架構
鍊⾦術師的戰⾾位置 資料科學家 資料工程師 機器學習工程師 ML Ops 陣線 資料分析 & 挑選
資料收集 & 清洗 建模 驗證 推論 部署
鍊⾦術師的技能 資料庫 資料工具與平台 天橋下的說書人 資料視覺化 商業洞察 成效指標 假設與實驗 模型推論 統計與
ML 建模 模型佈建 資料流 ML Ops
資料⼯程師 資料流 資料庫 資料⼯具與平台 ML Ops 資料⼯程師的主線技能
資料科學家 統計與 ML 建模 推論 假設與實驗 成效評估 資料科學家的主線技能 A/B Testing
Hit Rate F1 Score CTR
關於模型
關於模型 雙塔模型 (推薦系統) BERT (NLP) CNN (影像/語音辨識)
機器學習⼯程師 ML Ops 模型佈建 統計與 ML 建模 模型推論 機器學習⼯程師的主線技能
SECTION 03 真的有賢者之⽯嗎? 我所看到的真理
沒有賢者之⽯ 任何演算法/模型都有適⽤場景 (LLM 的 fine-tune其實也是滿滿領域知識) 遇到困難⼤家持續溝通和討論 找出 dev 與 po
都可以接受的⽅案
不要被數字騙了 模型成效過好其實很可疑 記得回過頭確認資料集是否有問題 免得上線引入真實資料的模型⼤失所望
數學很重要 • 資料⼯程師: 資料確保 (判讀統計趨勢找問題) • 資料科學家: 統計分析、模型驗證、 A/B 測試
• 機器學習⼯程師: 特徵⼯程、實作演算法或模型
None
None
None