Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
資料煉金術師:一場關於 LINE 電商煉金的故事
Search
LINE Developers Taiwan
PRO
January 30, 2024
Technology
1
2.3k
資料煉金術師:一場關於 LINE 電商煉金的故事
Speaker: Vila Lin
Event: 梅竹黑客松企業參訪
LINE Developers Taiwan
PRO
January 30, 2024
Tweet
Share
More Decks by LINE Developers Taiwan
See All by LINE Developers Taiwan
透過 Cloud Functions, Firebasem Gemini Pro 打造具有記憶的 Open Data LINE Bot
line_developers_tw
PRO
0
11
就讓AI幫你帶LINE好運
line_developers_tw
PRO
1
32
沒想過的前端錯誤處理可能比你有做的還多
line_developers_tw
PRO
0
51k
LINE 台灣實習計畫 2024 - TECH FRESH 介紹
line_developers_tw
PRO
0
510
LINE 台灣實習計畫 - 相關福利與面試流程
line_developers_tw
PRO
0
520
Navigating My Internship: A 5W1H Perspective
line_developers_tw
PRO
0
23
1001 號 到 333 號
line_developers_tw
PRO
0
15
關於我連線三年半的故事
line_developers_tw
PRO
0
880
LINE 電商部門實習分享
line_developers_tw
PRO
0
48
Other Decks in Technology
See All in Technology
自己改善からチームを動かす! 「セルフエンジニアリングマネージャー」のすゝめ
shoota
6
1.1k
社内アプリで Cloudflare D1を プロダクト運用してみた体験談(Tokyo)
haochenx
0
130
Grafana x PagerDuty Better Together
jacopen
1
320
Cracking the KubeCon CfP
inductor
2
280
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
5
780
Android Target SDK 35 (Android 15) 対応の概要
akkie76
0
190
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.1k
成長をサポートするピープルマネジメントのやり方
sioncojp
9
1.4k
しくじり先生、PharmaXのLLMアプリケーション開発の失敗を語る
pharma_x_tech
0
120
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
7
4.7k
Microsoft Intune 勉強会 第 2 回目
tamaiyutaro
2
500
M5stackで使用できるpHセンサの開発
shinrinakamura
1
270
Featured
See All Featured
Web development in the modern age
philhawksworth
203
10k
Atom: Resistance is Futile
akmur
260
25k
Statistics for Hackers
jakevdp
790
220k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
117
18k
What's new in Ruby 2.0
geeforr
337
31k
Large-scale JavaScript Application Architecture
addyosmani
504
110k
[RailsConf 2023] Rails as a piece of cake
palkan
28
4k
Fantastic passwords and where to find them - at NoRuKo
philnash
39
2.5k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
A Philosophy of Restraint
colly
197
16k
4 Signs Your Business is Dying
shpigford
176
21k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
79
44k
Transcript
資料煉⾦術師
01 02 02 推薦系統 資料科學家、機器學習工程師、資料工程師 電商鍊成陣 國家鍊⾦術師 真的有賢者之石嗎? 我所看到的真理 Agenda
Vila Lin 電商資料⼯程經理 • 學歷: 清⼤⽣資 MS • 領域: 機器學習、類神經網路、⽣物統計
、演算法設計與分析
SECTION 01 電商鍊成陣 推薦系統
推薦 in LINE 錢包 左: LINE 禮物個⼈化品牌推薦 右: LINE 個⼈化類別推薦
推薦 in LINE 購物 個⼈化品牌商品 個⼈化店家 熱銷⾦榜 低價商品 今⽇熱搜字
SECTION 02 資料⼯程師、機器學習⼯程師、資料科學家 國家鍊⾦術師
電商鍊⾦術師 資料 分析師 軟體 ⼯程師 DevOps ⼯程師 商業面向 工程面向
電商鍊⾦術師 資料科學家 機器學習工程師 資料工程師 研究 ML/AI 進階分析 研究 ML/AI 進階分析
模型/演算法/參數最佳化 開發 ML 流程 軟體工程 設計模式 分散式架構
鍊⾦術師的戰⾾位置 資料科學家 資料工程師 機器學習工程師 ML Ops 陣線 資料分析 & 挑選
資料收集 & 清洗 建模 驗證 推論 部署
鍊⾦術師的技能 資料庫 資料工具與平台 天橋下的說書人 資料視覺化 商業洞察 成效指標 假設與實驗 模型推論 統計與
ML 建模 模型佈建 資料流 ML Ops
資料⼯程師 資料流 資料庫 資料⼯具與平台 ML Ops 資料⼯程師的主線技能
資料科學家 統計與 ML 建模 推論 假設與實驗 成效評估 資料科學家的主線技能 A/B Testing
Hit Rate F1 Score CTR
關於模型
關於模型 雙塔模型 (推薦系統) BERT (NLP) CNN (影像/語音辨識)
機器學習⼯程師 ML Ops 模型佈建 統計與 ML 建模 模型推論 機器學習⼯程師的主線技能
SECTION 03 真的有賢者之⽯嗎? 我所看到的真理
沒有賢者之⽯ 任何演算法/模型都有適⽤場景 (LLM 的 fine-tune其實也是滿滿領域知識) 遇到困難⼤家持續溝通和討論 找出 dev 與 po
都可以接受的⽅案
不要被數字騙了 模型成效過好其實很可疑 記得回過頭確認資料集是否有問題 免得上線引入真實資料的模型⼤失所望
數學很重要 • 資料⼯程師: 資料確保 (判讀統計趨勢找問題) • 資料科學家: 統計分析、模型驗證、 A/B 測試
• 機器學習⼯程師: 特徵⼯程、實作演算法或模型
None
None
None