[2024 창구 성장 지원 세미나] LLM과 온디바이스LM으로 스팸필터 앱 서비스 만들기

Transcript

2. LLM과 온디바이스 LM으로 스팸필터 앱 서비스 만들기 이준범 (Beomi) AI/ML GDE
3. AI/ML GDE로 활동하고 있어요 KcBERT, KoAlpaca, Llama-Ko와 같은 한국어 오픈 언어모델 연구를 합니다. 이번 세션에서 개발기를 다루는 "Smart Spam Filter", AI 기반 스팸차단 앱 서비스를 만들었어요. 안녕하세요, 이준범(Beomi)입니다👋
4. 스마트 스팸 필터? - 언어모델이 탐지하는 스팸 문자
5. 앱스토어 #2
6. 매일같이 쏟아지는 스팸/스미싱 문자
7. 한땀 한땀 키워드?
8. 이거, 사람이 해야할 일일까? (개개인이 각자 해결해야할 문제일까?)
9. 이거, 사람이 해야할 일일까?🙅 (개개인이 각자 해결해야할 문제일까?)
10. “1개는 사람이 할 수 있어. 10개도 할 수 있겠지. 하지만 1000개, 1만개는 할 수 없어. 그건 기계가 해야하는 영역이야.”
11. LLM은 강력한 분류기
12. "이거 스팸이야?" 한 문장 Prompt으로도 가능! LLM은 그 자체로 강력한 스팸 분류기
13. "이거 스팸이야?" 한 문장 Prompt으로도 가능! + 개발용 JSON으로도 가능! LLM은 그 자체로 강력한 스팸 분류기
14. 간단히 LLM을 API로 만들어도 OK LLM을 서비스로 만들어보자
15. 간단히 LLM을 API로 만들어도 OK LLM을 서비스로 만들어보자
16. LLM은 "비싼" 분류기
17. LLM을 서비스하려면 얼마나 들지? (e.g., GPT4o) System prompt 합쳐서 대략 103 tokens → $0.005 / 1K tokens → $0.0005 / 1 SMS → 0.7원 / 1문자 한사람: 10문자/day = 7원 나혼자(1) = 1달에 210원 가족+친구들(10) = 1달에 2,100원 일반사용자(1만) = 1달에 210만원 if 5만명 유저 → 1달에 1050만원(!!)
18. 1년 API 비용, 1.2억? 😨
19. Q1. 정말 큰 모델이 필요한가? Q2. 직접 학습한 LM으로도 가능한가?
20. 다양하게 제공되는 작은 LLM (e.g., Gemini-Flash 1.5) 문자 하나당 약 100 tokens → $0.00008 / 1K tokens → $0.000008 / 1 SMS → 0.01원 / 1문자 한사람: 10문자/day = 0.1원 나혼자(1) = 1달에 3원 일반사용자(1만) = 1달에 3만원 if 5만명 유저 → 1달에 15만원(!)
21. 작은 모델의 문제: 성능!
22. 한국 스팸을 잘 모르는 LLM 🤔
23. 데이터를 모아보자, 어디서?
25. 몇년동안 쌓인 1만3천개 문자, 스팸 3천개+
26. 1. 수동 라벨링 → 고성능, 알고있는 스팸 분류는 완벽하게 가능. → 시간이 엄청나게 오래 걸림 2. LLM 라벨링 → Prompt engineering이 필수. → 성능이 낮음 데이터 라벨링은 어떻게?
27. OpenAI GPT4o + Gemini 1.5 Pro + Claude 3.5 Sonnet 여러 LLM으로 라벨링 하기
28. 여러 LLM으로 라벨링 하기
30. 어떤 모델을 쓸까?
31. 어떤 모델을 쓸까?
32. Encoder 모델과 Decoder 모델
33. Encoder BERT Fine Tune
34. Encoder 모델과 Decoder 모델 Llama-3-Open-Ko Fine Tuned KcBERT-tiny Fine Tuned
35. Inference Server, GPU?
36. Text Generation Inference
37. Text Embedding Inference (feat. Apple Silicon)
38. LM API Latency
39. LM API Security: CloudFlare Zero Trust Tunnel
40. LM API Security: CloudFlare Zero Trust Tunnel
41. CF Tunnel 이슈: Latency ++
42. Argo Smart Routing (유료)
43. CF Tunnel Argo로 ICN 서버: Low Latency
44. On Device LM
45. 개인 데이터에 대한 우려
46. On Device Machine Learning
47. On Device Machine Learning
48. Hugging Face models → TFLite / Core ML
49. Hugging Face models → TFLite / Core ML
50. On Device, 잘 동작!
51. 서버가 죽어도 앱은 동작한다!
52. ML 모델 사이클
53. 주기별로 모델 업데이트 1) Raw 데이터 (로그 등)
54. 주기별로 모델 업데이트 2) 데이터 라벨링
55. 주기별로 모델 업데이트 3) 모델 학습 & 평가
56. 주기별로 모델 업데이트 4) 모델 서빙
57. LLM으로, 지속 가능한 On Device 모델 성능 향상 LLM으로 자동화
58. EOD