WebGPU를 통한 private 생성 AI의 Hybrid inference - 고석현

Lablup Conf 2023

Transcript

1. Generative AI WebGPU를 통한 private 생성 AI의 Hybrid inference
2. Pikicast Data Lab 컨텐츠, 이미지, 검색, 추천 Company.AI Co Founder 자연어 대화엔진 Naver에 M A로 exit Naver CLOVA AI Software Platform Hyper Clova LLM Naver Cloud LM Platform SaaS ML Platform Enterprise LLM
3. WebASM WebASM 은 JS 하위 집합 입니다. WebASM: WebAssembly abbreviated Wasm is a binary instruction format for a stack based virtual machine.
4. WebGPU WebGL의 한계점을 극복하기 위해서 출시 그래픽스 가속을 강점 WebGL: Web Graphics Library WebGPU는 webgpu.wasm 형태의 컴파일된 바이너리 파일 형태로 동작
5. WebGPU 2023년 5월 Chrome 113 부터 시범적으로 동작 17년 개념 시연, 21년 5월 이후 표준작업
6. WebGPU WebGL처럼 완전한 네이티브가 아닌 고수준의 API
7. WebGPU Gpu API Apapter 구조를 구현하는 WebASM 형태 WebAssembly abbreviated Wasm is a binary instruction format for a stack based virtual machine.
8. 그래서 어떤 걸 할 수 있나요?
9. 그래서 어떤 걸 할 수 있나요?
10. 그래서 어떤 걸 할 수 있나요?
11. 그래서 어떤 걸 할 수 있나요?
12. 그래서 어떤 걸 할 수 있나요? https://www.linkedin.com/in/aurimas-griciunas
13. 그래서 어떤 걸 할 수 있나요?
14. 그래서 어떤 걸 할 수 있나요? https://www.linkedin.com/in/kyung-hoon-kim-55455387/
15. 그래서 어떤 걸 할 수 있나요?
16. 그래서 어떤 걸 할 수 있나요? https://www.linkedin.com/company/three-sigma-ai
17. 그래서 어떤 걸 할 수 있나요? https://www.linkedin.com/company/three-sigma-ai
18. 그래서 어떤 걸 할 수 있나요? Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
19. 그래서 어떤 걸 할 수 있나요? https://developers.kakao.com/docs/latest/ko/kogpt
20. 그래서 어떤 걸 할 수 있나요? Scaling Expert Language Models with Unsupervised Domain Discovery
21. 그래서 어떤 걸 할 수 있나요? Scaling Expert Language Models with Unsupervised Domain Discovery
22. 그래서 어떤 걸 할 수 있나요? Scaling Expert Language Models with Unsupervised Domain Discovery
23. 그래서 어떤 걸 할 수 있나요? Scaling Expert Language Models with Unsupervised Domain Discovery
24. 그래서 어떤 걸 할 수 있나요? Scaling Expert Language Models with Unsupervised Domain Discovery
25. 그래서 어떤 걸 할 수 있나요? Branch-Train-Merge: Embarrassingly Parallel Training of Expert Language Models
26. 그래서 어떤 걸 할 수 있나요? 다양한 전문가 모델의 라우터 디자인 모델 단위와 토큰 단위 그리고 사용자 제어 단위의 전문가 모델을 생각해본다면
27. 그래서 어떤 걸 할 수 있나요?
28. 그래서 어떤 걸 할 수 있나요? 을 베이스로 하는 커스텀 전문가 모델
29. 리 랭커 유저가 보는 화면을 직접 이해하고 처리하는 Hybrid inference 검색 증강 생성 RAG 기술을 통한 구조와 맥락을 이해하는 다중 모델을 통한
30. 리랭커
31. 범용 GPU, NPU RAG
32. Open Course on Machine Learning Compilation https://discuss.tvm.apache.org/t/establish-tvm-unity- connection-a-technical-strategy/13344
33. https://tvm.apache.org/2021/12/15/tvm-unity
34. https://tvm.apache.org/2021/12/15/tvm-unity
35. https://tvm.apache.org/2021/12/15/tvm-unity
36. 가톨릭대학교 성빈센트병원
37. 가톨릭대학교 성빈센트병원
38. 감사합니다.