소주 만들기: 언어 모델을 이용한 데이터 증류
이 발표 자료에서는 훈련 데이터의 다양성을 확보하기 위해 인터넷에서 수집된 데이터를 Gemma 언어모델을 이용하여 정제하는 아이디어와 방법을 소개합니다.
2024년 4월 17일부터 19일까지 진행된 OpenACC - NVIDIA-HPE 해커톤에서 작업한 내용으로, 2024년 7월 27일 Google I/O Extended Incheon에서 발표한 덱입니다.
Brewing Soju: Data Distillation Using Language Models
This presentation introduces ideas and methods for refining data collected from the internet using the Gemma language model to ensure diversity in training data.
The content was developed during the OpenACC - NVIDIA-HPE Hackathon held from April 17 to 19, 2024, and was presented at Google I/O Extended Incheon on July 27, 2024 too.