#Data #CDC #Debezium #Flink #Iceberg #Spark
카카오 내 다양한 서비스의 데이터를 한 곳으로 응집하기 위한 대규모 CDC 파이프라인을 구축한 사례를 소개합니다. Flink와 Kafka Connect를 통해 수십억 건의 데이터를 MySQL과 Iceberg 까지 연동하는 과정에서 맞닥뜨린 어려움과 해결 방안을 공유합니다.
발표자 : dawn.choi, louis.sml
카카오 전사 데이터 조직의 데이터 엔지니어 던입니다. 카카오의 방대하고 다양한 데이터를 효율적으로 처리하는 대규모 CDC 파이프라인을 개발하고 있습니다.
flink와 kafka를 활용하여 다양한 시도를 하고 있는 루이스 이승민입니다. 요즘은 flink로 iceberg에 데이터를 적재하는 것에 집중하고 있어요.