Meetup São Paulo, Outubro 2019

Tudo o que você gostaria de saber sobre o kafka®
(mas sempre teve medo de perguntar) @riferrei | @confluentinc | #Kafkameetup

@riferrei | @confluentinc | @itau Quem sou eu?

@riferrei | @confluentinc | @itau

Sobre Mim @rmoff @riferrei @tlberglund @gamussa

@riferrei | @confluentinc | @itau @riferrei @riferrei @riferrei https://riferrei.net

@riferrei | @confluentinc | @itau O que é apache kafka?

@riferrei | @confluentinc | @itau O apache kafka é um
distributed streaming platform

@riferrei | @confluentinc | @itau

Vamos voltar no tempo?

Banco de dados há 30 anos atrás

Desenvolvedor cheio de expectativas Banco de dados hoje em dia…

Cara, Você está me envergonhando na frente dos gerentes de
projeto…

@riferrei | @confluentinc | @itau Qual o Problema dos bancos
de dados?

Muito limitado! Faz muita lambança!

Limitado? Tá querendo me sacanear?

Por quê você acha que a gente faz cargas batch
para o dwh? Sim, limitado.

lambança Linha de negócio 01 Linha de negócio 02 Linha
de negócio 03

Eita que diagrama bunito... Um Monte de licença pra vender!

@riferrei | @confluentinc | @itau Workarounds criados pela indústria

@riferrei | @confluentinc | @itau Resultado…

lambança Linha de negócio 01 Linha de negócio 02 Linha
de negócio 03

Vamos voltar no tempo?

Jay kreps Neha narkhede Jun rao

Banco de dados Aplicação web Aplicação web Primeira versão do
linkedin

@riferrei | @confluentinc | @itau Evento estado >

@riferrei | @confluentinc | @itau Evento estado > Eu Mudei
meu empredo da oracle para a confluent Eu trabalho na confluent

@riferrei | @confluentinc | @itau Mudança de emprego Máquina de
sugestões Sistema de buscas Serviço de email

@riferrei | @confluentinc | @itau SQL SQL SQL Máquina de
sugestões Sistema de buscas Serviço de email Bancos de dados são bons para guardar estado Banco de dados LOG

@riferrei | @confluentinc | @itau Eventos não-transacionais Eventos transacionais 0.1%
99.9%

@riferrei | @confluentinc | @itau Mas não lidam muito bem
com grandes volumes Banco de dados 1000x mais volume Eventos não-transacionais Eventos transacionais LOG

@riferrei | @confluentinc | @itau Tracking de usuários Aplicações de
logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH

@riferrei | @confluentinc | @itau conclusão: o uso de bancos
de dados não era apropriado dado o problema a ser resolvido!

@riferrei | @confluentinc | @itau LOG Tracking de usuários Aplicações
de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH

@riferrei | @confluentinc | @itau Por quê não usar mensageria?

de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH Mensageria também não lida bem Com volume

de logs Métricas operacionais banco key/value banco key/value Banco de dados sql MICROSERviços ... HADOOP Elastic search grafana DATA WAREHOUSE REC. ENGINE SEARCH SECURITY EMAIL SOCIAL GRAPH Mensageria não suporta persistência direito

44 banco de dados mensageria Batch Caro de manter Lento
demais Difícil de escalar Não têm durabilidade Não têm persistência não possui ordem Não possui replay transacional durável Persistente Mantêm ordem replay rápido (baixa latência) O que está acontecendo agora? O que aconteceu no passado?

45 banco de dados mensageria Batch Caro de manter Lento
demais Difícil de escalar Não têm durabilidade Não têm persistência não possui ordem Não possui replay Highly Scalable Durable Persistent Ordered Fast (Low Latency) O que está acontecendo agora? O que aconteceu no passado? transacional durável Persistente Mantêm ordem replay rápido (baixa latência) distributed streaming platform

@riferrei | @confluentinc | @itau O apache kafka é um
distributed streaming platform

@riferrei | @confluentinc | @itau Por quê nínguem nunca me
explicou isso antes?

@riferrei | @confluentinc | @itau Você nunca entenderá o kafka
Se você focar APENAS em mensageria

49 01 Mensageria bem feita 02 Processamento de eventos 03
Sistema de armazenamento

@riferrei | @confluentinc | @itau 01 Mensageria bem feita

“The truth is the log. The database is a cache
of a subset of the log.” — pat helland Immutability changes everything http://cidrdb.org/cidr2015/Papers/CIDR15_Paper16.pdf

@riferrei | @confluentinc | @itau Banco de dados 0 1
2 3 4 5 6 7 8 LOG leituras escritas DESTINo sistema A (tempo = 2) DESTINo sistema b (tempo = 6) Banco de dados invertido: logs passam a ser mais importantes que tabelas

@riferrei | @confluentinc | @itau 0 1 2 3 4
5 6 7 8 leituras escritas Sistema a Sistema b Gerenciamento de offsets por consumidor

@riferrei | @confluentinc | @itau novo registro Registro antigo offset

@riferrei | @confluentinc | @itau Novo registro Registro antigo offset

@riferrei | @confluentinc | @itau pergunta: por quê certos consumer
groups são deletados depois de um tempo?

@riferrei | @confluentinc | @itau BROKER 1 BROKER 2 BROKER
3 BROKER 4 TOPIC 1-PART 1 TOPIC 2-PART 3 TOPIC 3-PART 1 TOPIC 2-PART 1 TOPIC 5-PART 1 TOPIC 6-PART 1 TOPIC 1-PART 2 TOPIC 2-PART 4 TOPIC 3-PART 2 TOPIC 2-PART 2 TOPIC 5-PART 2 TOPIC 6-PART 2 CONSUmidor CONSUMidor CONSUMidor PRODUtor PRODutor PRODutor Escalabilidade através de particionamento

@riferrei | @confluentinc | @itau pergunta: o kafka fica mais
lento se eu criar muitas partições?

@riferrei | @confluentinc | @itau pergunta: por quê o apache
kafka é tão rápido?

@riferrei | @confluentinc | @itau Maior volume de dados Graças
ao uso Do page cache do Sistema operacional

@riferrei | @confluentinc | @itau Menos uso de cpu e
heap Através da api sendfile do linux

@riferrei | @confluentinc | @itau 02 processamento de eventos

http://cidrdb.org/cidr2015/Papers/CIDR15_Paper16.pdf Você realmente acha que você faz consultas em tabelas?

Dualidade entre streams e tabelas {"user":"riferrei","score":"1001"} {"user":"riferrei","score":"1002"} {"user":"riferrei","score":"1003"} {"user":"riferrei","score":"1004"} {"user":"riferrei","score":"1005"}
{"user":"riferrei","score":"1005"} stream tabela

@riferrei | @confluentinc | @itau O que é processamento de
eventos? Tentativa de fraude possível fraude ?

@riferrei | @confluentinc | @itau O que é processamento de
eventos? CREATE STREAM possible_fraud AS SELECT card_number, count(*) FROM authorization_attempts WINDOW TUMBLING (SIZE 5 MINUTE) GROUP BY card_number HAVING count(*) > 3; Tentativa de fraude possível fraude tópico tópico

@riferrei | @confluentinc | @itau pergunta: qual a regra pra
definir quando um tópico deve ser persistente?

@riferrei | @confluentinc | @itau 03 Sistema de armazenamento

É… mas só um banco de dados consegue prover acid…

A C I D Transações precisam ser ou tudo ou
nada

@riferrei | @confluentinc | @itau Api de transações para produtores
Níveis de isolamento para consumidores aplicação

@riferrei | @confluentinc | @itau A C I D Reinforçar
invariantes que garantam consistência

@riferrei | @confluentinc | @itau Propriedades do Produtor enable.idempotence=true max.inflight.requests.per.connection=1
acks = “all” retries > 0 (preferably MAX_INT) (pid, seq) [payload] (100, 1) {key: 1234, data: abcd} - offset 3345 (100, 1) {key: 1234, data: abcd} - rejected, ack re-sent (100, 2) {key: 5678, data: efgh} - offset 3346 Sem duplicação!

@riferrei | @confluentinc | @itau Eventos em ordem por partição

@riferrei | @confluentinc | @itau Schemas são apis

@riferrei | @confluentinc | @itau Diga olá ao schema registry
fonte destino

@riferrei | @confluentinc | @itau A C I D Garantir
acesso serial mesmo quando threads executam de forma concorrente

@riferrei | @confluentinc | @itau Produzindo registros sem chave aplicação
Registros serão escritos em várias partições diferentes

@riferrei | @confluentinc | @itau Produzindo registros com chave Aplicação
a Aplicação b Aplicação c Aplicação d

@riferrei | @confluentinc | @itau pergunta: é uma boa prática
sempre usar chaves para escrever nos tópicos?

@riferrei | @confluentinc | @itau A C I D Dados
commitados devem permanecer assim mesmo em caso de falhas

@riferrei | @confluentinc | @itau Lembra disso?

@riferrei | @confluentinc | @itau Tolerância a falhas via replicação

@riferrei | @confluentinc | @itau obrigado

Meetup São Paulo, Outubro 2019

Meetup São Paulo, Outubro 2019

More Decks by Ricardo Ferreira

Other Decks in Programming

Featured

Transcript