Modern Data Stack - Potencializando a Análise de Dados para Decisões Estratégicas

Embarque em uma jornada pela essência dos Pipelines, ETL e ELT, na apresentação que desvenda o que é a Modern Data Stack. Explore cada etapa, desde a ingestão até a visualização, e descubra como essa abordagem revoluciona a análise de dados para decisões estratégicas. Com exemplos práticos, apresentamos as ferramentas-chave em cada fase, proporcionando uma visão abrangente e pronta para implementação. Prepare-se para maximizar o potencial dos seus dados e transformá-los em insights valiosos para orientar decisões estratégicas de forma eficaz.

Transcript

1. Modern data stack Potencializando a análise de dados para decisões estratégias
2. “Data is the new oil”
3. Quem é esse? • 26 anos • 4 anos de engenharia de dados • Google cloud certified • Dono de gato Cadu Magalhães @1cadumagalhaes cadumagalhaes.dev datacareer.guide
4. Contexto análises
5. Alguns conceitos
6. Pipeline? “Uma série de ações que manipulam e combinam dados de múltiplas fontes para análise ou visualização”
7. ETL?
8. Modern data stack
9. O que é? “A modern data stack é uma abordagem de arquitetura de dados composta por um conjunto de ferramentas e tecnologias integradas, que permitem às empresas coletar, armazenar, processar e analisar dados de forma ágil e escalável, facilitando a tomada de decisões baseadas em dados.” - Chat GPT
10. • Estrutura escalável • Manutenção simples • Foco no desenvolvimento Por que?
11. O problema
12. Uma pipeline de dados
13. Ingestão Decidir quais são as fontes de dados, e qual exatamente será o processo de ingestão. Podemos baixar dados via API, utilizando alguma biblioteca pronta, uma ferramenta especializada.
14. Armazenamento Decidir qual será o formato, ferramenta e local onde armazenaremos os dados (tanto brutos quanto transformados, de preferência). Aqui podemos discutir algumas formas de arquitetura, como data lake, data warehouse, data mesh.
15. Transformação Além de definir qual será a estratégia de transformação (ETL x ELT), decidir como e onde será feita.
16. Orquestração Tendo nossas transformações mapeadas, precisamos definir quando e onde serão executadas. E mais importante, garantir que as dependências estejam mapeadas.
17. Monitoramento Garantir que teremos notificações e alertas caso alguma etapa falhe.
18. Qualidade de dados Depois que o processo tiver finalizado, podemos acrescentar validações nos dados em si.
19. E outras etapas Visualizações, análises, etc
20. As soluções
21. Ingestão de dados Airbyte - Open Source Meltano - Open Source Supermetrics, Fivetran, Adverity, Funnel, Stich
22. Armazenamento de dados
23. Transformação de dados
24. Orquestração de dados
25. Monitoramento de dados
26. Qualidade de dados
27. E qual o impacto de tudo isso?
28. - contato@cadumagalhaes.dev - @1cadumagalhaes - datacareer.guide Obrigade!