Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Protótipos na AWS: Uma solução ágil para anális...

Protótipos na AWS: Uma solução ágil para análise e integração de dados, TDC Recife 2020

Precisávamos integrar os dados de uma empresa externa ao nosso sistema. Esses dados tinham o potencial de trazer diversos insights, mas não tínhamos certezas. Rapidez era essencial, pois tempo custava caro. Para resolver isso, seguimos um caminho inovador dentro do Olist, utilizando tecnologias serverless e de análise de dados da AWS para obter resultados rápidos e tomar decisões acertadas.

O Olist é uma empresa que permite que logistas e marcas vendam seus produtos nos grandes e-commerces brasileiros, e possui uma arquitetura robusta com mais de uma centena de microserviços.

Jessica Pauli de C Bonson

October 30, 2020
Tweet

More Decks by Jessica Pauli de C Bonson

Other Decks in Technology

Transcript

  1. Protótipos na AWS Uma Solução Ágil para Análise e Integração

    de Dados Jéssica Bonson Principal Engineer no Olist TDC Recife 2020, Trilha Arquitetura
  2. Jéssica Pauli de C Bonson • +-8 anos de exp

    em pesquisa/desenvolvimento • graduação/mestrado em Ciências da Computação • foco em dev backend, machine learning e big data Jogar RPG Livros Duolingo Hobbies:
  3. Maior loja nos principais marketplaces do Brasil. Arquitetura em microsserviços

    e serverless. Python. Go. PostgreSQL. AWS. Kubernetes. 20+ APIs 120+ serviços 3m+ produtos 30k+ logistas 10m+ anúncios 200k+ pedidos por mês
  4. Passos: 1. Integrar os dados do parceiro aos nossos 2.

    Permitir análises dos dados 3. Decidir se essa parceria vale a pena
  5. Passos: 1. Integrar os dados do parceiro aos nossos 2.

    Permitir análises dos dados 3. Decidir se essa parceria vale a pena
  6. Problemas em um Cenário Incerto • Não é ágil ◦

    PRs, testes, migrações… • Não é fácil de reverter • Só é possível analisar e validar os dados em ambiente de produção • Tomar decisões arquiteturais sem saber o resultado final
  7. Vantagens • A arquitetura é independente dos dados • Cerca

    de uma semana de trabalho • Não afeta nada em produção
  8. Vantagens • A arquitetura é independente dos dados • Cerca

    de uma semana de trabalho • Não afeta nada em produção • E...
  9. Resultados • Quantos livros? 118 mil, entre 2 milhões de

    produtos • Tempo de execução da query: 5 mins
  10. Resultados • Quantos livros? 118 mil, entre 2 milhões de

    produtos • Tempo de execução da query: 5 mins • Tempo de desenvolvimento do protótipo: 1 semana
  11. Resultados • Quantos livros? 118 mil, entre 2 milhões de

    produtos • Tempo de execução da query: 5 mins • Tempo de desenvolvimento do protótipo: 1 semana • Arquitetura limpa e flexível
  12. Melhorias • Performance ◦ Usar uma ferramenta de ingestão para

    agrupar os dados ◦ Usar o formato Parquet ao invés de JSON