Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Como o JusBrasil faz para atender 10 milhões de...

Como o JusBrasil faz para atender 10 milhões de brasileiros por mês

O JusBrasil surgiu como um simples agregador de notícias para os profissionais do Direito, cresceu exponencialmente e hoje detém a maior base de informações públicas do país. Conheça a arquitetura e os aprendizados da empresa nesse processo de escala maciça.

Coletar dados da web profunda sempre foi o maior enfoque do JusBrasil. Hoje são quase 100 mil documentos adicionados ao site todos os dias. A arquitetura do JusBrasil inclui um sistema de coleta inteligente, uma plataforma confiável para armazenamento de terabytes de informação e uma interface capaz de servir a milhares de usuários em milissegundos. Esses desafios foram resolvidos graças a um ambiente híbrido com Java, Python e Scala e diversas outras tecnologias auxiliares no tratamento de grande volume de dados (incluindo Hadoop, HBase, ElasticSearch), assim como serviços que atendem à necessidade de escalabilidade (ex. HAProxy e nginx). Toda a infraestrutura funciona na nuvem e é organizada em clusters que têm escopos bem definidos e são acessados por meio de uma interface de serviços.

http://qconsp.com/sp2013/node/449.html

Osvaldo Matos Júnior

August 31, 2013
Tweet

More Decks by Osvaldo Matos Júnior

Other Decks in Technology

Transcript

  1. )ODVNLV)XQ IURPIODVNLPSRUW)ODVN DSS )ODVN BBQDPHBB #DSSURXWH  GHILQGH[  UHWXUQ

    +HOOR:RUOG LIBBQDPHBB  BBPDLQBB  DSSUXQ GHEXJ 7UXH