Como o JusBrasil faz para atender 10 milhões de brasileiros por mês

O JusBrasil surgiu como um simples agregador de notícias para os profissionais do Direito, cresceu exponencialmente e hoje detém a maior base de informações públicas do país. Conheça a arquitetura e os aprendizados da empresa nesse processo de escala maciça.

Coletar dados da web profunda sempre foi o maior enfoque do JusBrasil. Hoje são quase 100 mil documentos adicionados ao site todos os dias. A arquitetura do JusBrasil inclui um sistema de coleta inteligente, uma plataforma confiável para armazenamento de terabytes de informação e uma interface capaz de servir a milhares de usuários em milissegundos. Esses desafios foram resolvidos graças a um ambiente híbrido com Java, Python e Scala e diversas outras tecnologias auxiliares no tratamento de grande volume de dados (incluindo Hadoop, HBase, ElasticSearch), assim como serviços que atendem à necessidade de escalabilidade (ex. HAProxy e nginx). Toda a infraestrutura funciona na nuvem e é organizada em clusters que têm escopos bem definidos e são acessados por meio de uma interface de serviços.

http://qconsp.com/sp2013/node/449.html

Transcript

1. 8dbdd?jh7gVh^a[VoeVgV ViZcYZg&%b^a]ZhYZ WgVh^aZ^gdhedgb„h AZdcVgYd<VbVh Hd[ilVgZ:c\^cZZg DhkVaYdBVidh?c^dg 8]^Z[IZX]cdad\nD[[^XZg 4&RQ ,QWHUQDWLRQDO6RIWZDUH'HYHORSPHQW&RQIHUHQFH
3. 5HYROXFLRQDU RDFHVVR jLQIRUPDomR S~EOLFDEUDVLOHLUD
7. %$'
8. 'HVHQYROYLPHQWR&RZER\
9. *R+RUVHHHH
10. 'tYLGDWpFQLFD
11. 3DUDOLVLDQR GHVHQYROYLPHQWR
12. 632)
13. 66663332222))))66666
16. QRYRMXVEUDVLO
17. :HE,QWHUIDFH :HE &UDZOHU ,QGH[ ,QGH[ ,QGH[HU 6HDUFK6HUYLFH 6WRUDJH6HUYLFH 'DWD
18. :HE,QWHUIDFH :HE &UDZOHU ,QGH[ ,QGH[ ,QGH[HU 6HDUFK6HUYLFH 6WRUDJH6HUYLFH 'DWD
20.   %HUJPDQ  7KH'HHS:HE6XUIDFLQJ+LGGHQ9DOXH 'HHS:HE 6XUIDFH:HE
21. 75) 67) 67- 75) 2$% '28 '263
22. DPRVWUD GHSiJLQDV WHPSODWHGDSiJLQD 9HQRP :HE
24. EDFNHQG
25. $UPD]HQDPHQWRHSURFHVVDPHQWR GLVWULEXtGR
28. $FHVVRUHDOWLPHDRVGDGRV
29. +%DVH7DEHODVH5HJL}HV
30. 0DSHDPHQWRGHFODVVHV 0RGHO  -DYDSDUDR+%DVH +DPPHU
31. +DPPHU
32. %XVFDHLQGH[DomRGLVWULEXtGD
34. 53&YHOR]SDUDFRQHFWDUGLYHUVDV OLQJXDJHQV
36. 1HPWXGRSRGHVHUIHLWR VLQFURQDPHQWH
37. )LOD6LPSOHV :RUN4XHXH 3XEOLVK6XEVFULEH
38. 4XDQGRRGLVFRQmRpVXILFLHQWH
39. (VWUXWXUDGH'DGRVQR5HGLV
40. 4XHPRUJDQL]DRVELFKRV"" =RRNHHSHU
41. 8WLOL]DQGRR=RRNHHSHU FOXVWHU PHPEHUV KRVW KRVW KRVW DSS PDVWHU KRVW KRVW KRVW
42. 1HWZRUN 6HUYLoRGH1HWZRUN )URQWHQG
43. 6HUYLoRGHEXVFD )URQWHQG 6HDUFK
44. :RUNHUVLPSOHV :RUNHU
45. 3LSHOLQHGHZRUNHUV :RUNHU 6RXUFH 6LQN : : : :
46. &RRUGHQDomRHQWUH:RUNHUV :RUNHU :RUNHU :RUNHU
47. &RRUGHQDomRHQWUH:RUNHUV :RUNHU :RUNHU :RUNHU
48. )URQWHQG
50. UHTXHVW :HE6HUYHU $3, UHVSRQVH IURQWHQG EDFNHQG
54. 6$66YV/(66
57. ÂÁ +.$ !
58. 3RZHUHGE\)DFHERRN
59. 7KULIW 7KULIW '$7$ +773 +773
60. 'RFXPHQW7LWOH %ODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK -63 7RUQDGRWHPSODWHV
64. )ODVNLV)XQ IURPIODVNLPSRUW)ODVN DSS )ODVN BBQDPHBB #DSSURXWH  GHILQGH[  UHWXUQ +HOOR:RUOG LIBBQDPHBB  BBPDLQBB  DSSUXQ GHEXJ 7UXH
65. 7KULIW 7KULIW '$7$ +773 +773
66. 'RFXPHQW7LWOH %ODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK EODKEODKEODKEODKEODKEODK -LQMD -LQMD
68. +773 35,0$5< 6(&21'$5< /RDG%DODQFH /% ZHEQRGH ZHEQRGH &'1 +773 '16)DLORYHU
69. &DFKH'LVWULEXtGRFRP5HGLV DV
70. &RQVLVWHQW+DVKLQJ Q\GXVNHWDPD
71. )HUUDPHQWDV
73. *LW+XE MHQNLQV 3URGXomR WHVWHV IXQFLRQDLV
77. 0HOKRUOXJDUSUDVHWUDEDOKDUQR1RUGHVWH (VWDPRVFRQWUDWDQGRYDJDV#MXVEUDVLOFRPEU KWWSZZZOLQNHGLQFRPFRPSDQ\MXVEUDVLO
78. 9k^YVh4 5aZd\VbVh 5ijenYVWV]^V