Maintaining 200+ spiders and still having time to sleep

O Jusbrasil lida diariamente com milhares de documentos públicos. O volume de documentos extraídos é trabalho de inúmeros spiders que constantemente acessam a Surface e Deep Web em busca de novos artefatos. Nessa palestra discutiremos como o projeto de Notícias foi estruturado para lidar com o grande volume de dados e aproximadamente 200 spiders em execução.

Transcript

1. sleep and still having time to Maintaining 200+ by Victor "Frodo" Martinez crawlers
2. vcrmartinez twitte r email blog Victor Frodo Martinez Software Developer vcrmartinez@gmail.com victormartinez.github.io
5. Informação Pessoas Advogados
6. JUSTICE GAP ?
7. A Jusbrasil tem revolucionado o acesso a informação jurídica
8. Páginas de D.O. Jurisprudências Notícias Leis 128 mi 23 mi 7 mi 975 K 160 mi documentos
9. Crawler Team
10. Jurisprudências Diários Oficiais Legislações Notícias ~200 3 ~180 ~105
12. notícias extraídas/ mês 200K 17K notícias persistidas/ mês
13. notícias extraídas/ dia 7K 700 notícias persistidas/ dia
14. sleep and still having time to Maintaining 200+ crawlers
16. 2 Testes e Integração 1 Spiders 3 Execução 4 Persistência
17. 2 Testes e Integração 1 Spiders 3 Execução 4 Persistência Métricas Monitorament o
18. NewsPipeline Scrapinghub item 1 item 2 item 4 item 5 item 3 item n Jusbrasil Network tests build Spiders 1 2 3 4 5 Monitoramento Métricas
19. 1Spiders
20. Framework Open Source e colaborativo para extração de dados de websites de forma rápida, simples e extensível. scrapy.or g
22. Spiders Itens Downloader Item Pipeline
23. semcomp/ ├── scrapy.cfg └── semcomp/ ├── __init__.py ├── items.py ├── pipelines.py ├── settings.py └── spiders/ └── __init__.py $ scrapy startproject <project_name> $ scrapy startproject semcomp
25. Pipelines are AWESOME
26. Verifique Duplicidade
27. Salve no MongoDB
28. …
29. Concurrent Requests Enable/Disable Cookie Default Request Headers Autothrottle Spider Middlewares Downloader Middlewares …
30. 2Testes e Integração
31. Como enviar esse código para produção?
32. $ git push origin master Build and Push $ docker-compose -f docker-compose-test.yml rm 1 2 $ git pull 3 unit regression 4 $ docker-compose -f docker-compose-deploy up
33. Unit and Regression Tests
34. 3Execução
40. Scrapinghub Command Line Client $ shub login $ shub deploy projects: default: 12345 prod: 33333 apikeys: default: 0bbf4f0f691e0d9378ae00ca7bcf7f0c scrapinghub.yml https://doc.scrapinghub.com/shub.htm l
41. scrapinghub/python-s crapinghub
42. >>> from scrapinghub import Connection >>> conn = Connection('1q2w3e4r54t56ydy87u89u8') >>> conn Connection('1q2w3e4r54t56ydy87u89u8')
43. >>> from scrapinghub import Connection >>> conn = Connection('1q2w3e4r54t56ydy87u89u8') >>> conn Connection('1q2w3e4r54t56ydy87u89u8') >>> conn.project_ids() [123, 456]
44. >>> from scrapinghub import Connection >>> conn = Connection('1q2w3e4r54t56ydy87u89u8') >>> conn Connection('1q2w3e4r54t56ydy87u89u8') >>> conn.project_ids() [123, 456] >>> project = conn[123] >>> job = project.job(u'123/1/2')
45. >>> from scrapinghub import Connection >>> conn = Connection('1q2w3e4r54t56ydy87u89u8') >>> conn Connection('1q2w3e4r54t56ydy87u89u8') >>> conn.project_ids() [123, 456] >>> for item in job.items(): ... # do something with item (it's just a dict) >>> for logitem in job.log(): ... # logitem is a dict with logLevel, message, time >>> project = conn[123] >>> job = project.job(u'123/1/2')
46. https://doc.scrapinghub.com/api/over view.html Scrapinghub API
47. $ curl -u APIKEY: https://storage.scrapinghub.com/items/53/34/7 $ curl -u APIKEY: https://storage.scrapinghub.com/items/53 Todos os itens de um Job Todos os itens de um Projeto
48. unlimited team members unlimited projects unlimited requests 24 hour max job run time 1 concurrent crawl 7 day data retention no credit card required 0 CLOUD-BASED CRAWLING. FREE $
50. 4Persistência
51. NewsPipeline Scrapinghub item 1 item 2 item 4 item 5 item 3 item n Jusbrasil Network
52. Extração Consumo Consulta Persistência
53. http://docs.celeryproject.org/en/latest/index.ht ml
54. Task?
55. Tasks! Consumo Consulta Persistência
56. Celery RabbitMQ Envia Mensagem (Task) Worker s Pegam Tasks Envia resultado Obtém Resultado Message Broker Backend
57. NewsPipeline Scrapinghub item 1 item 2 item 4 item 5 item 3 item n Jusbrasil Network
58. Primitivas : chain group chord map & startmap chunks
59. Métricas
61. SÉRIE TEMPORAL ?
62. time measurement field (key-value string) tag(s) 2015-10-21T19:28:07.580664347 Z cpu region=us_west value=0.64
63. TEMP O
65. Monitoramento
66. Status dos Crawlers
67. Frequência de publicação
68. O que aprendemos até aqui
69. Adote a tecnologia que atende ao seu problema. 1
70. Métricas são importantes! 2
71. Monitore! Sempre! 3
72. Estabeleça prioridades 4
73. Entenda os impactos 5
74. DRY Don’t Repeat Yourself 6
75. Pense em mudanças de layout 7
76. Crie um processo de validação 8
77. Seja realista! Seu crawler vai quebrar em algum momento 9
78. 10 Have Fun!
79. Obrigado! Victor Frodo Martinez Software Developer vcrmartinez vcrmartinez@gmail.com victormartinez.github.io