Crawlers - Coletando e transformando dados da web

Vivemos em um tempo onde a informação é a chave principal para tudo, queremos sempre consumir informação, criar aplicações para utilizar as informações e prover mais informações mas o que fazer quando se depararmos com a situação em que precisamos desenvolver algo dependente de uma informação que não está legível para ser utilizada? Em outras palavras mais simples, como consumir uma informação de um serviço que não tem API? É nesse momento em que entra o mundo de Crawlers. Essa palestra tem a intenção de mostrar as abordagens necessárias para se criar crawlers e como criá-los

Transcript

1. Crawlers - Coletando e transformando dados da web
2. */omarkdev 2
3. O que é Crawler? 3
4. “ Crawler é uma ferramenta que navega entre páginas da web utilizando uma regra específica. 4
7. Mas também existem os Scrappers 7
8. “ Scrapper é uma ferramenta que pega informações específicas de páginas. 8
9. Eles podem trabalhar juntos ou separados! 9
10. Vamos imaginar um cenário real 10
13. TasteDive crawler ◉ Obter os resultados relacionados de uma busca; ◉ A busca pode conter os filtros de categorias disponíveis no site; ◉ A resposta do Crawler deve estar em formato JSON; ◉ Os resultados devem ter seus nomes, categoria, likes e pontuação de classificação. 13
14. Trabalho do Crawler - Obter os resultados relacionados - Buscar pelo filtro de categoria TasteDive crawler Trabalho do Scrapper - Obter as propriedades do resultado - Retornar os resultados em JSON 14
15. Mas aqui, tudo vai ser Crawler. 15
16. Os crawlers podem ser divididos em 2 grupos 16 Baixo Nível Alto Nível
17. Podemos fazer uma analogia com linguagens de baixo e alto nível 17
18. Linguagem - Se aproxima com linguagem humana - Nível de abstração que facilita o entendimento - Não tem necessidade de conhecer instruções dos processadores Alto nível Crawler - Se aproxima com a interação humana - Nível de abstração que facilita o entendimento - Não tem necessidade de conhecer as instruções para processar 18
19. Crawler - Se aproxima mais com a linguagem de desenvolvimento - Compreende as características do alvo - Instruções que serão executadas apenas para processar Linguagem - Se aproxima com linguagem de máquina - Compreende as características do computador - Instruções que serão executadas apenas pelo processador Baixo nível 19
20. Crawlers de baixo nível 1 20
21. Características ◉ Utiliza menos recursos ◉ São mais rápidos ◉ Executa apenas as regras necessárias para o processamento ◉ Criado com engenharia reversa 21
22. “ O Crawler de baixo nível simula as instruções necessárias para serem executadas do alvo 22
23. Vamos entender como a página mostra os resultados 23
24. 24 Realizamos uma busca
26. 26 Analisamos o DevTools
27. 27 Confirmamos se a página já vem com os dados ou se obtém de outro lugar
28. 28 Concluímos que a página já carrega as informações necessárias
29. 29 Ok, identificamos o que precisamos fazer, apenas obter o conteúdo desta página
30. 30 Agora precisamos entender como chegar naquela página
31. 31 Aparentemente a URL é formada apenas pelo slug da pesquisa
32. 32 Testamos nossa teoria
34. 34 O necessário é apenas a url?
35. 35 Existem mais coisas que vão nas requisições
36. 36 Vamos por tentativa e erro
40. 40 Se funcionar, quer dizer que todas as informações que você precisa estão ali
42. 42 Mas se o slug for algo inexistente?
45. 45 Ok, conseguimos saber se uma busca é válida e conseguimos reproduzi-lá
46. 46 Agora o que falta apenas é poder realizar buscas pelas categorias
47. 47 Realizar a busca com o filtro de categorias
48. 48 Analisamos novamente o DevTools
49. 49 Analisamos como chegar naquela página novamente Aparentemente agora a URL é formada pela categoria
50. Entendemos qual o processo do alvo e o que precisamos fazer para obter os resultados 50
51. Agora vamos criar o Crawler 51
53. Mas e para formatar a resposta? 53
55. 55 Query’s com CSS Selector
58. “ Os crawlers de baixo nível são recomendados quando as instruções são possíveis de serem reproduzidas e a taxa de erro da implementação seja baixo 58
59. 2 59 Crawlers de alto nível
60. Características ◉ Utiliza muito recurso ◉ Executa as regras que o usuário iria fazer ◉ Criado baseado na interação do usuário ◉ Pouco suscetível a problemas. 60
61. “ O Crawler de alto nível simula a interação do usuário 61
63. Vamos entender o que o usuário faz 63
64. 64 Usuário acessa a página inicial
65. 65 Digita a pesquisa e clica em ‘Recommend’
67. Traduzindo isso para o puppeteer 67
70. 70 Caso queira ver a interação com a página
72. “ Os crawlers de alto nível são recomendados quando é necessário um browser por trás, o tempo e tamanho de processamento não importa ou as instruções de processamento são muitos complexas de serem reproduzidas 72
73. 3 73 Projeto híbrido (baixo e alto nível)
74. Compartilhar os recursos de responsabilidade de cada nível 74
75. Compartilhamento de recursos 75 O alvo tem um validador de javascript, para verificar se realmente está rodando no browser e esse validador gera uma sessão que é necessária para obter os resultados
76. Compartilhamento de recursos Gerar uma sessão Obter o resultado Continuar o fluxo com a sessão gerada 76 Alto nível Baixo nível
77. “ Os projetos com abordagem híbrida são recomendados quando você consegue separar os processos para cada tipo de crawler com o objetivo de reduzir tempo e/ou processamento 77
78. Ok, gostei, como posso me aprofundar? 78
79. O mundo dos crawlers é um mundo sem regras. 79
80. O mundo sem regras ◉ Não tem muitas vagas para desenvolvedores de Crawlers ◉ Não tem material de referência ◉ Não tem boas práticas ◉ Não tem muitos exemplos ◉ Não tem muitas ferramentas 80
81. Somos todos pioneiros! 81