Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

Web scraping, python, e ordem da câmara dos ver...

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Gabriela Gabriela
November 02, 2020
67
1

Web scraping, python, e ordem da câmara dos vereadores

Avatar for Gabriela

Gabriela

November 02, 2020

More Decks by Gabriela

See All by Gabriela
Python: O poder da linguagem, diversidade e mercado de trabalho
Avatar for Gabriela gabicavalcante
0
120
Desbravando Comunidades
Avatar for Gabriela gabicavalcante
0
44

Featured

See All Featured
GraphQLの誤解/rethinking-graphql
Avatar for sonatard sonatard
75
12k
Optimising Largest Contentful Paint
Avatar for Harry Roberts csswizardry
37
4k
The Curse of the Amulet
Avatar for Matthew Lei leimatthew05
3
15k
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
7k
Build your cross-platform service in a week with App Engine
Avatar for Jose L jlugia
234
19k
Google's AI Overviews - The New Search
Avatar for Barry Adams badams
0
1.6k
The Cost Of JavaScript in 2023
Avatar for Addy Osmani addyosmani
55
10k
Keith and Marios Guide to Fast Websites
Avatar for Keith Pitt keithpitt
413
23k
BBQ
Avatar for Matthew Crist matthewcrist
89
10k
How Software Deployment tools have changed in the past 20 years
Avatar for Geshan Manandhar geshan
1
34k
Color Theory Basics | Prateek | Gurzu
Avatar for Gurzu gurzu
1
470
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
Avatar for UX Y'all uxyall
1
3k

Transcript

  1. Web scraping, python, e ordem da câmara dos vereadores 01

  2. Gabi Cavalcante 02 ❯ natalense ❯ 25 anos ❯ TI

    ❯ @stone-payments ❯ @twilio ❯ autenticação e autorização. e-commerce. chatbots. ❯ ciência de dados/ETL; QE; teste; arquitetura. ❯ PyLadies Natal

  3. ❯❯ Web scraping ❯ Python ❯ Ordem da câmara 03

  4. 04 a construção de um agente para baixar, analisar e

    organizar dados da Web de maneira automatizada fonte: Practical Web Scraping for Data Science (Broucke and Baesens).

  5. 05

  6. ❯ Web scraping ❯❯ Python ❯ Ordem da câmara 06

  7. ❯ Web scraping ❯ Python ❯❯ Ordem da câmara 07

  8. 08

  9. Título de CIDADÃO NATALENSE 09

  10. RESULTADOS Total de pautas: Títulos: 1773 21 - 1.18% 10

  11. 11

  12. RESULTADOS Total de pautas: Títulos: 1773 1080 - 60.91% 12

  13. O QUE USEI PRA RASPAR 13 ❯ bs4 ❯ scrapy

    ❯ requests-html

  14. 14

  15. 15

  16. 16

  17. O QUE USEI PRA EXTRAIR 17 ❯ PyPDF2 + regex

    ❯ pdfPlumber ❯ rows ++

  18. DICAS [1] Python Assíncrono: tudo ao mesmo tempo agora -

    Luciano Ramalho [2] rows [2] blog do scrapy 18 CONTRIBUA [1] Brasil.io [2] Querido diário [3] Dados Abertos de Feira

  19. DÚVIDAS? me encontrem: Twitter: @_gabicavalcante Telegram: @gabrilas GitHub: gabicavalcante 19