Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Web scraping, python, e ordem da câmara dos ver...
Search
Gabriela
November 02, 2020
62
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Web scraping, python, e ordem da câmara dos vereadores
Gabriela
November 02, 2020
More Decks by Gabriela
See All by Gabriela
Python: O poder da linguagem, diversidade e mercado de trabalho
gabicavalcante
0
110
Desbravando Comunidades
gabicavalcante
0
41
Featured
See All Featured
Visualization
eitanlees
152
17k
Principles of Awesome APIs and How to Build Them.
keavy
128
18k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
32
3k
Darren the Foodie - Storyboard
khoart
PRO
3
3.8k
Become a Pro
speakerdeck
PRO
31
6.2k
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
6
1.2k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
10
1.3k
Redefining SEO in the New Era of Traffic Generation
szymonslowik
1
400
Art, The Web, and Tiny UX
lynnandtonic
304
22k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
201
75k
Done Done
chrislema
186
16k
Product Roadmaps are Hard
iamctodd
55
12k
Transcript
Web scraping, python, e ordem da câmara dos vereadores 01
Gabi Cavalcante 02 ❯ natalense ❯ 25 anos ❯ TI
❯ @stone-payments ❯ @twilio ❯ autenticação e autorização. e-commerce. chatbots. ❯ ciência de dados/ETL; QE; teste; arquitetura. ❯ PyLadies Natal
❯❯ Web scraping ❯ Python ❯ Ordem da câmara 03
04 a construção de um agente para baixar, analisar e
organizar dados da Web de maneira automatizada fonte: Practical Web Scraping for Data Science (Broucke and Baesens).
05
❯ Web scraping ❯❯ Python ❯ Ordem da câmara 06
❯ Web scraping ❯ Python ❯❯ Ordem da câmara 07
08
Título de CIDADÃO NATALENSE 09
RESULTADOS Total de pautas: Títulos: 1773 21 - 1.18% 10
11
RESULTADOS Total de pautas: Títulos: 1773 1080 - 60.91% 12
O QUE USEI PRA RASPAR 13 ❯ bs4 ❯ scrapy
❯ requests-html
14
15
16
O QUE USEI PRA EXTRAIR 17 ❯ PyPDF2 + regex
❯ pdfPlumber ❯ rows ++
DICAS [1] Python Assíncrono: tudo ao mesmo tempo agora -
Luciano Ramalho [2] rows [2] blog do scrapy 18 CONTRIBUA [1] Brasil.io [2] Querido diário [3] Dados Abertos de Feira
DÚVIDAS? me encontrem: Twitter: @_gabicavalcante Telegram: @gabrilas GitHub: gabicavalcante 19