Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Web scraping, python, e ordem da câmara dos ver...

Avatar for Gabriela Gabriela
November 02, 2020
1
47

Web scraping, python, e ordem da câmara dos vereadores

Avatar for Gabriela

Gabriela

November 02, 2020
Tweet

More Decks by Gabriela

See All by Gabriela
Python: O poder da linguagem, diversidade e mercado de trabalho
Avatar for Gabriela gabicavalcante
0
100
Desbravando Comunidades
Avatar for Gabriela gabicavalcante
0
28

Featured

See All Featured
Designing for humans not robots
Avatar for Tammie Lister tammielis
253
25k
Practical Orchestrator
Avatar for Shlomi Noach shlominoach
187
11k
Reflections from 52 weeks, 52 projects
Avatar for Jefferson Lam jeffersonlam
349
20k
The Language of Interfaces
Avatar for Des Traynor destraynor
158
25k
Measuring & Analyzing Core Web Vitals
Avatar for Philip Tellis bluesmoon
7
420
KATA
Avatar for Megan Lloyd mclloyd
29
14k
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
75
5.8k
BBQ
Avatar for Matthew Crist matthewcrist
88
9.6k
Intergalactic Javascript Robots from Outer Space
Avatar for Vicent Martí tanoku
271
27k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
Avatar for Kevin Liebholz kevinliebholz
32
5.6k
Building Applications with DynamoDB
Avatar for Matt Wood mza
94
6.4k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
Avatar for Eileen M. Uchitelle eileencodes
24
2.7k

Transcript

  1. Web scraping, python, e ordem da câmara dos vereadores 01

  2. Gabi Cavalcante 02 ❯ natalense ❯ 25 anos ❯ TI

    ❯ @stone-payments ❯ @twilio ❯ autenticação e autorização. e-commerce. chatbots. ❯ ciência de dados/ETL; QE; teste; arquitetura. ❯ PyLadies Natal

  3. ❯❯ Web scraping ❯ Python ❯ Ordem da câmara 03

  4. 04 a construção de um agente para baixar, analisar e

    organizar dados da Web de maneira automatizada fonte: Practical Web Scraping for Data Science (Broucke and Baesens).

  5. 05

  6. ❯ Web scraping ❯❯ Python ❯ Ordem da câmara 06

  7. ❯ Web scraping ❯ Python ❯❯ Ordem da câmara 07

  8. 08

  9. Título de CIDADÃO NATALENSE 09

  10. RESULTADOS Total de pautas: Títulos: 1773 21 - 1.18% 10

  11. 11

  12. RESULTADOS Total de pautas: Títulos: 1773 1080 - 60.91% 12

  13. O QUE USEI PRA RASPAR 13 ❯ bs4 ❯ scrapy

    ❯ requests-html

  14. 14

  15. 15

  16. 16

  17. O QUE USEI PRA EXTRAIR 17 ❯ PyPDF2 + regex

    ❯ pdfPlumber ❯ rows ++

  18. DICAS [1] Python Assíncrono: tudo ao mesmo tempo agora -

    Luciano Ramalho [2] rows [2] blog do scrapy 18 CONTRIBUA [1] Brasil.io [2] Querido diário [3] Dados Abertos de Feira

  19. DÚVIDAS? me encontrem: Twitter: @_gabicavalcante Telegram: @gabrilas GitHub: gabicavalcante 19