Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

Web scraping, python, e ordem da câmara dos ver...

Avatar for Gabriela Gabriela
November 02, 2020
1
51

Web scraping, python, e ordem da câmara dos vereadores

Avatar for Gabriela

Gabriela

November 02, 2020
Tweet

More Decks by Gabriela

See All by Gabriela
Python: O poder da linguagem, diversidade e mercado de trabalho
Avatar for Gabriela gabicavalcante
0
100
Desbravando Comunidades
Avatar for Gabriela gabicavalcante
0
31

Featured

See All Featured
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
4.1k
Mobile First: as difficult as doing things right
Avatar for Swwweet swwweet
225
10k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
Avatar for panda_program panda_program
120
20k
Typedesign – Prime Four
Avatar for Hannes Fritz hannesfritz
42
2.9k
Designing Experiences People Love
Avatar for Jonathan Moore moore
143
24k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
Avatar for Dan Newman danielanewman
231
22k
Site-Speed That Sticks
Avatar for Harry Roberts csswizardry
13
990
How Fast Is Fast Enough? [PerfNow 2025]
Avatar for Tammy Everts tammyeverts
3
380
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
80
6.1k
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
9
480
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
16
1.8k
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
128
54k

Transcript

  1. Web scraping, python, e ordem da câmara dos vereadores 01

  2. Gabi Cavalcante 02 ❯ natalense ❯ 25 anos ❯ TI

    ❯ @stone-payments ❯ @twilio ❯ autenticação e autorização. e-commerce. chatbots. ❯ ciência de dados/ETL; QE; teste; arquitetura. ❯ PyLadies Natal

  3. ❯❯ Web scraping ❯ Python ❯ Ordem da câmara 03

  4. 04 a construção de um agente para baixar, analisar e

    organizar dados da Web de maneira automatizada fonte: Practical Web Scraping for Data Science (Broucke and Baesens).

  5. 05

  6. ❯ Web scraping ❯❯ Python ❯ Ordem da câmara 06

  7. ❯ Web scraping ❯ Python ❯❯ Ordem da câmara 07

  8. 08

  9. Título de CIDADÃO NATALENSE 09

  10. RESULTADOS Total de pautas: Títulos: 1773 21 - 1.18% 10

  11. 11

  12. RESULTADOS Total de pautas: Títulos: 1773 1080 - 60.91% 12

  13. O QUE USEI PRA RASPAR 13 ❯ bs4 ❯ scrapy

    ❯ requests-html

  14. 14

  15. 15

  16. 16

  17. O QUE USEI PRA EXTRAIR 17 ❯ PyPDF2 + regex

    ❯ pdfPlumber ❯ rows ++

  18. DICAS [1] Python Assíncrono: tudo ao mesmo tempo agora -

    Luciano Ramalho [2] rows [2] blog do scrapy 18 CONTRIBUA [1] Brasil.io [2] Querido diário [3] Dados Abertos de Feira

  19. DÚVIDAS? me encontrem: Twitter: @_gabicavalcante Telegram: @gabrilas GitHub: gabicavalcante 19