Placar UOL: Copa do Mundo e Eleições ao vivo com Node.js e WebSockets

Placar UOL é um dos produtos de maior audiência do UOL. Milhares de usuários acompanham as principais partidas de futebol, resultado das eleições e apuração do carnaval em tempo real. Esta apresentação mostra a evolução da arquiteturaem começando com Apache, passando por Nginx, até sua versão atual utilizando Node.js e WebSockets.

Transcript

1. Placar UOL
2. • JavaScript desde 1999 • Node.js desde v0.2.4 (2010) • 15 anos no UOL Home Page, Rádio UOL Publicador (CMS), Bate-papo Busca, Placar UOL
7. TSE “tempo-real” publica assina edita assiste envia
8. Alta audiência em intervalo de tempo extrema- mente curto
9. HTTP REQ/RES
11. CONN/THREAD 1m UPDATE NFS + mod_cache META REFRESH
12. 30.000 18 30/06/2006
14. DEVOPS++ 4s UPDATE RESTARTS JSONP SCRIPT
15. 72.000 18 Rio 2011
17. 1s UPDATE PROXY JSON/XHR SOCKETS * 2 MOD--
18. 500.000 18 Rio 2013
19. BIDIRECIONAL TCP HANDSHAKE
20. $ npm install ws https://github.com/websockets/ws The fastest RFC-6455 WebSocket implementation for Node.js BINARY HIXIE
21. User DNS Router Master Data centers Servers Processes Worker Internet Browser Arquitetura
22. Workers
23. theory meets messy reality most connections ended up in just two or three processes. https://strongloop.com/strongblog/whats-new-in-node-js-v0-12-cluster-round-robin-load-balancing/
24. iptables iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 23 -j REDIRECT --to-ports 8103 iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 22 -j REDIRECT --to-ports 8102 iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 21 -j REDIRECT --to-ports 8101 iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 20 -j REDIRECT --to-ports 8100 iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 19 -j REDIRECT --to-ports 8099 iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 18 -j REDIRECT --to-ports 8098 iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 17 -j REDIRECT --to-ports 8097 iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 16 -j REDIRECT --to-ports 8096 iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 15 -j REDIRECT --to-ports 8095 child_process
25. 32 cores (2 GHz) 64 GB RAM 31 workers REDE 1 Gb USO PREVISÍVEL CRESCIMENTO HORIZONTAL 1.040.000 users 33.500 users / worker TOO BIG TO FAIL 16.700 users / GB 4 cores (2.2 GHz) 8 GB RAM 3 workers 100.000 users 33.300 users / worker 16.600 users / GB
26. (Des)balanceamento via DNS close code 4001 WebSocket close codes 4000-4999 “Available for use by applications” RAM NOK BROWSER DNS DATA CENTER SERVER WebSocket HTTP upgrade
27. POLLING! HUEHUEHUE 46 LINHAS 2s
29. 1.200.000 26 24 milhões de page views
30. 300.000 26 3,5 milhões de page views 1 x 7 never forget
32. 1.100.000 26 Primeiro turno
33. 1.500.000 26 Segundo turno
34. ms UPDATE POLLING IE window.WebSocket DEVOPS-- PING RESTART = 0
35. Obrigado! fermads@uolinc.com