Como chaos engineering garante a resiliência dos seus serviços

Uma coisa é fato: uma hora, algo dá errado. Seus serviços estão preparados para este momento?
Não se trata apenas de prever falhas de todo o tipo, mas como lidar com o imprevisto. Pergunte a si mesmo: meus serviços são de fato resilientes?
Nesta sessão aprenderemos sobre como a engenharia de caos fornece as abordagens para deixar o seu sistema pronto para o que der e vier!
Junte-se a nós para discutir sobre como o caos pode trazer ordem aos seus serviços.

Transcript

1. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 1
2. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 2 Como o chaos engineering garante a resiliência dos seus serviços Elder Moraes | @elderjava Developer Advocate Novembro, 2019
3. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, timing, and pricing of any features or functionality described for Oracle’s products may change and remains at the sole discretion of Oracle Corporation.
4. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Chaos Engineering é a disciplina de realizar experimentos em um sistema com o intuito de construir confiança com relação à sua capacidade de suportar condições adversas em produção. http://principlesofchaos.org/ 4
5. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 5 Resiliência é a capacidade de um sistema se adaptar diante de mudanças, falhas e anomalias
6. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Crie falhas de propósito antes que elas aconteçam inesperadamente. Encontre fraquezas e faça correções. 7
7. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Onde injetar caos? O importante é começar com “baby steps” e ganhar confiança aos poucos 8 Aplicação Cache Banco de dados Infra/Cloud
8. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 9 Fases do Chaos Engineering Estado estacionário Hipótese Desenho do experimento Resultado e aprendizado Correção
9. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Comportamento regular de um serviço 10 Estado estacionário https://medium.com/netflix-techblog/sps-the-pulse-of-netflix-streaming-ae4db0e05f8a Baseado na métrica de negócio
10. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Falando em métrica… 11
11. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Métrica é uma medida para avaliar, controlar e/ou selecionar quantitativamente: uma pessoa, um processo, um evento ou uma instituição 12
12. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Métrica vs Health Check 13
13. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | RockyBalboaService 14
14. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 15 • Força do soco: 100% • Sangramento: 0 ml/s • Visão: 100% • Nível suor: 1 ml/s • Confiança: 10 • Pronúncia: Adrian! • Força do soco: 0,5% • Sangramento: 100 ml/s • Visão: -10% • Nível suor: 2000 ml/s (baldes) • Confiança: 0 • Pronúncia: Ãnhãnãããnnnn
15. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | De volta ao caos 16
16. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | E se…? • Um serviço retornar 404 • O banco de dados parar • O número de requests aumentar excessivamente • A latência aumentar em 100% • Um container parar de funcionar • Uma porta tornar-se inacessível 17 Hipótese
17. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Melhores práticas • Comece pequeno • Mais próximo possível da produção • Minimize o raio de ação • Tenha um meio de parar emergencialmente • Automatize 18 Desenho do experimento
18. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 19 Desenho do experimento Usuários Load balancer 98% 1% 1% Estado estacionário Grupo de controle Grupo experimental
19. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | • Quanto tempo para detecção da falha? • Alguém foi notificado? Quanto tempo depois? • Houve graceful degradation? Quanto tempo para iniciar? • Quanto tempo para auto restabelecimento (parcial e total)? • Houve intervenção manual? • Quanto tempo até retornar ao estado estacionário? 20 Resultado e aprendizado Importante: o objetivo não é achar culpados! ;-)
20. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 21 Correção
21. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | “We learn from failure, not from success” – Dracula, Bram Stoker 22
22. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Kubernetes & Chaos Engineering 23
23. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Porque falar sobre Chaos & Kubernetes? • Funcionalidades nativas para resiliência • Restart de pods baseados em health-check/status • Distribuição de pods em diferentes regiões 24
24. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | Algumas ferramentas para Chaos com Kubernetes • Istio • Chaos Toolkit • Chaos Monkey • Chaos Kong • Kube Monkey 25
25. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 26 Injeção de falhas com Istio https://istio.io/docs/tasks/traffic-management/fault-injection/
26. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 31 Chaos Monkey https://github.com/netflix/chaosmonkey • “Mata” aleatoriamente máquinas virtuais e/ou containers em produção • Funciona integrado ao Spinnaker (https://www.spinnaker.io/) • Suporte a AWS, GCE, Azure, Cloud Foundry e Kubernetes
27. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 32 https://medium.com/netflix-techblog/tagged/chaos-kong • “Mata” uma região inteira do provedor de cloud • Esse tipo de incidente é raro, mas acontece
28. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 33 Kube Monkey https://github.com/asobti/kube-monkey
29. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 34 Kube Monkey https://github.com/asobti/kube-monkey
30. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | DEMO TIME!!! 35
31. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | “Chaos doesn’t cause problems. It reveals them.” – Nora Jones, Senior Chaos Engineer, Netflix 37
32. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | @elderjava book.eldermoraes.com
33. Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | 39