Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Machine Learning sem perda de tempo: aumentand...

Machine Learning sem perda de tempo: aumentando as chances de criar produtos que realmente importam

Palestra apresentada pela Eduardo Bonet na 61º Python Floripa on-line https://www.youtube.com/watch?v=R8rtdIABVxc&t=1s

Python Floripa

August 07, 2021
Tweet

More Decks by Python Floripa

Other Decks in Technology

Transcript

  1. Machine Learning sem Perda de Tempo Aumentando as chances de

    criar produtos que realmente importam
  2. Eduardo Bonet @ef_bonet Pai, Parceiro, TDAH Generalista, com orgulho Senior

    ML Engineer & Product Lead - MLOps @ GitLab Essa apresentação é limitada pela minha experiência profissional, e o aqui apresentado é somente uma perspectiva a ser considerada.
  3. Diversos motivos para isso acontecer - Líder empolgado com a

    iniciativa sai da empresa - Mudança de prioridades - Insuficiência de dados ou dados de má qualidade - Falta de conhecimento das peculiaridades de ML - Projetos fadados ao fracasso por expectativas inalcançáveis - Diferentes objetivos entre praticantes de ML, usuários e líderes
  4. Diversos motivos para isso acontecer - Líder empolgado com a

    iniciativa sai da empresa - Mudança de prioridades - Insuficiência de dados ou dados de má qualidade - Falta de conhecimento das peculiaridades de ML - Projetos fadados ao fracasso por expectativas inalcançáveis - Diferentes objetivos entre praticantes de ML, usuários e líderes
  5. Diversos motivos para isso acontecer - Líder empolgado com a

    iniciativa sai da empresa - Mudança de prioridades - Insuficiência de dados ou dados de má qualidade - Falta de conhecimento das peculiaridades de ML - Projetos fadados ao fracasso por expectativas inalcançáveis - Diferentes objetivos entre praticantes de ML, usuários e líderes COMUNICAÇÃO
  6. Melhorando a Comunicação Antecipar as perguntas difíceis, para que elas

    guiem o desenvolvimento do projeto. Alinhar expectativas com todos envolvidos no projeto. Identificar projetos fadados a fracassar. Desenvolver o modelo pensando na experiência do usuário.
  7. Machine Learning é um conjunto de algoritmos e modelos estatísticos

    usados para extrair informação de dados com um grau de incerteza. Machine Learning é uma ferramenta. O que é Aprendizado de Máquina (ML)?
  8. Quais os problemas que ML resolve bem? Métricas de sucesso

    bem definidas Dados de boa qualidade para o problema em questão A aplicação permite que erros aconteçam Impacto em escala
  9. Passo 0: Definindo bem Sucesso Imagine o mundo onde o

    problema já foi resolvido Nesse mundo, que mudou na experiência no usuário?
  10. Passo 0: Definindo bem Sucesso Imagine o mundo onde o

    problema já foi resolvido Nesse mundo, que mudou na experiência no usuário? Quais os indicadores que podem ser usados para quantificar essas mudanças?
  11. Passo 0: Definindo bem Sucesso Imagine o mundo onde o

    problema já foi resolvido Nesse mundo, que mudou na experiência no usuário? Quais os indicadores que podem ser usados para quantificar essas mudanças? Qual o indicador de sucesso? Quais são os indicadores de validação?
  12. Todo indicador quando vira um objetivo deixa de ser um

    bom indicador (Lei de Goodheart) Em adição ao indicador de sucesso, é importante ter outros indicadores de validação
  13. A experiência do usuário vai definir quais algoritmos ou não

    podem ser usados. • É necessário explicar a razão de cada predição? • Em que momento a predição é feita? Quais os dados estão disponíveis no momento da predição? • Qual o tempo de resposta necessário para uma predição? • A predição é feita no aparelho do usuário, ou no servidor, ou em um microcontrolador? ….
  14. Ao propor uma solução com ML, lembre-se que Mão de

    obra é escassa e cara Colocar um modelo em produção requer arquitetura especializada (Model Registry, Pipelines para transformação de dados e treinamento de modelos, monitoramento de predições, etc) Modelos de Machine Learning tem data de validade: com o tempo as predições vão ficando piores, aumentando o custo de manutenção. Altamente exploratório, difícil de definir deadlines Difícil colocar a primeira versão online rápido para iterar com o usuário
  15. Que tal começar com uma solução sem ML? Iteração rápida

    para descobrir o que o usuário realmente quer Coletar dados rapidamente para criar um modelo melhor Define melhor os indicadores de sucesso e validação Vira Baseline para a uma futura solução de ML Talvez no final das contas ML seja até desnecessário
  16. Consideração: Heurística é Débito Técnico Heurística é o primeiro passo

    para implementar ML, mas é uma forma de solução de curto prazo, e diminui a velocidade de iteração ao longo de tempo.
  17. Exemplo: AUC para Classificação AUC traz uma métrica que avalia

    ao longo de todos os cortes. Na realidade, só um corte vai ser escolhido https://www.researchgate.net/figure/Risk- distributions-and-area-under-the-ROC-cur ve-AUC-adapted-from-Janssens-Martens- 35_fig4_336879307
  18. Exemplo: AUC para Classificação Alternativa: Escolher o retorno onde o

    ponto de corte traz o máximo retorno Cada classificação certa ou errada tem um custo associado (em dinheiro, em experiência de usuário) Qual o corte com melhor custo benefício? Retorno(T) = Custo_TP * TP(T) + Custo_TN * TN(T) - Custo_FP * FP(T) - Custo_FN * FN(T)
  19. Minimum Viable Accuracy MVA é o resultado mínimo, em termos

    de métricas de modelo, que o modelo deve obter para alcançar a definição de sucesso Indicador de Sucesso MVA choro desespero gritaria terapia Requisitos Time de ML Especialistas de Domínio
  20. Exemplo: Melhorar Ofertas para o usuário Passo 1: Definição de

    Sucesso Business consideraria o projeto um sucesso se houvesse um aumento de R$200.000 no retorno mensal
  21. Exemplo: Melhorar Ofertas para o usuário Passo 2: Como é

    a experiência de usuário? Como a predição seria acessada? Usuário acessa a página principal, e vê uma série de itens ofertados. Existe limite na oferta de itens? Novos itens são ofertados constantemente Qual o custo do erro? Errar uma predição não traz um custo alto
  22. Exemplo: Sistema de recomendação Passo 3: Qual a situação atual?

    - 5000 usuários mensais - 10.000 compras - Compra média de R$70.00 - Cada usuário vê em média 5 produtos - 20.000 visitas mensais
  23. Exemplo: Melhorar Ofertas para o usuário Passo 4: Que métrica

    usar? O que importa aqui é recomendar o produto certo. Normalmente, usaria-se MAP@K Número de itens vistos é fixo, então Precisão com 5 itens (P@5) faz mais sentido.
  24. Passo 5: O que é necessário para chegar no sucesso?

    Exemplo: Melhorar Ofertas para o usuário
  25. Passo 5: O que é necessário para chegar no sucesso?

    R$200.000 -> 200.000/(70) -> 3000 transações adicionais Exemplo: Melhorar Ofertas para o usuário
  26. Passo 5: O que é necessário para chegar no sucesso?

    R$200.000 -> 200.000/(70) -> 3000 transações adicionais Atualmente 10.000 transações -> Aumento de 30% em acertos Exemplo: Melhorar Ofertas para o usuário
  27. Passo 5: O que é necessário para chegar no sucesso?

    R$200.000 -> 200.000/(70) -> 3000 transações adicionais Atualmente 10.000 transações -> Aumento de 30% em acertos P@5 atual = 10.000 transações / (20.000 visitas x 5 itens) = .1 Exemplo: Melhorar Ofertas para o usuário
  28. Passo 5: O que é necessário para chegar no sucesso?

    R$200.000 -> 200.000/(70) -> 3000 transações adicionais Aumento de 30% em acertos P@5 atual = 10.000 transações / (20.000 visitas x 5 itens) = .1 Exemplo: Melhorar Ofertas para o usuário P@5 de sucesso = .1 x 1.3 = 0.13
  29. É impossível chegar num valor exato para o MVA, basta

    chegar em um valor aproximado Normalmente, várias suposições são feitas no cálculo do MVA. Essas suposições devem ser testadas e atualizadas ao longo do tempo Não se apegue ao valor definido pelo MVA, ele vai mudar com o tempo e conforme ideias vão se cristalizando MVA: Considerações
  30. O MVA não é uma ferramenta para educar o business

    sobre Machine Learning (embora auxilie na definição de expectativas), é uma ferramenta para educar o time de Machine Learning sobre o problema eles vão resolver A maior vantagem de explorar o MVA não é o valor em si, mas os processo de criação. Ao definir o MVA, o time precisa trabalhar com o business para definir as métricas, as expectativas, as peculiaridades do sistema. MVA: Considerações
  31. Finalizando Para evitar problemas, procure sempre: Antecipar as perguntas difíceis,

    para que elas guiem o desenvolvimento do projeto. Alinhar expectativas com todos envolvidos no projeto. Identificar projetos fadados a fracassar. Desenvolver o modelo pensando na experiência do usuário.
  32. Recursos Data Science para Negócios [Livro] Machine Learning Engineering, capítulo

    2 [Livro gratuito] "Everyone wants to do the model work, not the data work": Data Cascades in High-Stakes AI [Artigo] 150 Successful Machine Learning Models: 6 Lessons Learned at Booking.com [Artigo] Seven-steps to set goals and pick metrics for customers [Medium] Google Rules of ML [Website]