Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Construindo sistemas de aprendizado de máquina ...

Carla Vieira
September 30, 2020

Construindo sistemas de aprendizado de máquina explicáveis: desafios e aprendizados

Nos últimos anos, algoritmos de aprendizado de máquina têm trazido bons resultados em diferentes tarefas - às vezes até superando os humanos. No entanto, os modelos se tornaram muito complexos para serem inteligíveis para os seres humanos. A boa notícia é que é possível construir sistemas mais transparentes com os crescentes estudos nas áreas de Explainable AI, Justiça e Transparência. A má notícia é que essa tarefa é mais difícil do que muitos blogs e artigos têm relatado. Essa palestra tem como objetivo descrever os desafios que você enfrentará na construção de sistemas transparentes e apresentar técnicas viáveis ​​para explicação e teste de modelos de aprendizado de máquina.

https://www.youtube.com/watch?v=6DM2FtCZMAM

Carla Vieira

September 30, 2020
Tweet

More Decks by Carla Vieira

Other Decks in Research

Transcript

  1. Engenheira de Software (python <3), mestranda em Inteligência Artificial e

    Google Developer Expert in Machine Learning. Co-organizadora da perifaCode. [email protected] | carlavieira.dev Carla Vieira
  2. ?

  3. ?

  4. Tecnologia é neutra? "When the field of AI believes it

    is neutral, it both fails to notice biased data and builds systems that sanctify the status quo and advance the interests of the powerful. What is needed is a field that exposes and critiques systems that concentrate power, while co-creating new systems with impacted communities: AI by and for the people." Pratyusha Kalluri (PhD Computer Science, Stanford)
  5. Quem está desenvolvendo Inteligência Artificial? “Only 22% of AI professionals

    globally are female, compared to 78% who are male.” (The Global Gender Gap Report 2018 - p.28)
  6. Modelos interpretáveis Modelos opacos Modelos como redes neurais que fornecem

    grande precisão. O funcionamento interno desses modelos é mais difícil de entender e não são inerentemente explicáveis. Modelos mais simples, baseados em regras, fornecem menos capacidade preditiva e nem sempre são capazes de modelar problemas complexos. Árvores de decisão, regressão linear etc. Redes Neurais, SVM, Random Forest
  7. Inteligência Artificial Explicável é a área de pesquisa que aborda

    essas questões, utilizando diferentes metodologias para explicar as predições dos modelos de aprendizado de máquina. eXplainable Artificial Intelligence
  8. Transparência é oferecer uma explicação clara, facilmente compreensível e em

    linguagem simples do que algo é, o que faz e por que o faz. transparência
  9. Explicações são descrições compreensíveis para seres humanos, do comportamento e

    das consequências das predições de modelos de IA, bem como as razões e justificativas para as decisões feitas pelos humanos que criaram esses modelos. explicações
  10. Dados de treinamento Modelo de Aprendizado de Máquina Usuário Decisão

    ou recomendação - Por que o modelo fez essa predição? - Quando o modelo falha? - Quando o modelo tem sucesso? - Quando posso confiar? - Como posso corrigir um erro? HOJE Dados de treinamento Modelo de Aprendizado de Máquina Usuário - Eu entendo o porquê - Eu sei quando pode falhar - Eu sei quando pode funcionar - Eu sei quando posso confiar - Eu sei como corrigir erros XAI Modelo Explicável Explicações
  11. Interpretabilidade intrínseca Interpretabilidade extrínseca (post-hoc) Utilizar modelos explicáveis para "imitar"

    o comportamento do modelo opaco. Trade-off: mantém acurácia do modelo original Limitação: não garante alta fidelidade Trabalhar a modelagem como modelos que são inerentemente explicáveis. Trade-off: mantém acurácia e fidelidade das explicações Limitação: não resolve problemas complexos 33 Modelo opaco Predições Dados XAI Explicações
  12. Abordagem específica Abordagem agnóstica Abordagens agnósticas permitem explicar as predições

    independente do modelo de aprendizado de máquina utilizado. (MENGNAN et al., 2019) Abordagem que são específicas para um determinado modelo (ex: redes neurais).
  13. Explicações locais Explicações globais Fornecer um entendimento global sobre o

    conhecimento adquirido pelo modelo pré-treinado e apresentar os padrões ou representações aprendidas de uma maneira intuitiva para os humanos. Identificar as contribuições de cada atributo dos dados de entrada em uma predição específica.
  14. Cenário Algoritmo para decidir se o banco deve ou não

    aceitar sua solicitação de empréstimo Modelo de crédito Solicitação empréstimo Solicitação negada Retorna da resposta Execução do modelo
  15. LIME (RIBEIRO et al., 2016) - Método agnóstico para explicações

    locais. SHAP (LUND-BERG e LEE, 2017) - explicação local a partir da importância de atributos. Conecta LIME e os valores Shapley, ajudando a unificar o campo do aprendizado de máquina interpretável. Explicações contrafactuais (SHARMA et al., 2020; MOTHILAL et al., 2020) - são usadas para explicar previsões de instâncias individuais, utilizando perturbações dos dados Principais métodos
  16. Como avaliar as explicações geradas pelos métodos? Como definir explicabilidade/fairness/transparência

    de modelos? Como construir técnicas centradas nas comunidades impactadas por essas tecnologias? Desafios
  17. “What this new wave of XAI researchers agree on is

    that if AI systems are to be used by more people, those people must be part of the design from the start—and different people need different kinds of explanations.”
  18. “Qualquer tecnologia que criamos reflete tanto nossas aspirações quanto nossas

    limitações. Se formos limitados na hora de pensar em inclusão, isso vai ser refletido e incorporado na tecnologia que criamos”. Joy Buolamwini
  19. Notícias Amazon (2018) Dissecting racial bias in an algorithm used

    to manage the health of populations Wrongfully Accused by an Algorithm Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros
  20. Newsletters − MIT Review – The Download (en): tecnologias emergentes

    − MIT Review – The Algorithm (en): Inteligência Artificial − Data & Society (en): Data & Society advances public understanding of the social implications of data-centric technologies and automation. − AI Weekly by Khari Johson (en) − Data Hackers (pt): − Desvelar (Tecnologia e Sociedade) (pt): Podcasts − Artificial Intelligence: AI Podcast by Lex Fridman (en) − Crazy for data (pt) − The Received Wisdom Podcast (en) − 10 TED Talks about AI
  21. • Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em

    código • The How of Explainable AI: Post-modelling Explainability • Lista de artigos sobre ética e IA • Relatórios do AI NOW • Notícias sobre reconhecimento facial no Brasil • Racial and Gender bias in Amazon Rekognition • Diversity in faces (IBM) • Google video – Machine Learning and Human Bias • Visão Computacional e Vieses Racializados • Estudo Machine Bias on Compas • Machine Learning Explainability Kaggle • Predictive modeling: striking a balance between accuracy and interpretability • Neural Network Bias: Bias Neuron, Overfitting and Underfitting
  22. Referências BARAKAT, N. H.; BRADLEY, A. P. (2007) Rule extraction

    from support vector machines: Asequential covering approach. IEEE Transactions on Knowledge and Data Engineering. Disponível em: https://doi.org/10.1109/TKDE.2007.190610 Doran, D., Schulz, S.C. e Besold, T. R. 2018. What Does Explainable AI Really Mean? A New Conceptualization of Perspectives. CEUR Workshop Proceedings, 2018. Disponível em: https://arxiv.org/abs/1710.00794 Freitas, A. 2014. Comprehensible classification models: A position paper. Disponível em: https://doi.org/10.1145/2594473.2594475 Guidotti, R., Monreale, A., Ruggieri, S., Turini, F.,Pedreschi, D. e Giannotti, F. 2018. A survey of methods for explaining black box models. Disponível em: https://arxiv.org/abs/1802.01933 Hymas, C. (2019) AI used for first time in job interviews in UK to find best applicants. The Telegraph Disponível em: https://www.telegraph.co.uk/news/2019/09/27/ai-facial-recognition-used-first-time-job-interviews-uk-find/ Ribeiro, M. T., Singh, S. e Guestrin, C. 2016.Model-agnostic interpretability of machine learning,Cornell University. Disponível em: https://arxiv.org/abs/1606.05386 Ledford, H. 2019. Millions of black people affected by racial bias in health-care algorithms. Nature. Disponível em: https://www.nature.com/articles/d41586-019-03228-6 51
  23. Referências LUNDBERG, S. M.; ERION, G. G.; CHEN, H.; DEGRAVE,

    A.; PRUTKIN, J. M.; NAIR,B.; KATZ, R.; HIMMELFARB, J.; BANSAL, N.; LEE, S. 2019. Explainable AI for trees: From local explanations to global understanding. Disponível em:http://arxiv.org/abs/1905.04610 LUNDBERG, S. M.; LEE, S.-I. 2017. A unified approach to interpreting model predictions.In: GUYON, I.; LUXBURG, U. V.; BENGIO, S.; WALLACH, H.; FERGUS, R.;VISHWANATHAN, S.; GARNETT, R. (Ed.). Disponível em:http://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions.pdf Mengnan, D., Ninghao, L., e Xia, H. 2019. Techniques for interpretable machine learning. Disponível em: https://dl.acm.org/doi/10.1145/3359786 Obermeyer, Z., Powers, B., Vogeli, C. e Mullainathan, S. 2019. Dissecting racial bias in an algorithm used to manage the health of populations. Disponível em: https://science.sciencemag.org/content/366/6464/447 O’NEIL, C.Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. USA: Crown Publishing Group, 2016. ISBN 0553418815. Papadopoulos, P. e Walkinshaw, N. 2015. "Black-Box Test Generation from Inferred Models".Disponível em: https://ieeexplore.ieee.org/document/7168327 Vieira, C. P. R.; Digiampietri, L. A. 2020. A study about Explainable Artificial Intelligence: using decision tree to explain SVM. Disponível em: http://seer.upf.br/index.php/rbca/article/view/10247 52