Big Data, Inteligência Artificial, Machine Learning e o que Hollywood não vai te contar

Terra, 2020. O mundo sofreu uma grande mudança com o poder que as máquinas obtiveram. Elas passaram a interferir no dia a dia das pessoas, dão opiniões em decisões, extraem informações dos seres humanos para uso próprio e tudo parece acabado para a sobrevivência da nossa espécie. Esse poderia muito bem ser a sinopse de um filme B de Hollywood, talvez um blockbuster (Transcendence prova isso). Eles gostam muito desse tom dramático. Embora seja uma visão interessante, não é única. Eu tenho uma visão mais otimista sobre o assunto. Segundo estudos do International Data Corporation (IDC), em 2020 chegaremos a 40 mil exabytes, o equivalente a 100 milhões de vezes a quantidade de livros já escritos hoje. Não precisamos esperar chegar em 2020 para tirarmos proveito do que chamamos de Big Data. Essas duas palavras acabam servindo de guarda-chuva para uma série de outras que estão mudando a forma de nos relacionarmos com o mundo. Nessa palestra eu pretendo mostrar alguns insights de como já podemos tirar proveito de coisas como inteligência artificial e machine learning e o que precisamos entender para lidar com tudo isso.

Transcript

1. Big Data, Inteligência Artificial, Machine Learning e o que Hollywood não vai te contar
2. @garucosta, spread the word!
3. https://soundcloud.com/gdg-casts/7-go-go-go-golang
5. Big Data, Inteligência Artificial, Machine Learning e o que Hollywood não vai te contar
6. Big Data, Inteligência Artificial, Machine Learning e o que Hollywood não vai te contar
8. Big Data, Inteligência Artificial, Machine Learning e o que Hollywood não vai te contar
9. Big Data, Inteligência Artificial, Machine Learning e o que Hollywood não vai te contar
10. I'm sorry, Dave, I'm afraid I can't do that
15. Saindo do Cinema
17. "I think we should be very careful about artificial intelligence. If I had to guess at what our biggest existential threat is, it’s probably that. So we need to be very careful with artificial intelligence. I’m increasingly inclined to think that there should be some regulatory oversight, maybe at the national and international level, just to make sure that we don’t do something very foolish. With artificial intelligence we’re summoning the demon. You know those stories where there’s the guy with the pentagram, and the holy water, and he’s like — Yeah, he’s sure he can control the demon? Doesn’t work out."
18. "I think we should be very careful about artificial intelligence. If I had to guess at what our biggest existential threat is, it’s probably that. So we need to be very careful with artificial intelligence. I’m increasingly inclined to think that there should be some regulatory oversight, maybe at the national and international level, just to make sure that we don’t do something very foolish. With artificial intelligence we’re summoning the demon. You know those stories where there’s the guy with the pentagram, and the holy water, and he’s like — Yeah, he’s sure he can control the demon? Doesn’t work out."
20. "I am in the camp that is concerned about super intelligence. First the machines will do a lot of jobs for us and not be super intelligent. That should be positive if we manage it well. A few decades after that though the intelligence is strong enough to be a concern. I agree with Elon Musk and some others on this and don't understand why some people are not concerned."
21. "I am in the camp that is concerned about super intelligence. First the machines will do a lot of jobs for us and not be super intelligent. That should be positive if we manage it well. A few decades after that though the intelligence is strong enough to be a concern. I agree with Elon Musk and some others on this and don't understand why some people are not concerned."
23. "The development of full artificial intelligence could spell the end of the human race. Once humans develop artificial intelligence, it would take off on its own, and re-design itself at an ever increasing rate. Humans, who are limited by slow biological evolution, couldn't compete, and would be superseded.”
24. "The development of full artificial intelligence could spell the end of the human race. Once humans develop artificial intelligence, it would take off on its own, and re-design itself at an ever increasing rate. Humans, who are limited by slow biological evolution, couldn't compete, and would be superseded.”
25. Big Data, Inteligência Artificial, Machine Learning e o que Hollywood não vai te contar
26. Inteligência Artificial
28. John McCarthy (1955) The science and engineering of making intelligent machines.
29. Strong AI vs Weak AI
30. Strong AI
31. Weak AI
32. Representação do Conhecimento e Raciocínio Raciocínio/Dedução/Inferência Aprendizagem (Machine learning) Planejamento (Automated planning and scheduling) Comunicação (Natural language processing) Percepção (Computer vision, Speech recognition) Movimento e Manipulação (Robotics)
33. Representação do Conhecimento e Raciocínio Raciocínio/Dedução/Inferência Aprendizagem (Machine learning) Planejamento (Automated planning and scheduling) Comunicação (Natural language processing) Percepção (Computer vision, Speech recognition) Movimento e Manipulação (Robotics)
34. Machine Learning
35. O que é?
37. Arthur Samuel (1959) The field of study that gives computers the ability to learn without being explicitly programmed.
39. A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. Tom Mitchell (1997)
40. A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. Tom Mitchell (1997)
41. E A experiência de jogar vários Jogos da Dama.
42. T A tarefa de jogar Dama.
43. P A probabilidade de que o programa vencerá o proximo jogo.
45. Data
46. Data Programa
47. Computador Data Programa
48. Computador Data Programa Output
49. Computador Data Programa Output Data
50. Computador Data Programa Output Data Output
51. Computador Machine Learning Data Programa Output Data Output
52. Computador Machine Learning Data Programa Output Data Output Programa (Modelo)
53. Programa (Modelo) Machine Learning Data Programa Output Data Output Programa (Modelo)
54. Principais conceitos?
55. Nº(Quartos) Nº(Banheiros) Andar Preço (Mil) 3 2 1 460 2 1 1 340 5 3 2 900 2 1 1 350 1 1 1 200
56. Nº(Quartos) Nº(Banheiros) Andar Preço (Mil) 3 2 1 460 2 1 1 340 5 3 2 900 2 1 1 350 1 1 1 200 Instância
57. Nº(Quartos) Nº(Banheiros) Andar Preço (Mil) 3 2 1 460 2 1 1 340 5 3 2 900 2 1 1 350 1 1 1 200 Instância Feature
58. Nº(Quartos) Nº(Banheiros) Andar Preço (Mil) 3 2 1 460 2 1 1 340 5 3 2 900 2 1 1 350 1 1 1 200 Dataset
59. Nº(Quartos) Nº(Banheiros) Andar Preço (Mil) 3 2 1 460 2 1 1 340 5 3 2 900 2 1 1 350 1 1 1 200 Dataset Training Dataset
60. Nº(Quartos) Nº(Banheiros) Andar Preço (Mil) 3 2 1 460 2 1 1 340 5 3 2 900 2 1 1 350 1 1 1 200 Dataset Training Dataset Testing Dataset
61. Treinamento, Modelo e Teste
62. Dados de Treino
63. Dados de Treino ML Alg
64. Dados de Treino ML Alg Modelo
65. Dados de Treino ML Alg Modelo Dados de Teste
66. Dados de Treino ML Alg Modelo Dados de Teste 35%
67. Dados de Treino ML Alg Modelo Dados de Teste 35% Dados de Treino
68. Dados de Treino ML Alg Modelo Dados de Teste 35% Dados de Treino ML Alg
69. Dados de Treino ML Alg Modelo Dados de Teste 35% Dados de Treino ML Alg Modelo
70. Dados de Treino ML Alg Modelo Dados de Teste 35% Dados de Treino ML Alg Modelo Dados de Teste
71. Dados de Treino ML Alg Modelo Dados de Teste 35% Dados de Treino ML Alg Modelo Dados de Teste 85%
73. George Box (1978) All models are wrong but some are useful
74. Tipos de aprendizado
75. Supervised Learning
76. Não Não Sim Não Sim Sim Não Sim Sim Não Sim Não Não Sim Não Sim
77. Unsupervised Learning
79. Semi-supervised Learning
80. Não Sim Não Sim Não Sim Sim Sim
81. Reinforcement Learning
82. E o que mais?
83. Detecção de Spam Detecção de Fraude de Cartão de Crédito Reconhecimento de Digital Reconhecimento de Voz Detecção Facial Recomendação de Produtos Diagnóstico Médico Segmentação de Cliente Detecção de Formato
84. Netflix
85. 75% da audiência do Netflix vem do Algoritmo de Recomendação
86. Learning to Rank
87. Big Data
89. A cada minuto:
90. Usuários do Facebook curtem 1.166.667 posts
91. Usuários do Twitter enviam 347.222 tweets
92. Usuários do Vine assistem 1.041.666 vídeos
94. Every day, we create 2.5 quintillion bytes of data — so much that 90% of the data in the world today has been created in the last two years alone
95. Every day, we create 2.5 quintillion bytes of data — so much that 90% of the data in the world today has been created in the last two years alone
97. Big Data é um termo meio místico
98. mas…
99. 3 V's
100. Volume Um enorme quantidade de dados
101. Velocidade Os dados precisam ser processados rapidamente
102. Variedade Dados surgem de todos os lugares (mobile, sensores, Internet das coisas)
103. +2 V's
104. Veracidade Nem todo dado deve ser usando
105. Valor Extrair informações, insights, etc.
106. Como lidar com isso?
107. Apache Hadoop
108. Hadoop Distributed File System (HDFS)
109. YARN
110. MapReduce
111. Apache Spark
112. Apache Mesos
113. Cases
114. Netflix
115. House of Cards
116. eHarmony
117. Learning to Rank
118. http://www.eharmony.com/engineering/data-science-of-love/
119. Bitly
121. Por que eu deveria me importar?
123. W. Edwards Deming In God we trust, all others must bring data.
127. Você precisa entender o ambiente no qual está vivendo
129. Jeff Hammerbacher The best minds of my generation are thinking about how to make people click ads, … That sucks.
130. Vlw, flw
131. Bruno Henrique @garucosta github.com/brunohenrique pt.slideshare.net/garuhenr squall.bruno@gmail.com