Agile & Big Data

Ágiles Perú 2019

Transcript

1. Agile & Big Data Victoria Ubaldo @vikyale
4. BIG DATA
5. BIG DATA, no es sólo sobre tamaño
6. LO QUE HABLAREMOS CAMBIOS Y RETOS RESPUESTA
7. CAMBIOS Y RETOS
8. Solíamos pensar en sólo obtener datos de las computadoras.
9. ... pero ahora hay muchos dispositivos a considerar
10. ... y más dispositivos
11. Inicio de un proyecto
12. ¿CÓMO ESPERAMOS LA DATA?
13. ¿CÓMO ESPERAMOS LA DATA?
14. Limpiar y poner en orden la data, en estructura y contenido
15. LA DATA SE ENCUENTRA DISTRIBUIDA Datos ingresados por muchas personas
16. LA DATA SE ENCUENTRA DISTRIBUIDA Problemas en actualización diversidad y veracidad de fuentes Datos ingresados por muchas personas
17. El enfoque que aprendimos de gestión de datos no es suficiente Obliga al uso de clústeres.
18. RESPUESTA
19. Realizar análisis de datos con proyectos pequeños y rápidos centrados en un objetivo de negocio en particular. AGILE LOGISTICA EXTRACCIÓN VISUALIZACIÓN INTERPRETACIÓN
20. • Hojas de cálculo, presentaciones, archivos PDF • Datos de proveedores • Speech to text • Web scraping Extraer datos es complejo, pero el verdadero problema es saber dónde mirar. EXTRACCIÓN
21. • A menudo, sólo los profesionales en tecnología que trabajan con aplicaciones en el día a día son los que saben dónde se esconden los datos útiles. • Pero no saber cuán potencialmente valioso puede ser.
22. La gente de negocios a menudo es consciente de los problemas, pero no sabe cómo los datos pueden ayudarlos, si esos datos existen, y si es así ¿dónde están?
23. Negocio y Profesionales de Software Colaboración cross-funcional es esencial
24. Se debe repensar el papel y objetivos de un gestor de base de datos ( data management) . LOGÍSTICA
25. Basado principalmente en bases de datos relacionales enfocado en almacenar solo datos validados
26. Basado principalmente en bases de datos relacionales enfocado en almacenar solo datos validados Ahora deben considerar qué tecnología de base de datos es apropiada para su situación, en lugar de utilizar una sola tecnología (relacional) para todo. Los cambios requieren nuevas estrategias
27. Cassandra, Mongo, Neo4J, Riak :¿Cuál es la base de datos adecuada para nuestras necesidades?
28. Data Aggregation Almacenan estructuras complejas de datos en una sola unidad, en lugar de distribuir los datos en muchas filas en muchas tablas. (hacer agregados, estadísticas,"conteos")
29. Grafos Bueno para pequeñas unidades de datos con estructuras ricas de conexión. Diseñados para un recorrido rápido a través de la estructura del gráfico.
30. Hemos encontrado que las bases de datos NoSQL son adecuadas para aplicaciones empresariales, pero no significa que el modelo relacional está muerto.
31. • El modelo de datos relacional es la elección correcta para muchos tipos de datos. • Las bases de datos relacionales son tecnología madura, con la que muchas personas están familiarizadas y tienen buenas herramientas.
33. Exploración
34. Exploración Cosecha
35. Exploración Cosecha Filtro
36. Exploración Cosecha Filtro Integración
37. Exploración Cosecha Filtro Integración Aumento
38. Exploración Cosecha Filtro Integración Aumento Análisis
39. Exploración Cosecha Filtro Integración Aumento Análisis
40. 6 meses es demasiado tiempo para una acción efectiva • Los tiempos de ciclo largos conducen a un esfuerzo inútil. • Los tiempos de ciclo lentos reducen la capacidad de aprender. • La velocidad en el aprendizaje amplifica la ventaja de la velocidad a través del ciclo.
41. Por lo tanto, necesitas un enfoque ágil con ciclos rápidos • Debemos reducir el alcance de cada ciclo para ejecutarlo rápidamente • Usando los resultados de un ciclo para decidir qué hacer en el siguiente.
42. Establece un objetivo de negocio Elige un aspecto pequeño y simple de la meta como punto de partida analítico Valide la utilidad y la capacidad de acción de los resultados con las partes interesadas del negocio Repetir, explorando más aspectos del objetivo,
43. Pautas para un enfoque de análisis ágil : • Equipos pequeños, muy centrados en un aspecto a la vez. • No intente construir un gran marco analítico, resuelva problemas particulares y coseche un marco. • Favorezca herramientas livianas ( que permitan desarrollar gradualmente la capacidad a medida que la necesite). • Trate la operación analítica como un proyecto de desarrollo de software ágil, con las disciplinas habituales para el desarrollo ágil de aplicaciones.
44. Ejemplos de mal razonamiento intuitivo con estadísticas, sesgos Comúnmente cometemos errores en atribuir una causa a algo que es sólo casualidad. INTERPRETACIÓN
45. • Ilusión probabilística. • Al igual que las ilusiones ópticas confunden el ojo, las ilusiones probabilísticas confunden nuestro razonamiento. • Cuando usamos más los datos, este problema es más frecuente, incluso los científicos y matemáticos se dejan engañar con frecuencia por estas ilusiones.
46. Es nuestra responsabilidad : • Educarnos a nosotros mismos y a nuestros usuarios sobre las ilusiones probabilísticas. • Asegurarnos de que la información que las personas encuentren no sea solo ruido estadístico. • Tener un mejor control de la probabilidad y las estadísticas, para alertarnos de posibles problemas. • Incorporar habilidades estadísticas.
47. • Ayudan a convertir los datos en información • Las buenas visualizaciones deben centrarse en cómo los datos pueden informar los objetivos que tiene para sus análisis. • Una buena manera de aprender sobre la visualización es explorar ejemplos de diferentes enfoques. VISUALIZAR
48. • Las visualizaciones impresionantes pueden ser extremadamente valiosas. • Pero no se obsesione con uno complejo, puede crear visualizaciones útiles con un esfuerzo sorprendentemente pequeño.
50. Entonces ... ¿es Big Data == Big Hype? • Hay cambios significativos en la forma en que nos aparecen los datos, que provocan acciones apropiadas para la respuesta de nuestra profesión.
51. Big Data !=Grandes proyectos • Cualquier proyecto de software debe incorporar el pensamiento "Big Data" • Muchos proyectos de software pueden hacer más para exponer sus datos de manera efectiva. • Colaboremos estrechamente con clientes y usuarios para explorar qué datos son útiles.
52. Recomendaciones :) • Tenga cuidado para evitar ilusiones probabilísticas • Experimente con visualizaciones, comenzando con las simples que se pueden construir rápidamente • Todo esto requiere un pensamiento innovador, que generalmente proviene de equipos pequeños y diversos que operan dentro de un proceso autoadaptativo.
54. Gracias!