Análisis de datos en IoT el princial objetivo

Global Azure 2022 Spain

Transcript

1. #GlobalAzure May 5th – 7th,2022
3. #GlobalAzure #GlobaAzureSpain Análisis de datos en IoT El principal objetivo Development & Cloud Consultan @ Tokiota jmfloreszazo
4. #GlobalAzure #GlobaAzureSpain La Wikipedia define IoT de esta forma: Internet de las cosas (IoT) es la interconexión de dispositivos físicos (también llamados dispositivos conectadoso dispositivos inteligentes), vehículos, edificios, u otros objetos dotados de electrónica, software, sensores o actuadores, junto a la conectividad de red que permiten a estos objetos recoger e intercambiar datos. https://en.wikipedia.org/wiki/internet_of_thing Libro Manos a la obra con: IoT En Azure https://jmfloreszazo.com/azure-iot-esp/
5. IoT es un circuito cerrado de sensores, conexiones, y una base de datos que almacena información. La toma de decisiones se basa en la información recibida por los sensores y que luego retroalimenta el sistema. Existen numerosas aplicaciones de IoT en todos los aspectos de nuestra vida: ciudades inteligentes, salud, venta minorista, agricultura, etc. Analítica es un término que se hace popular cuando se democratizó la minería de datos y que hace referencia al análisis de datos para para la toma de decisiones. Las herramientas utilizadas en análisis tocan área tales como aprendizaje automático, estadística e investigación operativa. Hay una gran cantidad de herramientas conocidas: como son las redes neuronales, modelos ocultos de Markov, regresiones lineales multivariantes, pronósticos, etc.
6. Permitirme usar una acepción de análisis, indistintamente, tanto para técnicas de explotación como técnicas de evaluación. En IoT existen muchas aplicaciones en lo que respecta al análisis de problemas: seguridad, detección de intrusiones, garantía de datos, medición y mantenimiento predictivo, capacidad de la red, gestión de sensores para la toma de decisiones, optimización de recursos, … El análisis de datos precisa de unos conocimientos matemáticos y estadísticos profundos. Que no son el objetivo de la presentación: vamos a ver las herramientas necesarias para almacenar la información de forma correcta y que puedan ser utilizada para el análisis usando la acepción canónica.
7. • ¿Qué?, el dato es la telemetría o información preprocesada o completamente procesada. • ¿Quién?, son los dispositivos IoT clásicos o Edge los que transmiten el dato. • ¿Cuándo?, sería la ventana de tiempo de envío del dato en un caso de telemetría o un evento cuando se trata de una información Edge, por ejemplo. • ¿Dónde?, el dato viaja a los servicios de IoT, el backend. Y donde debe almacenarse el dato para proporcionar la información para la que se diseña el sistema. • ¿Por qué?, lógicamente dependiendo de la solución tendrá una respuesta diferente, pero fundamentalmente el dato debe cumplir con los requerimientos del sistema. Aquí también entraría la analítica del dato, área que ya hemos comentado que no vamos a tratar en este libro. • ¿Cómo?, hasta ahora hemos visto una pequeña parte del movimiento del dato del dispositivo al backend, pero no nos hemos parado a estudiarlo. Es lo que vamos a tratar en esta presentación: como viaja el dato desde el device hasta como se presenta al usuario. Qué Quién Cuándo Dónde Por qué Cómo
8. Recopilación Gestión Análisis Configuraciones Desencadenadores
9. Telemetría Recopilación del dato Gestión del dato Análisis del dato Desencadenador del dato Configuración del dato Time Series Database Resultado de los análisis Informes Sin acción
10. Cloud Dispositivo Edge Telemetría Recopilación del dato Gestión del dato (local) Time Series Database (local) Configuración del dato (local) Análisis del dato (local) Desencadenador del dato (local) Análisis del dato (organización) Gestión del dato (organización) Desencadenador del dato (organización) Configuración del dato (organización) Time Series Database (organización) Sin acción Resultado de los analisis Informes
11. IoT Hub IoT Central Service Bus topic Service Bus Storage Event Hubs In-build Event Hubs Time Serie Insight Stream Analytics Logic Apps Data Transformation Databricks HDInsight Machine Learning
12. No entraré a bajo nivel, no es el objetivo. Solo os voy a contar que estos dos elementos son fundamentales y condicionan que piezas podemos utilizar. Conocer que red de comunicación: • WPAN No-IP: 802,15,4, Zigbee, Z-Wave, … • WPAN y WLAN basada en IP: TPC/IP, IEEE 802.11, … • LRWAN: 4G LTS, 5G, LoRa, Sigfox, … Conocer que protocolos de comunicación: HTTP, MQTT, MQTT-SN, AMQP, CoAP, … Son dos restricciones no funcionales que condicionan los límites de una arquitecta. Para que veáis hasta que punto es necesario conocerlo aunque no seas un arquitecto y sea alguien de data: por mucho que quieras si esas en medio de la Alcarria midiendo la densidad de flores y abejas con dispositivos edge e IA, seguramente el 3G no alcanza los 55KM desde el transmisor a tu base y tengas que optar por SigFox, en detrimento de un payload e 12 bytes a 140 bytes (por ejemplo) o que la transmisión la quieras real-time y no cada x sg. que hace otro modelo de envió de red.
13. #GlobalAzure #GlobaAzureSpain Demo: IoT Hub Routing
14. Blob Storage Event Hub IoT Hub Service Bus Otros... Event Grid Service Bus Otros... Event Hub Function Storage Queue Logic App Event Handlers Event Publisher Temas (DeviceTelemetry, DeviceCreated, DeviceDelete, Suscriptores
15. Event Grid Routing Sin orden Garantiza el orden Muchos tipos diferentes de endpoints y creciendo Numero limitado de endpoitns Pagas por operaciones en el Event Grid No añade costes extras Filtrado en el tema y los atributos Filtrado con una condición en la ruta Telemetría Telemetría Eventos del ciclo de vida del dispositivo Eventos del ciclo de vida del dispositivo Cambios en el dispositivo gemelo
16. #GlobalAzure #GlobaAzureSpain Demo: ASA
17. #GlobalAzure #GlobaAzureSpain Demo: IoT Central Data Export
18. Creamos un IoT Central Solution Accelerator
19. Creamos un Sercer Bus Namespace y una cola
20. Obtenemos un endpoint de una SAS Policy
21. Enchufamos ese endpoint y la cola al Data Export de IoT Central
22. IoT Hub Event Grid App Service Function App Machine Learning Azure Cosmos DB Azure Maps SQL Server Storage Blob Event Hubs Trabajos de Stream Analytics Power BI Time Series Insights TSI Explorer Other Apps & Services Wind Turbine s Park Back Office Web Brownser Telemetría Telemetría Enrutada Información GPS Turbina Telemetría enriquecida Telemetría Agregada Telemetría Agregada Cold Storage
23. ¿Tiene sentido?: Sí, no, tal vez… • ¿Quiero usar una TSDB y la red de SigFox?, pues os diría que no tiene mucho sentido usarlo por qué la información de una TSDB es para una telemetría con una cadencia de información menor que la ofrece la trasmisión SigFox. • ¿Quiero usar una Stream Analytics y 5G?, independientemente del coste, es una decisión acertada, 5G nos permite enviar mucha información que permite explotar el potencial de Azure Stream Analytics. • Tengo que actualizar los carteles luminosos de las carreteras. ¿Qué protocolo debo usar? Pues tendrás que ver si la tecnología que te gustaría implementar, por ejemplo, 5G, esta soportada en tu región y si esta, ¿quieres mantener dos versiones? Tal vez… Como veis, si tenéis las herramientas, las conocéis mínimamente, podréis proponer soluciones acertadas. Que sean las más optimas puede que si o que no, eso dependerá del nivel de conocimientos de cada uno, pero al menos no vamos a proponer cosas que cumplan con los requisitos de la aplicación. Y recalco que se debe tener cuidado con los requerimientos no funcionales que guardan grandes problemas en su interior. Con esta introducción al gobierno del dato en IoT ya tenéis todo lo básico para empezar y así evitar hacer uso de la famosa regla del martillo dorado.