Caso clásico recomendado por Microsoft: puntuación por lotes del modelo Spark
En los casos recomendados de Azure, los bloques de datos de Azure están en todas partes. ¡No me preguntes qué es Databricks! Esta noche compartiré una arquitectura de IA: modelos Spark de puntuación por lotes en bloques de datos de Azure.
Este escenario es muy común. Activos: las empresas de industria pesada necesitan reducir los costos de producción y mejorar el tiempo de actividad y, por lo tanto, deben reducir los accidentes inesperados de maquinaria. Luego se puede crear un modelo de aprendizaje automático para predecir el mantenimiento de la maquinaria utilizando los datos de IoT recopilados de las máquinas. De esta manera, puede realizar mantenimiento y reparaciones antes de que ocurra un accidente, manteniendo su equipo funcionando por más tiempo y ganando dinero. ¡Todo el proceso utiliza Databricks/Spark!
-Obtención de datos: recupera datos del almacenamiento de datos externo en el almacén de datos de Azure Data Bricks.
-Modelado: entrene un modelo de aprendizaje automático convirtiendo datos en un conjunto de datos de entrenamiento y luego cree un modelo Spark MLlib. MLlib consta de las utilidades y algoritmos de aprendizaje automático más comunes que están optimizados para aprovechar la escalabilidad de los datos de Spark.
- Predicción: aplique el modelo entrenado para predecir (clasificar) fallas de componentes convirtiendo los datos en un conjunto de datos de puntuación. Califique los datos utilizando el modelo Spark Mllib.
-Guardar resultados: Almacena los resultados en un almacén de datos en bloque para su posprocesamiento.
Hay cuadernos jupyter/iPython en Github. ¡Simplemente haz clic, haz algunos cambios y ejecuta! ¡Cuánto le gustan al autor los ladrillos rojos de la fábrica de ladrillos! La pantalla está llena de ladrillos, ¡un tributo a las clásicas batallas de tanques!