Algoritmo de detección de anomalías de series temporales
Como sugiere el nombre, este método es adecuado para series temporales estacionales, que es una situación relativamente común.
Lo que no es obvio aquí es que para obtener resultados de detección de anomalías más confiables, utilizamos la desviación media absoluta. La mejor implementación actual de este método es la biblioteca de detección de anomalías de Twitter, que utiliza la desviación extrema generalizada del estudiante (algoritmo ESD generalizado) para probar si los puntos residuales son valores atípicos.
La ventaja de este enfoque es su simplicidad y robustez. Puede manejar muchas situaciones diferentes y todas las excepciones aún se pueden explicar de manera intuitiva.
Es principalmente bueno en la detección de valores atípicos adicionales. Si desea detectar algunos cambios laterales, puede analizar las señales de media móvil.
La desventaja de este enfoque es que es demasiado rígido a la hora de ajustar las opciones. Lo que puedes hacer es ajustar el intervalo de confianza por el nivel de significancia.
Este método falla cuando las características de la señal cambian drásticamente. Por ejemplo, rastrear la cantidad de usuarios de un sitio web que estaba cerrado al público pero que de repente se abrió al público. En este caso, debe realizar un seguimiento de la excepción antes y después de la apertura.
Los árboles de regresión de clasificación (CART) son una de las técnicas de aprendizaje automático más sólidas y efectivas disponibles actualmente. También se puede aplicar a la detección de anomalías.
La implementación más popular del aprendizaje de árboles de clasificación es la biblioteca xgboost.
La ventaja de este método es que no está limitado por ninguna estructura de señal y puede introducir muchos parámetros de características para aprender a obtener un modelo más complejo.
La desventaja de este enfoque es que aparecerán cada vez más funciones, lo que pronto afectará el rendimiento informático general. En este caso, debes elegir conscientemente las funciones que funcionan.
El modelo de media móvil autorregresiva (ARIMA) es un método muy simple por diseño, pero es lo suficientemente efectivo para predecir señales y encontrar anomalías.
La idea de este método es generar una predicción del siguiente punto de datos a partir de varios puntos de datos pasados, agregando algunas variables aleatorias (generalmente ruido blanco) en el proceso. Por analogía, los puntos de datos predichos se pueden utilizar para generar nuevas predicciones. Obviamente, hará que los datos de las señales de pronóstico posteriores sean más fluidos.
La parte más difícil de utilizar este método es elegir el número de diferencias, el número de autorregresiones y los coeficientes de error de predicción.
Otro obstáculo con este enfoque es que la señal debe permanecer estacionaria después de la diferenciación. En otras palabras, esto significa que la señal no debería depender del tiempo, lo cual es una gran limitación.
La detección de anomalías utiliza valores atípicos para construir un modelo de señal ajustado y luego usa la estadística t para probar si el modelo se ajusta a los datos mejor que el modelo original.
La implementación más popular de este método es el paquete tsoutliers en lenguaje R. En este caso, puede encontrar un modelo ARIMA adecuado para la señal, que puede detectar diversas anomalías.
El método de suavizado exponencial es muy similar al método ARIMA. El modelo exponencial básico es equivalente al modelo ARIMA (0, 1, 1).
Desde la perspectiva de la detección de anomalías, el método más interesante es el método estacional de Holt-Winters. Este enfoque requiere definir ciclos estacionales como semanas, meses, años, etc.
Si necesita realizar un seguimiento de varios ciclos estacionales, como ciclos semanales y anuales, debe seleccionar solo uno. Generalmente se elige el más corto: aquí debemos elegir la temporada semanal.
Esto es obviamente una deficiencia de este método y afectará en gran medida el rango general de pronóstico.
Al igual que con los métodos STL o CART, podemos lograr la detección de anomalías contando los valores atípicos estadísticamente.
Al igual que el método CART, las redes neuronales tienen dos aplicaciones: aprendizaje supervisado y aprendizaje no supervisado.
Los datos que procesamos son series temporales, por lo que el tipo de red neuronal más adecuado es LSTM. Si se construyen adecuadamente, estas redes neuronales recurrentes podrán simular e implementar las correlaciones más complejas en series temporales, incluidas las correlaciones estacionales avanzadas.
Este enfoque también es útil si tiene varias series temporales acopladas entre sí.