¿Qué son las pruebas cruzadas?

La validación cruzada es un método de análisis estadístico que se utiliza para verificar el rendimiento de un clasificador. La idea básica es agrupar el conjunto de datos original en cierto sentido, con una parte sirviendo como conjunto de entrenamiento y la otra parte como conjunto de validación. Primero, el clasificador se entrena usando el conjunto de entrenamiento y luego el modelo entrenado se prueba usando el conjunto de validación para evaluar el desempeño del clasificador. Los métodos de validación cruzada más utilizados son los siguientes: 1 y método de eliminación.

Los datos originales se dividieron aleatoriamente en dos grupos, uno como conjunto de entrenamiento y el otro como conjunto de verificación. El clasificador se entrena a través del conjunto de entrenamiento, luego el modelo se verifica a través del conjunto de validación y la precisión de la clasificación final se registra como el índice de rendimiento del clasificador. La ventaja de este método es que es simple de operar y solo necesita dividir aleatoriamente los datos originales en dos grupos. De hecho, el método de persistencia no es CV en sentido estricto, porque este método no logra la idea de cruce. Dado que los datos originales están agrupados aleatoriamente, la precisión de la clasificación del conjunto de validación final tiene una gran relación con la agrupación de los datos originales, por lo que los resultados obtenidos por este método en realidad no son convincentes.

2. ¿Doble validación cruzada (doble validación cruzada, 2-CV)?

? El método consiste en dividir el conjunto de datos en dos subconjuntos de igual tamaño y realizar dos rondas de entrenamiento del clasificador. En la primera ronda, un subconjunto se usa como conjunto de entrenamiento y el otro subconjunto se usa como conjunto de prueba. En la segunda ronda, después de intercambiar el conjunto de entrenamiento y el conjunto de prueba, el clasificador se entrena nuevamente, lo que nos preocupa más; con los dos conjuntos de prueba. Sin embargo, en la práctica, 2-CV no se usa comúnmente, principalmente porque el número de muestras del conjunto de entrenamiento es demasiado pequeño, lo que generalmente no es suficiente para representar la distribución de las muestras principales, lo que resulta en una brecha significativa en la tasa de reconocimiento en la prueba. escenario. Además, los subconjuntos de 2-CV tienen grandes variaciones y, a menudo, no pueden cumplir con el requisito de que "el proceso experimental debe ser repetible".

Validación cruzada de 3.K veces (validación cruzada de K veces, expresada como K-CV).

? Divida los datos originales en K grupos (generalmente divididos en partes iguales), cree un conjunto de verificación para cada subconjunto de datos y use los datos restantes del subconjunto K-1 como un conjunto de entrenamiento para obtener modelos K y use la precisión de clasificación promedio de El conjunto de validación final se utiliza como índice de rendimiento del clasificador según este K-CV. k generalmente es mayor o igual a 2 y generalmente se considera 3 en las operaciones reales. Sólo si el conjunto de datos original es pequeño intentará tomar 2. K-CV puede evitar eficazmente el aprendizaje excesivo y el insuficiente, y el resultado final es más convincente.

4. Validación cruzada sin incluir (registrada como LOO-CV)

Si los datos originales tienen N muestras, entonces LOO-CV es N-CV, es decir. , cada muestra es como un conjunto de verificación, y las N-1 muestras restantes se usan como conjunto de entrenamiento, de modo que LOO-CV obtendrá N modelos. La precisión de clasificación promedio del conjunto de verificación final de estos N modelos se usa como la. Índice de rendimiento del clasificador LOO-CV. En comparación con el K-CV anterior, LOO-CV tiene dos ventajas obvias:

(1) Casi todas las muestras en cada ronda se utilizan para entrenar el modelo, por lo que la distribución de las muestras originales es la más cercana, por lo que Los resultados de la evaluación son más fiables.

(2) No habrá factores aleatorios que afecten los datos experimentales durante el experimento, lo que garantiza que el proceso experimental pueda replicarse.

Sin embargo, la desventaja de LOO-CV es el alto costo computacional porque la cantidad de modelos a construir es la misma que la cantidad de muestras de datos originales. Cuando el número de muestras de datos originales es bastante grande, LOO-CV es difícil de mostrar en la práctica a menos que el clasificador se entrene rápidamente cada vez o que el tiempo requerido para el cálculo se pueda reducir mediante computación paralela.

上篇: ¿Se verá gravemente afectada la industria cinematográfica por la epidemia este año? 下篇: Pregunta budista: ¿Pueden los budistas comprar acciones y billetes de lotería?