Cómo Python traza la calibración del modelo predictivo

Este método divide principalmente los resultados de la observación en varios tipos (contenedores) según la probabilidad. Por tanto, las observaciones que pertenecen a la misma clase tienen probabilidades similares.

Para cada clase, la curva de calibración predice la media de esa clase y luego compara la media de las probabilidades predichas con la media teórica (es decir, la media de la variable objetivo observada).

Solo necesita determinar el número de categorías y la estrategia de clasificación entre las dos siguientes:

1, "uniforme", un intervalo de 0-1 se divide en n_bins clases, todas clases El ancho es el mismo.

2. "Cuantil" define los bordes de las clases para que cada clase tenga el mismo número de observaciones.

Suponiendo que su modelo tenga buena precisión, la curva de calibración aumentará monótonamente. Pero esto no significa que el modelo haya sido calibrado correctamente. De hecho, su modelo solo puede estar bien calibrado cuando la curva de calibración está muy cerca de la bisectriz (es decir, la línea de puntos gris en la figura siguiente), porque esto significará que la probabilidad predicha está básicamente cerca de la probabilidad teórica.

Cómo resolver el error de calibración en el modelo de predicción de trazado de Python:

Suponga que entrena un clasificador que produce probabilidades precisas pero no calibradas. La idea de la calibración probabilística es construir un segundo modelo (llamado calibrador) que pueda "calibrar" el clasificador que entrenó con la probabilidad real.

La calibración implica, por tanto, la función de convertir un vector unidimensional (probabilidades no calibradas) en otro vector unidimensional (probabilidades calibradas).

Se utilizan habitualmente dos métodos como calibradores:

1. Regresión que preserva el orden: un algoritmo no paramétrico que ajusta una línea de forma libre no decreciente a los datos. El hecho de que no se reduzca el número de filas es importante porque sigue el orden original.

2. Regresión logística: hay tres opciones para predecir la probabilidad: bosque aleatorio ordinario, regresión de conservación del orden de bosque aleatorio y regresión logística de bosque aleatorio.