Pregunta de sobreajuste

Respuestas:

0

¡No, no es un ejemplo de sobreajuste! Sería excesivo si la pérdida válida comenzara a aumentar mientras que la pérdida de entrenamiento disminuye.

Editar: la respuesta para la segunda pregunta Vale la pena considerar cómo se calcula el auc. Tenemos las probabilidades de que cada instancia pertenezca a la clase positiva. Luego clasificamos estas probabilidades. Si todas las instancias positivas aparecen en la primera parte de la lista ordenada y todas las negativas están en la segunda, entonces auc es 1 (el "rendimiento perfecto" según la observación de auc).

Ahora consideremos el cálculo de pérdidas. Por ejemplo, entropía cruzada binaria. La fórmula es donde - etiqueta verdadera, - probabilidad de que pertenezca a la clase positiva. Podemos predecir para cada observación negativa, que la probabilidad es 0.998, luego la pérdida será enorme. Pero si las probabilidades pronosticadas para las observaciones positivas son 0.999 (más altas que para las negativas), entonces en términos de AUC tendremos un rendimiento perfecto.loss=−1/N∗∑yi∗log(p(yi))+(1−yi)∗log(1−p(yi))yip(yi)yi

Por eso supongo que tenemos que evaluar la pérdida.

Lana
fuente
Gracias, Lana, aunque la diferencia en la pérdida entre entrenamiento y validación no indica un sobreajuste.
Nickolas Papanikolaou
@NickolasPapanikolaou es normal, cuando la pérdida difiere en el conjunto de entrenamiento y validación, porque el modelo se familiariza más con los datos, que ya ha visto en el conjunto de entrenamiento (es la razón, por qué generalmente se realiza la división en prueba, validación, entrenamiento). Sin embargo, el rendimiento del modelo en los datos de prueba muestra que ese modelo continúa extrayendo información útil, por lo que el proceso de aprendizaje continúa pero es más lento que antes.
Lana
3

No, esto no es demasiado ajustado.

En primer lugar, el AUC es exactamente el mismo entre el tren y los conjuntos de validación. Las pérdidas pueden tener una brecha, pero dado que la pérdida de validación sigue disminuyendo (aunque sea lentamente), está bien.

Javier
fuente
1

¿Qué hay de este? En ese caso, la pérdida de validación está aumentando, pero AUC no sigue el mismo patrón, ¿cuál cree que es la pérdida o el rendimiento?

ingrese la descripción de la imagen aquí

Nickolas Papanikolaou
fuente
Se olvidó de mencionar que el AUC en el conjunto de prueba de espera es 0.928
Nickolas Papanikolaou
¿Qué pérdida tienes? ¿Qué es la distribución de clases en trenes y conjuntos de prueba?
Lana el
He respondido esta pregunta, editando mi primera respuesta. En este caso, se debe evaluar el rendimiento de sobreajuste y pérdida
Lana
Entonces, su nueva pregunta y mis ediciones son el argumento en contra de la suposición, hecha por Javier: "En primer lugar, el AUC es exactamente el mismo entre el tren y los conjuntos de validación". No podría ser la razón principal
Lana
Los tres conjuntos (tren, validación, prueba) están completamente equilibrados, he usado binary_crossentropy. Creo que el problema está relacionado con las AUC, ya que si uso la precisión de las curvas se desvían (signos de sobreajuste), muchas gracias por sus respuestas
Nickolas Papanikolaou