Predecir la confianza de una red neuronal

9

Supongamos que quiero entrenar una red neuronal profunda para realizar una clasificación o regresión, pero quiero saber qué tan segura será la predicción. ¿Cómo podría lograr esto?

Mi idea es calcular la entropía cruzada para cada dato de entrenamiento, en función de su rendimiento de predicción en los medidores neurales de arriba. Luego, entrenaría una segunda red neuronal para la regresión, que tomaría cada dato como entrada, y es la entropía cruzada como salida (un nodo de salida). Luego usaría ambas redes en la práctica, una para predecir la etiqueta / valor y la otra para predecir la confianza de la primera red. (.... ¿Pero necesitaría una tercera red para predecir la confianza de la segunda red, y así sucesivamente ...?!)

¿Es esta una idea válida? Además, ¿es una idea estándar de uso común? Si no, ¿qué sugerirías?

machine-learning neural-networks Karnivaurus
fuente
Los valores de predicción pueden interpretarse como confianza.
yasin.yazici
Quizás pueda adoptar un enfoque de arranque, replicar su modelo sobre n muestras y construir un estimador de varianza y quizás un intervalo de confianza para sus predicciones.
D.Castro
Para la clasificación, como algunos han respondido, las probabilidades son en sí mismas una medida de su confianza. Para la regresión, puede encontrar útil mi respuesta de una pregunta muy similar.
Etal
1
vea mi respuesta a una pregunta similar aquí stats.stackexchange.com/a/247568/56940
utobi

Respuestas:

2

Tal vez estoy malinterpretando la pregunta, pero para la clasificación me parece que la forma estándar es tener una neurona de salida para cada una de las Nclases.

Luego, el Nvector de [0, 1]valores de salida representa la probabilidad de que la entrada pertenezca a cada clase, por lo que puede interpretarse como la "confianza" que desea obtener.

giorgiosironi
fuente
[0 0,1]
2

Para las personas que están interesadas en la estimación de confianza de predicción NN, es posible que desee echar un vistazo a la deserción como una aproximación bayesiana: representación de la incertidumbre del modelo en el aprendizaje profundo (Gal et al., 2016) . Brevemente, demuestra cómo la variación de las predicciones de una red con deserción en una población de corridas en las que se realiza la deserción se puede usar para estimar la confianza de la predicción. Este enfoque puede emplearse para redes diseñadas para clasificación o para regresión.

lebedov
fuente