¿Cuáles son las ventajas de usar una red neuronal bayesiana?

Recientemente leí algunos artículos sobre la red neuronal bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , que proporciona una relación de probabilidad entre la entrada y la salida en una red neuronal. La capacitación de una red neuronal de este tipo es a través de MCMC, que es diferente del algoritmo tradicional de retropropagación.

Mis preguntas son: ¿Cuál es la ventaja de usar una red tan neuronal? Más específicamente, ¿podría proporcionar algunos ejemplos que se ajusten mejor a BNN que a NN?

Las redes neuronales bayesianas son útiles para resolver problemas en dominios donde los datos son escasos, como una forma de evitar el sobreajuste. A menudo superan a todos los demás métodos en tales situaciones. Ejemplos de aplicaciones son la biología molecular ( por ejemplo, este documento ) y el diagnóstico médico (áreas donde los datos a menudo provienen de trabajos caducos y difíciles de trabajo). En realidad, las redes bayesianas son universalmente útiles y pueden obtener mejores resultados para una gran cantidad de tareas, pero son extremadamente difíciles de escalar a grandes problemas.

Una ventaja del BNN sobre el NN es que puede calcular automáticamente un error asociado con sus predicciones al tratar con datos de objetivos desconocidos. Con un BNN, ahora estamos haciendo inferencia bayesiana. Definamos nuestra predicción BNN como , donde es la función NN, son sus entradas , son los parámetros NN, y x, t son las entradas y objetivos de entrenamiento. Esto debería ser compatible con la sintaxis utilizada por Neal en los enlaces proporcionados por @forecaster. Luego podemos calcular una desviación estándar de la distribución predictiva posterior, que ingenuamente usaría como precisión en la predicción:$\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$$f$$x'$$ω$$\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$