¿Qué es el aprendizaje profundo bayesiano?

¿Qué es el aprendizaje profundo bayesiano y cómo se relaciona con las estadísticas bayesianas tradicionales y el aprendizaje profundo tradicional?

¿Cuáles son los principales conceptos y matemáticas involucrados? ¿Podría decir que son solo estadísticas bayesianas no paramétricas? ¿Cuáles son sus trabajos fundamentales, así como sus principales desarrollos y aplicaciones actuales?

PD: Bayesian Deep Learning está recibiendo mucha atención, vea el taller de NIPS.

Yee Whye Teh, saliendo de su enlace del taller de NIPS, tuvo un discurso de apertura en NIPS sobre Bayesian Deep Learning (video: https://www.youtube.com/watch?v=LVBvJsTr3rg , diapositivas: http: //csml.stats. ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/) Creo que en algún momento de la charla, Teh resumió el aprendizaje profundo bayesiano como la aplicación del marco bayesiano a las ideas del aprendizaje profundo (como aprender un posterior sobre los pesos de una red neuronal), y el aprendizaje bayesiano profundo como la aplicación de ideas del aprendizaje profundo al Marco bayesiano (como procesos gaussianos profundos o familias exponenciales profundas). Por supuesto, hay ideas que abarcan la línea entre los dos conceptos, como los autoencoders variacionales. Cuando la mayoría de la gente dice aprendizaje profundo bayesiano, generalmente se refieren a cualquiera de los dos, y eso se refleja en los documentos aceptados en el taller que vinculó (junto con el taller del año anterior). Si bien las ideas se remontan al trabajo de Neal sobre el aprendizaje bayesiano de las redes neuronales en los años 90 (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf ), y ha habido trabajo en los últimos años desde entonces, probablemente uno de los documentos recientes más importantes sería el papel autoencoder variacional original ( https://arxiv.org/pdf/1312.6114.pdf ).

Sugeriría que primero comprenda bien cuál es el modelo probabilístico subyacente en una red neuronal bayesiana tradicional. A continuación, algunos términos se escribirán en negrita . Por favor, busque en Google esos términos para encontrar información más detallada. Esto es solo una descripción básica. Espero que ayude.

Consideremos el caso de regresión en las redes neuronales de avance y establezcamos alguna notación.

Deje denota los valores de los predictores en la capa de entrada . Los valores de las unidades en las capas internas se denotarán con , para . Finalmente, tenemos la capa de salida .( z ( ℓ ) 1 , … , z ( ℓ ) N ℓ ) ℓ = 1 , … , L - 1 ( y 1 , ... , y k$(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$$\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$$\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

Los pesos y el sesgo de la unidad en la capa se denotarán con y , respectivamente, para , y .ℓ w ( ℓ ) i j b ( ℓ ) i ℓ = 1 , ... , L i = 1 ... , N ℓ j = 1 , ... , N ℓ - $i$$\ell$$w^{(\ell)}_{ij}$$b^{(\ell)}_i$$\ell=1,\dots,L$$i=1\dots,N_\ell$$j=1,\dots,N_{\ell-1}$

Deje sea ​​la función de activación para la unidad en la capa , para e . i ℓ ℓ = 1 , ... , L i = 1 ... , N $g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$$i$$\ell$$\ell=1,\dots,L$$i=1\dots,N_\ell$

Las funciones de activación comúnmente utilizadas son la logística , ReLU (también conocida como parte positiva ) y tanh .

Ahora, para , defina las funciones de transición de capa en el que para .G ( ℓ ) : R N ℓ - 1 → R N ℓ : ( z ( ℓ - 1 ) 1 , … , z ( ℓ - 1 ) N ℓ - 1 ) ↦ ( z ( ℓ ) 1 , … , z ( ℓ ) N ℓ$\ell=1,\dots,L$

$$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$$ $$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$$ $i=1,\dots,N_{\ell}$

Denotando el conjunto de pesos y sesgos de todas las unidades en todas las capas por , es decir nuestra red neuronal es la familia de funciones obtenida por la composición de las funciones de transición de capa: $\theta$

$$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$$ $G_\theta : \mathbb{R}^p\to\mathbb{R}^k$ $$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$$

No hay probabilidades involucradas en la descripción anterior. El propósito del negocio original de redes neuronales es el ajuste de funciones .

Lo "profundo" en Deep Learning representa la existencia de muchas capas internas en las redes neuronales bajo consideración.

Dado un conjunto de entrenamiento , intentamos minimizar la función objetivo sobre . Para algunos vectores de predictores en el conjunto de prueba , la respuesta predicha es simplemente , en la que es la solución encontrado para el problema de minimización. El estándar de oro para esta minimización es la retropropagación implementada por la biblioteca TensorFlow utilizando las funciones de paralelización disponibles en la GPU moderna$\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

$$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$$ $\theta$$\mathbf{x}^*$$G_\hat{\theta}(\mathbf{x}^*)$$\hat{\theta}$'s (para sus proyectos, consulte la interfaz de Keras ). Además, ahora hay hardware disponible que encapsula estas tareas ( TPU ). Dado que la red neuronal en general está sobre parametrizada, para evitar el sobreajuste se agrega alguna forma de regularización a la receta, por ejemplo, sumando una cresta como penalización a la función objetivo, o usando el abandono durante el entrenamiento. Geoffrey Hinton (alias Deep Learning Godfather) y sus colaboradores inventaron muchas de estas cosas. Las historias de éxito de Deep Learning están en todas partes.

Las probabilidades se introdujeron en la imagen a finales de los 80 y principios de los 90 con la propuesta de una probabilidad gaussiana y un previo gaussiano simple (posiblemente simplista), que supone una independencia a priori de todos los pesos y sesgos en la red:

$$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$$ $$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$$

Por lo tanto, los previos marginales para los pesos y sesgos son distribuciones normales con media cero y varianza común . Este modelo conjunto original se puede involucrar mucho más, con el compromiso de dificultar la inferencia.$\sigma_0^2$

El aprendizaje profundo bayesiano enfrenta la difícil tarea de tomar muestras de la distribución posterior correspondiente. Después de que esto se logra, las predicciones se hacen naturalmente con la distribución predictiva posterior , y las incertidumbres involucradas en estas predicciones se cuantifican completamente. El santo grial en Bayesian Deep Learning es la construcción de una solución eficiente y escalable. Se han utilizado muchos métodos computacionales en esta búsqueda: muestreo de Metropolis-Hastings y Gibbs , Hamiltoniano Monte Carlo y, más recientemente, inferencia variacional .

Vea los videos de la conferencia de NIPS para ver algunas historias de éxito: http://bayesiandeeplearning.org/