Los métodos bayesianos variacionales se aproximan a integrales intratables que se encuentran en la inferencia bayesiana y el aprendizaje automático. Principalmente, estos métodos sirven para uno de dos propósitos: Aproximación de la distribución posterior o delimitación de la probabilidad marginal de los datos observados.
¿Cómo funciona el truco de reparameterization para autoencoders variacionales (VAE)? ¿Existe una explicación intuitiva y fácil sin simplificar las matemáticas subyacentes? ¿Y por qué necesitamos el
Creo que tengo la idea general de VI y MCMC, incluidos los diversos sabores de MCMC, como el muestreo de Gibbs, Metropolis Hastings, etc. Este documento proporciona una exposición maravillosa de ambos métodos. Tengo las siguientes preguntas: Si deseo hacer inferencia bayesiana, ¿por qué...
Leí en alguna parte que el método Variational Bayes es una generalización del algoritmo EM. De hecho, las partes iterativas de los algoritmos son muy similares. Para probar si el algoritmo EM es una versión especial de Variational Bayes, probé lo siguiente: YYY son datos,XXX es la colección de...
En casi todos los ejemplos de código que he visto de un VAE, las funciones de pérdida se definen de la siguiente manera (este es el código de tensorflow, pero he visto algo similar para theano, torch, etc.) También es para un convnet, pero eso tampoco es demasiado relevante , solo afecta a los ejes...
Según esta y esta respuesta, los autoencoders parecen ser una técnica que utiliza redes neuronales para la reducción de dimensiones. También me gustaría saber qué es un autoencoder variacional (sus principales diferencias / beneficios sobre los autoencoders "tradicionales") y cuáles son las...
Entiendo la estructura básica del autoencoder variacional y el autoencoder normal (determinista) y las matemáticas detrás de ellos, pero ¿cuándo y por qué preferiría un tipo de autoencoder al otro? Todo lo que puedo pensar es que la distribución previa de variables latentes del autoencoder...
Estoy estudiando este Tutorial sobre Autoencoders Variacionales de Carl Doersch . En la segunda página dice: Uno de los marcos más populares es el Autoencoder Variacional [1, 3], el tema de este tutorial. Los supuestos de este modelo son débiles, y el entrenamiento es rápido a través de la...
Estoy leyendo sobre la inferencia bayesiana y me encontré con la frase "la integración numérica de la probabilidad marginal es demasiado costosa" No tengo experiencia en matemáticas y me preguntaba qué significa exactamente caro aquí. ¿Es solo en términos de potencia de cálculo o hay algo más?...
A mi entender (muy modesto) de la inferencia variacional, uno intenta aproximar una distribución desconocida al encontrar una distribución que optimice lo siguiente:pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Cada vez que...
Estoy leyendo sobre Bayes variacional, y según tengo entendido, todo se reduce a la idea de que aproximas (donde son las variables latentes de tu modelo los datos observados) con una función , suponiendo que factoriza como donde es un subconjunto de las variables latentes. Entonces se puede...
He estado implementando un VAE y he notado dos implementaciones diferentes en línea de la divergencia KL gaussiana univariada simplificada. La divergencia original según aquí es Si suponemos que nuestro anterior es una unidad gaussiana, es decir,μ2=0yσ2=1, esto se simplifica a KLloss=-log(σ1)+σ...
¿Cuál es la diferencia entre la codificación automática Bayes variacional y la retropropagación estocástica para modelos generativos profundos ? ¿La inferencia en ambos métodos conduce a los mismos resultados? No conozco ninguna comparación explícita entre los dos métodos, a pesar de que ambos...
Estoy tratando de implementar el modelo de mezcla gaussiana con inferencia variacional estocástica, siguiendo este artículo . Esta es la pgm de Gaussian Mixture. Según el artículo, el algoritmo completo de inferencia variacional estocástica es: Y todavía estoy muy confundido con el método...
Un autoencoder variacional (VAE) proporciona una forma de aprender la distribución de probabilidad relaciona una entrada con su representación latente . En particular, el codificador asigna una entrada a una distribución en . Un codificador típico generará parámetros , que representa la...
Estoy trabajando en un problema de inferencia de alta dimensión (alrededor de 2000 parámetros del modelo) para el cual somos capaces de realizar una estimación MAP de manera sólida al encontrar el máximo global del log-posterior utilizando una combinación de optimización basada en gradiente y un...
Después de investigar un poco sobre el tema, he notado un sorprendente déficit de paquetes de inferencia y bibliotecas que dependen de métodos de optimización o transmisión de mensajes para Python y R. Que yo sepa, estos métodos son extremadamente útiles. Por ejemplo, para una red de Bayes...