Autoencoder variacional con modelo de mezcla gaussiana

Un autoencoder variacional (VAE) proporciona una forma de aprender la distribución de probabilidad relaciona una entrada con su representación latente . En particular, el codificador asigna una entrada a una distribución en . Un codificador típico generará parámetros , que representa la distribución gaussiana ; Esta distribución se utiliza como nuestra aproximación para .$p(x,z)$$x$$z$$e$$x$$z$$(\mu,\sigma)=e(x)$$\mathcal{N}(\mu,\sigma)$$p(z|x)$

¿Alguien ha considerado un VAE donde la salida es un modelo de mezcla gaussiana, en lugar de un gaussiano? ¿Esto es útil? ¿Hay tareas en las que esto sea significativamente más efectivo que una simple distribución gaussiana? ¿O proporciona poco beneficio?

Sí, ya está hecho. El siguiente documento implementa algo de esa forma:

Agrupación profunda no supervisada con autoencoders variacionales de mezcla gaussiana . Nat Dilokthanakul, Pedro AM Mediano, Marta Garnelo, Matthew CH Lee, Hugh Salimbeni, Kai Arulkumaran, Murray Shanahan.

Experimentan con el uso de este enfoque para la agrupación. Cada gaussiano en la mezcla gaussiana corresponde a un grupo diferente. Debido a que la mezcla gaussiana está en el espacio latente ( ), y hay una red neuronal que conecta con , esto permite grupos no triviales en el espacio de entrada ( ).$z$$z$$x$$x$

Ese documento también menciona la siguiente publicación de blog, que experimenta con una variación diferente de esa arquitectura: http://ruishu.io/2016/12/25/gmvae/

Gracias a shimao por señalar esto.