Redes neuronales de retroalimentación capacitadas para reconstruir su propia entrada. Por lo general, una de las capas ocultas es un "cuello de botella", que conduce a la interpretación del codificador-> decodificador.
Recientemente he estado leyendo sobre el aprendizaje profundo y estoy confundido acerca de los términos (o decir tecnologías). Cuál es la diferencia entre Redes neuronales convolucionales (CNN), Máquinas de Boltzmann restringidas (RBM) y Codificadores
¿Cómo funciona el truco de reparameterization para autoencoders variacionales (VAE)? ¿Existe una explicación intuitiva y fácil sin simplificar las matemáticas subyacentes? ¿Y por qué necesitamos el
Tanto PCA como autoencoder pueden reducir la degradación, entonces, ¿cuál es la diferencia entre ellos? ¿En qué situación debo usar uno sobre
La codificación dispersa se define como el aprendizaje de un conjunto excesivo de vectores base para representar vectores de entrada (<- ¿por qué queremos esto?). ¿Cuáles son las diferencias entre codificación dispersa y autoencoder? ¿Cuándo utilizaremos codificación dispersa y...
¿Alguien ha visto alguna literatura sobre pre-entrenamiento en redes neuronales convolucionales profundas? Solo he visto pre-entrenamiento sin supervisión en autoencoder o máquinas boltzman
Hinton y Salakhutdinov en la reducción de la dimensionalidad de los datos con redes neuronales, Science 2006 propusieron un PCA no lineal mediante el uso de un autoencoder profundo. He intentado construir y entrenar un codificador automático de PCA con Tensorflow varias veces, pero nunca he podido...
En casi todos los ejemplos de código que he visto de un VAE, las funciones de pérdida se definen de la siguiente manera (este es el código de tensorflow, pero he visto algo similar para theano, torch, etc.) También es para un convnet, pero eso tampoco es demasiado relevante , solo afecta a los ejes...
Según esta y esta respuesta, los autoencoders parecen ser una técnica que utiliza redes neuronales para la reducción de dimensiones. También me gustaría saber qué es un autoencoder variacional (sus principales diferencias / beneficios sobre los autoencoders "tradicionales") y cuáles son las...
Tengo 50,000 imágenes como estas dos: Representan gráficos de datos. Quería extraer características de estas imágenes, así que utilicé el código del codificador automático proporcionado por Theano (deeplearning.net). El problema es que estos autoencoders no parecen aprender ninguna...
Así que estoy tratando de hacer un entrenamiento previo en imágenes de humanos usando redes convolucionales. Leí los documentos ( Paper1 y Paper2 ) y este enlace de stackoverflow , pero no estoy seguro de entender la estructura de las redes (no está bien definido en los
Estoy experimentando un poco de autoencoders, y con tensorflow creé un modelo que intenta reconstruir el conjunto de datos MNIST. Mi red es muy simple: X, e1, e2, d1, Y, donde e1 y e2 son capas de codificación, d2 e Y son capas de decodificación (e Y es la salida reconstruida). X tiene 784...
Entiendo la estructura básica del autoencoder variacional y el autoencoder normal (determinista) y las matemáticas detrás de ellos, pero ¿cuándo y por qué preferiría un tipo de autoencoder al otro? Todo lo que puedo pensar es que la distribución previa de variables latentes del autoencoder...
Recientemente, he estado estudiando autoencoders. Si entendí correctamente, un autoencoder es una red neuronal donde la capa de entrada es idéntica a la capa de salida. Entonces, la red neuronal intenta predecir la salida utilizando la entrada como estándar dorado. ¿Cuál es la utilidad de este...
Estoy estudiando este Tutorial sobre Autoencoders Variacionales de Carl Doersch . En la segunda página dice: Uno de los marcos más populares es el Autoencoder Variacional [1, 3], el tema de este tutorial. Los supuestos de este modelo son débiles, y el entrenamiento es rápido a través de la...
Digamos que estoy escribiendo un algoritmo para construir un autoencoder apilado de 2 capas y una red neuronal de 2 capas. ¿Son las mismas cosas o diferencias? Lo que entiendo es que cuando construyo un codificador automático apilado, construiría capa por capa. Para la red neuronal, inicializaría...
Busqué en Google, Wikipedia, Google Scholar y más, pero no pude encontrar el origen de los codificadores automáticos. Quizás sea uno de esos conceptos que evolucionó muy gradualmente, y es imposible rastrear un punto de partida claro, pero aún así me gustaría encontrar algún tipo de resumen de los...
Hasta donde yo sé, tanto los autoencoders como el t-SNE se usan para la reducción de dimensionalidad no lineal. ¿Cuáles son las diferencias entre ellos y por qué debería usar uno versus
Al implementar un codificador automático con red neuronal, la mayoría de las personas usará sigmoide como la función de activación. ¿Podemos usar ReLU en su lugar? (Dado que ReLU no tiene límite en el límite superior, básicamente significa que la imagen de entrada puede tener píxeles mayores que...
He estado implementando un VAE y he notado dos implementaciones diferentes en línea de la divergencia KL gaussiana univariada simplificada. La divergencia original según aquí es Si suponemos que nuestro anterior es una unidad gaussiana, es decir,μ2=0yσ2=1, esto se simplifica a KLloss=-log(σ1)+σ...
Un autoencoder variacional (VAE) proporciona una forma de aprender la distribución de probabilidad relaciona una entrada con su representación latente . En particular, el codificador asigna una entrada a una distribución en . Un codificador típico generará parámetros , que representa la...