¿Se pueden ver las capas de redes neuronales profundas como redes Hopfield?

Las redes Hopfield pueden almacenar un vector y recuperarlo a partir de una versión ruidosa del mismo. Lo hacen estableciendo pesos para minimizar la función de energía cuando todas las neuronas se establecen iguales a los valores del vector, y recuperan el vector usando la versión ruidosa del mismo como entrada y permitiendo que la red se estabilice en un mínimo de energía.

Dejando de lado problemas como el hecho de que no hay garantía de que la red se asentará en el mínimo más cercano, etc., problemas eventualmente resueltos con máquinas Boltzmann y eventualmente con propagación inversa, el avance fue que son un punto de partida para tener representaciones abstractas. Dos versiones del mismo documento recordarían el mismo estado, estarían representados, en la red, por el mismo estado.

Como el propio Hopfield escribió en su artículo de 1982 Redes neuronales y sistemas físicos con habilidades computacionales colectivas emergentes

El modelado actual podría estar relacionado con la forma en que una entidad o Gestalt es recordada o categorizada sobre la base de entradas que representan una colección de sus características.

Por otro lado, el avance del aprendizaje profundo fue la capacidad de construir representaciones jerárquicas múltiples de la entrada, lo que eventualmente condujo a facilitar la vida de los profesionales de IA, simplificando la ingeniería de características. (véase, por ejemplo , Aprendizaje de representación: una revisión y nuevas perspectivas , Bengio, Courville, Vincent).

Desde un punto de vista conceptual, creo que uno puede ver el aprendizaje profundo como una generalización de las redes de Hopfield: desde una sola representación hasta una jerarquía de representación.

¿Es eso cierto desde un punto de vista computacional / topológico también? Sin considerar cuán "simples" eran las redes de Hopfield (neuronas de 2 estados, función de energía no dirigida), se puede ver cada capa de una red como una red de Hopfield y todo el proceso como una extracción secuencial de Gestalt previamente memorizado, y una reorganización de estas Gestalt?

Deep Learning no es una generalización de las redes Hopfield. Deep Learning es una "generalización" del campo de redes neuronales / conexionismo iniciado por Rumelhart y McClelland.

Hay dos tipos de redes neuronales:

• Dirigido (Perceptron, MLP, ConvNets, RNN, etc.)
• No dirigido (redes Hopfield, máquinas Boltzmann, modelos basados ​​en energía, etc.)

Cualquiera de estos puede hacerse profundo. Como dijiste, las máquinas Boltzmann son la versión probabilística de Hopfield Networks, y se ha trabajado mucho más en la profundización de estos modelos que las redes Hopfield: máquinas Deep Boltzmann, Deep Belief Networks y modelos de energía profunda. Hinton es realmente el tipo que quieres leer para aprender sobre estos modelos, pero puedes echar un vistazo a este documento que compara los tres modelos.

No estoy seguro acerca de la organización Gestalt. Supongo que dejaré eso a tu interpretación.