Busqué en Google, Wikipedia, Google Scholar y más, pero no pude encontrar el origen de los codificadores automáticos. Quizás sea uno de esos conceptos que evolucionó muy gradualmente, y es imposible rastrear un punto de partida claro, pero aún así me gustaría encontrar algún tipo de resumen de los pasos principales de su desarrollo.
El capítulo sobre autoencoders en el libro Deep Learning de Ian Goodfellow, Yoshua Bengio y Aaron Courville dice:
La idea de los autoencoders ha sido parte del panorama histórico de las redes neuronales durante décadas (LeCun, 1987; Bourlard y Kamp, 1988; Hinton y Zemel, 1994). Tradicionalmente, los codificadores automáticos se usaban para la reducción de la dimensionalidad o el aprendizaje de características.
Esta presentación de Pascal Vincent dice:
La denoising utilizando autoencoders clásicos se introdujo mucho antes (LeCun, 1987; Gallinari et al., 1987), como una alternativa a las redes Hopfield (Hopfield, 1982).
Esto parece implicar que antes existían "autoencoders clásicos": LeCun y Gallinari los usaron pero no los inventaron. No veo ningún rastro de "autoencoders clásicos" antes de 1987.
¿Algunas ideas?
fuente
El siguiente documento habla sobre el codificador automático indirectamente y se remonta a 1986. (que es un año antes que el documento de Ballard en 1987)
DE Rumelhart, GE Hinton y RJ Williams, "Aprendizaje de representaciones internas por propagación de errores". , Procesamiento distribuido en paralelo. Vol 1: Fundamentos. MIT Press, Cambridge, MA, 1986.
El documento básicamente describe un tipo novedoso de red de avance en ese momento y su formalismo matemático.
fuente