¿Es posible lograr resultados de vanguardia utilizando solo la propagación hacia atrás (sin entrenamiento previo )?
¿O es para que todos los enfoques de récord utilicen alguna forma de pre-entrenamiento?
¿La retropropagación sola es lo suficientemente buena?
El entrenamiento previo ya no es necesario . Su propósito era encontrar una buena inicialización para los pesos de la red a fin de facilitar la convergencia cuando se empleaba un gran número de capas. Hoy en día, tenemos ReLU , abandono y normalización por lotes , todo lo cual contribuye a resolver el problema del entrenamiento de redes neuronales profundas. Citando de la publicación de reddit vinculada anteriormente (por el ganador del desafío Galaxy Zoo Kaggle):
Diría que la "era de pre-entrenamiento", que comenzó alrededor de 2006, terminó a principios de los años 10 cuando las personas comenzaron a usar unidades lineales rectificadas (ReLU), y luego abandonaron, y descubrieron que el pre-entrenamiento ya no era beneficioso para esto. tipo de redes.
Del documento de ReLU (vinculado anteriormente):
Las redes rectificadoras profundas pueden alcanzar su mejor rendimiento sin requerir ningún entrenamiento previo sin supervisión
Dicho esto, ya no es necesario , pero aún puede mejorar el rendimiento en algunos casos donde hay demasiadas muestras sin supervisión (sin etiqueta), como se ve en este documento .