El ensacado es la generación de múltiples predictores que funciona como un conjunto de predictores únicos. La deserción es una técnica que enseña a las redes neuronales a promediar todas las subredes posibles. Mirando las competencias más importantes de Kaggle parece que estas dos técnicas se usan juntas muy a menudo. No puedo ver ninguna diferencia teórica además de la implementación real. ¿Quién puede explicarme por qué deberíamos usar ambos en cualquier aplicación real? ¿Y por qué el rendimiento mejora cuando los usamos a ambos?
Encontré una comparación de los dos tipos de redes en Max Out Networks que dice:
Espero que sea útil.
fuente
El abandono es una técnica de regularización que se usa para evitar el sobreajuste en redes neuronales grandes específicamente al excluir algunas de las neuronas en capas ocultas (de ahí el nombre de abandono de las neuronas excluidas) después del entrenamiento. Básicamente, si la red realmente aprendió algo durante el entrenamiento, abandonar algunas de las neuronas no debería afectar negativamente la precisión de las predicciones.
El ensacado también es una técnica de regularización efectiva, utilizada para reducir la variación de los datos de entrenamiento y mejorar la precisión de su modelo mediante el uso de múltiples copias de él entrenadas en diferentes subconjuntos de datos del conjunto de datos de entrenamiento inicial / más grande.
ver esta pregunta
fuente