¿Relación entre tasa de aprendizaje y número de capas ocultas?

10

¿Existe alguna regla general entre la profundidad de una red neuronal y la tasa de aprendizaje? Me he dado cuenta de que cuanto más profunda es la red, más baja debe ser la tasa de aprendizaje.

Si eso es correcto, ¿por qué es eso?

neural-networks deep-learning hyperparameter rule-of-thumb user_1177868
fuente
1
Una discusión relacionada para un modelo de impulso. stats.stackexchange.com/questions/168666/…
Haitao Du
La discusión proporciona información útil pero no responde mi pregunta. ¿Podrías comentarlo?
user_1177868
1
por eso lo puse en comentario pero no en respuesta, y voté sus preguntas.
Haitao Du

Respuestas:

4

Esta pregunta ha sido respondida aquí:

Con las redes neuronales, ¿la tasa de aprendizaje debería ser de alguna manera proporcional a los tamaños de capa ocultos? ¿Deberían afectarse mutuamente?

La respuesta corta es sí, hay una relación. Sin embargo, la relación no es tan trivial, todo lo que puedo decir es que lo que ves es porque la superficie de optimización se vuelve más compleja a medida que aumenta el número de capas ocultas, por lo tanto, las tasas de aprendizaje más pequeñas son generalmente mejores. Si bien es sorprendente que los mínimos locales sean una posibilidad con una tasa de aprendizaje baja, es mucho mejor que una superficie compleja y una tasa de aprendizaje alta.

NULO
fuente