¿Por qué los investigadores de redes neuronales se preocupan por las épocas?

Una época en el descenso de gradiente estocástico se define como un solo paso a través de los datos. Para cada minibatch SGD, se extraen muestras, se calcula el gradiente y se actualizan los parámetros. En la configuración de época, las muestras se extraen sin reemplazo.$k$

Pero esto parece innecesario. ¿Por qué no dibujar cada minibatch SGD como extrae al azar del conjunto de datos completo en cada iteración? A lo largo de un gran número de épocas, las pequeñas desviaciones de las cuales se ven muestras con mayor o menor frecuencia parecerían no ser importantes.$k$

Además de la respuesta de Franck sobre aspectos prácticos, y la respuesta de David sobre la observación de subgrupos pequeños, los cuales son puntos importantes, de hecho hay algunas razones teóricas para preferir el muestreo sin reemplazo. La razón tal vez esté relacionada con el punto de David (que es esencialmente el problema del coleccionista de cupones ).

En 2009, Léon Bottou comparó el rendimiento de convergencia en un problema particular de clasificación de texto ( ).$n = 781,265$

Bottou (2009). Convergencia curiosamente rápida de algunos algoritmos de descenso de gradiente estocástico . Actas del simposio sobre aprendizaje y ciencia de datos. ( pdf del autor )

Entrenó una máquina de vectores de soporte a través de SGD con tres enfoques:

• Aleatorio : extraiga muestras aleatorias del conjunto de datos completo en cada iteración.
• Ciclo : baraja el conjunto de datos antes de comenzar el proceso de aprendizaje, luego camina sobre él secuencialmente, para que en cada época veas los ejemplos en el mismo orden.
• Reproducción aleatoria : reorganice el conjunto de datos antes de cada época, de modo que cada época vaya en un orden diferente.

Examinó empíricamente la convergencia , donde C es la función de costo, θ t los parámetros en el paso t de optimización, y la expectativa es sobre la combinación de lotes asignados.$\mathbb E[ C(\theta_t) - \min_\theta C(\theta) ]$$C$$\theta_t$$t$

• Para Random, la convergencia fue aproximadamente del orden de (como se esperaba por la teoría existente en ese punto).$t^{-1}$
• Cycle obtuvo convergencia en el orden de (con α > 1 pero variando dependiendo de la permutación, por ejemplo α ≈ 1.8 para su Figura 1).$t^{-\alpha}$$\alpha > 1$$\alpha \approx 1.8$
• Shuffle era más caótico, pero la línea de mejor ajuste dio , mucho más rápido que Random.$t^{-2}$

Esta es su Figura 1 que ilustra que:

Esto fue confirmado teóricamente más tarde por el artículo:

Gürbüzbalaban, Ozdaglar y Parrilo (2015). Por qué la reorganización aleatoria supera el descenso de gradiente estocástico . arXiv: 1510.08560 . ( video de la charla invitada en NIPS 2015 )

Su prueba solo se aplica al caso donde la función de pérdida es fuertemente convexa, es decir, no a las redes neuronales. Sin embargo, es razonable esperar que un razonamiento similar pueda aplicarse al caso de la red neuronal (que es mucho más difícil de analizar).

De hecho, es bastante innecesario desde el punto de vista del rendimiento con un gran conjunto de entrenamiento, pero el uso de épocas puede ser conveniente, por ejemplo:

• proporciona una métrica bastante buena: "la red neuronal se entrenó durante 10 épocas" es una declaración más clara que "la red neuronal se entrenó para 18942 iteraciones" o "la red neuronal se entrenó con más de 303072 muestras".
• Hay suficientes cosas aleatorias que suceden durante la fase de entrenamiento: inicialización aleatoria del peso, mezcla de mini lotes, abandono, etc.
• es fácil de implementar
• evita preguntarse si el conjunto de entrenamiento es lo suficientemente grande como para no tener épocas

[1] da una razón más, que no es tan relevante dada la configuración actual de la computadora:

Como para cualquier método de descenso de gradiente estocástico (incluido el caso de mini lotes), es importante para la eficiencia del estimador que cada ejemplo o minibatch se muestree de manera aproximadamente independiente. Debido a que el acceso aleatorio a la memoria (o peor aún, al disco) es costoso, una buena aproximación, llamada gradiente incremental (Bertsekas, 2010), es visitar los ejemplos (o mini lotes) en un orden fijo correspondiente a su orden en la memoria o disco (repitiendo los ejemplos en el mismo orden en una segunda época, si no estamos en el caso en línea puro donde cada ejemplo se visita solo una vez).En este contexto, es más seguro si los ejemplos o mini lotes se colocan primero en un orden aleatorio (para asegurarse de que este sea el caso, podría ser útil mezclar primero los ejemplos). Se ha observado una convergencia más rápida si se cambia el orden en que se visitan los mini lotes para cada época, lo que puede ser razonablemente eficiente si el conjunto de entrenamiento se mantiene en la memoria de la computadora.

[1] Bengio, Yoshua. " Recomendaciones prácticas para la formación basada en gradientes de arquitecturas profundas " . Redes neuronales: trucos del oficio. Springer Berlin Heidelberg, 2012. 437-478.

No estoy de acuerdo en algo que claramente no importará. Digamos que hay un millón de ejemplos de entrenamiento, y tomamos diez millones de muestras.

En R, podemos ver rápidamente cómo se ve la distribución con

plot(dbinom(0:40, size = 10 * 1E6, prob = 1E-6), type = "h")

Algunos ejemplos se visitarán más de 20 veces, mientras que el 1% de ellos se visitarán 3 o menos veces. Si el conjunto de capacitación se eligió cuidadosamente para representar la distribución esperada de ejemplos en datos reales, esto podría tener un impacto real en algunas áreas del conjunto de datos, especialmente una vez que comience a dividir los datos en grupos más pequeños.

Considere el caso reciente en el que un votante de Illinois se sobremuestreó 30 veces y cambió drásticamente las estimaciones del modelo para su grupo demográfico (y, en menor medida, para toda la población de los EE. UU.). Si accidentalmente sobremuestreamos imágenes de "Ruffed Grouse" tomadas contra fondos verdes en días nublados con una profundidad de campo estrecha y subestimamos los otros tipos de imágenes de grouse, el modelo podría asociar esas características irrelevantes con la etiqueta de categoría. Cuantas más formas haya de dividir los datos, más subgrupos habrá y más oportunidades habrá para este tipo de error.