¿Cuáles son las diferencias entre 'época', 'lote' y 'minibatch'?

Hasta donde sé, al adoptar el Descenso de gradiente estocástico como algoritmo de aprendizaje, alguien usa 'epoch' para el conjunto de datos completo y 'batch' para los datos utilizados en un solo paso de actualización, mientras que otro usa 'batch' y 'minibatch' respectivamente, y los otros usan 'epoch' y 'minibatch'. Esto trae mucha confusión al discutir.

Entonces, ¿cuál es el dicho correcto? ¿O son solo dialectos que son todos aceptables?

• Época significa una pasada sobre el conjunto de entrenamiento completo
• Lote significa que usa todos sus datos para calcular el gradiente durante una iteración.
• Mini-lote significa que solo toma un subconjunto de todos sus datos durante una iteración.

Una época generalmente significa que su algoritmo ve cada instancia de entrenamiento una vez. Ahora suponiendo que tienes $n$ instancias de entrenamiento:

$n$

$b$$b$$n$$n/b$

$n$$n$

"Época" generalmente significa exponer un algoritmo de aprendizaje a todo el conjunto de datos de entrenamiento. Esto no siempre tiene sentido ya que a veces generamos datos.

"Batch" y "Minibatch" pueden ser confusos.

Los ejemplos de entrenamiento a veces necesitan ser "agrupados" porque no todos los datos necesariamente pueden exponerse al algoritmo a la vez (debido a restricciones de memoria por lo general).

En el contexto de SGD, "Minibatch" significa que el gradiente se calcula en todo el lote antes de actualizar los pesos. Si no está utilizando un "minibatch", cada ejemplo de entrenamiento en un "lote" actualiza los parámetros del algoritmo de aprendizaje de forma independiente.