comprender la normalización de lotes

En el documento Normalización de lotes: aceleración de la capacitación en redes profundas mediante la reducción del cambio de covariable interno ( aquí ) Antes de explicar el proceso de normalización de lotes, el documento intenta explicar los problemas relacionados con (no entiendo cuál es el problema exacto que se aborda aquí) .

Extracto de la sección 2, párrafo 2:

Podríamos considerar las activaciones de blanqueamiento en cada paso del entrenamiento o en algún intervalo, ya sea modificando la red directamente o cambiando los parámetros del algoritmo de optimización para depender de los valores de activación de la red (Wiesler et al., 2014; Raiko et al., 2012 ; Povey et al., 2014; Desjardins & Kavukcuoglu). Sin embargo, si estas modificaciones se intercalan con los pasos de optimización, entonces el paso de descenso de gradiente puede intentar actualizar los parámetros de una manera que requiera que se actualice la normalización, lo que reduce el efecto del paso de gradiente. Por ejemplo, considere una capa con la entrada u que agrega el sesgo aprendido , y normaliza el resultado restando la media de la activación calculada sobre los datos de entrenamiento:$b$$\hat x= x − E[x]$donde es el conjunto de valores de sobre el conjunto de entrenamiento, y .$x = u + b, X = {x_{1...N}}$$x$$E[x] = \frac 1 N(\sum_{i=1}^nx_i)$

Si un paso de descenso de gradiente ignora la dependencia de E [x] en b, actualizará , donde ∆b ​​∝ - \ partial l / \ partial \ hat x . Entonces u + (b + ∆b) - E [u + (b + ∆b)] = u + b - E [u + b] \ tag 1 .$b ← b + ∆b$$∆b ∝ −\partial l/\partial\hat x$

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Por lo tanto, la combinación de la actualización a by el cambio posterior en la normalización no condujo a ningún cambio en la salida de la capa ni, en consecuencia, a la pérdida. A medida que el entrenamiento continúa, b crecerá indefinidamente mientras la pérdida permanece fija. Este problema puede empeorar si la normalización no solo se centra sino que también escala las activaciones.

Aquí está mi comprensión de la literatura:

1. Tenemos un lote de tamaño N (un lote de entrenamiento)

2. Deje que haya dos capas ocultas arbitrarias conectadas entre sí (L1 y L2) conectadas por los parámetros y$W$$b$

3. la salida que sale de L1 es x1

4. $u = x1W$ (aquí es donde comienza la literatura anterior. la dimensión de u es MxN) (M es el número de unidades en L2)

5. $x = u+b$ (dimensión b = dimensión x = dimensión u = MxN)

6. Ahora, antes de alimentar x en L2, lo centramos restando la media de de cada entrada en ( )$x$$x$$\hat x= x − E[x]$

7. Calculamos la pérdida y retropropagamos el gradiente y actualizamos solo la capa esta capa para darle una prueba de cordura. Nuevo =$b$$b$$b + \Delta b$

8. Lo ejecutamos nuevamente en el mismo lote con actualizado$b$

9. repetir 3 y 4

10. $x_{new} = u+b + \Delta b$ (dimensión b, = dimensión x = dimensión u = MxN)$\Delta b$

11. Ahora, antes de alimentar x en L2, lo centramos restando la media de de cada entrada en ( ). que es lo mismo que se calculó antes de actualizar b y, por lo tanto, la actualización b tuvo que afectar la capacitación$x$$x$$\hat x = x + \Delta b − E[x + \Delta b] = x - E[x]$

Mi pregunta es con esta parte del extracto:

"Si un paso de descenso de gradiente ignora la dependencia de E [x] en b, entonces actualizará , donde . Entonces ".$b ← b + ∆b$$∆b ∝ −\partial l/\partial\hat x$

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Por que es

" ". depende de lo que viene antes? ¿Cuál es el punto de ese bit? Tenga en cuenta también el uso de la palabra "Entonces" (en negrita) que implica que la declaración necesariamente extrae causalidad de lo que precede

$$u + (b + ∆b) − E[u + (b + ∆b)] = u + b − E[u + b] \tag 1$$

Supongamos que está tratando de minimizar la siguiente pérdida para una tarea determinada, dondees la distancia euclediana, y la salida prevista es por simplicidad. Los gradientes se pueden calcular de la siguiente manera:

$$\ell(y, \hat{y}) = \frac{1}{2}\| y - \hat{y}\|^2,$$ $\| \cdot\|$$\hat{y} =\hat{x}$

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial b}, \hspace{20pt} \Delta \omega = - \frac{\partial\ell}{\partial\hat{x}} \cdot \frac{\partial\hat{x}}{\partial \omega}$$

Ahora, el gradiente de con respecto al sesgo es$\hat{x}$$b$

$$\frac{\partial\hat{x}}{\partial b} = \frac{\partial}{\partial b}(x-E[x]) = \frac{\partial}{\partial b}\left((u+b)-E[(u+b)]\right) = 1 - \frac{\partial}{\partial b}E[(u+b)]$$

Ignorar el hecho de que depende de hace que el gradiente anterior sea igual a 1 y, por lo tanto, sigue actualizando el sesgo de la siguiente manera:$E(x)$$b$

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[x] = 1 -0 = 1$$ y luego

$$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (1), \hspace{20pt} b \leftarrow b + \Delta b$$

De lo contrario, si desea considerar esta dependencia, el gradiente se convierte en 0 y, por lo tanto, no se actualiza de la siguiente manera:

$$\frac{\partial\hat{x}}{\partial b} = 1 - \frac{\partial}{\partial b}E[u+b] = 1 - \left(\frac{\partial}{\partial b}E[u]+\frac{\partial}{\partial b}E[b]\right) = 1 - (0+1) = 0$$ y luego $$\Delta b = - \frac{\partial\ell}{\partial\hat{x}} \cdot (0), \hspace{20pt} b \leftarrow b + 0$$

En ambos casos, independientemente de la actualización de sesgo, la función de pérdida permanecerá fija,

$$u+(b+\Delta b)−E[u+(b+∆b)]=u+b−E[u+b],$$

sin embargo, en el primer caso, el sesgo crecerá indefinidamente.