¿Por qué propagarse a través del tiempo en un RNN?

En una red neuronal recurrente, generalmente reenviaría la propagación a través de varios pasos de tiempo, "desenrollaría" la red y luego la propagación hacia atrás a través de la secuencia de entradas.

¿Por qué no simplemente actualizar los pesos después de cada paso individual en la secuencia? (el equivalente a usar una longitud de truncamiento de 1, por lo que no hay nada que desenrollar) Esto elimina por completo el problema de gradiente de fuga, simplifica enormemente el algoritmo, probablemente reduciría las posibilidades de quedarse atascado en los mínimos locales y, lo más importante, parece funcionar bien . Entrené un modelo de esta manera para generar texto y los resultados parecían comparables a los resultados que he visto de los modelos entrenados BPTT. Solo estoy confundido sobre esto porque cada tutorial sobre RNN que he visto dice usar BPTT, casi como si fuera necesario para un aprendizaje adecuado, lo cual no es el caso.

Actualización: agregué una respuesta

Editar: cometí un gran error al comparar los dos métodos y tengo que cambiar mi respuesta. Resulta que lo estaba haciendo, simplemente propagándome en el paso de tiempo actual, en realidad comienza a aprender más rápido. Las actualizaciones rápidas aprenden los patrones más básicos muy rápidamente. Pero en un conjunto de datos más grande y con un tiempo de entrenamiento más largo, BPTT de hecho se destaca. Estaba probando una pequeña muestra durante unas pocas épocas y asumí que quien comience a ganar la carrera será el ganador. Pero esto me llevó a un hallazgo interesante. Si comienza su entrenamiento de nuevo propagándose en un solo paso de tiempo, luego cambie a BPTT y aumente lentamente la distancia de propagación, obtendrá una convergencia más rápida.

Un RNN es una red neuronal profunda (DNN) donde cada capa puede tomar una nueva entrada pero tiene los mismos parámetros. BPT es una palabra elegante para Back Propagation en dicha red, que en sí misma es una palabra elegante para Gradient Descent.

Decir que los RNN salidas y t en cada paso y e r r o r t = ( y t - y t ) 2$\hat{y}_t$

$$\begin{equation} error_t=(y_t-\hat{y}_t)^2 \end{equation}$$

Para aprender los pesos, necesitamos gradientes para que la función responda a la pregunta "¿cuánto afecta un cambio en el parámetro a la función de pérdida?" y mueva los parámetros en la dirección dada por:

$$\begin{equation} \nabla error_t=-2(y_t-\hat{y}_t)\nabla \hat{y}_t \end{equation}$$

Es decir, tenemos un DNN donde obtenemos comentarios sobre qué tan buena es la predicción en cada capa. Dado que un cambio en el parámetro cambiará cada capa en el DNN (paso de tiempo) y cada capa contribuye a las próximas salidas, esto debe tenerse en cuenta.

Tome una red simple de una capa de neurona uno para ver esto semi-explícitamente:

$$\begin{align*} \hat{y}_{t+1} =& f(a+bx_t+c\hat{y}_t)\\ \frac{\partial}{\partial a}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot c\cdot \frac{\partial}{\partial a}\hat{y}_{t} \\ \frac{\partial}{\partial b}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (x_t+c\cdot\frac{\partial}{\partial b}\hat{y}_{t})\\ \frac{\partial}{\partial c}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (\hat{y}_t+c\cdot\frac{\partial}{\partial c}\hat{y}_{t})\\ \iff\\ \nabla \hat{y}_{t+1} =& f'(a+bx_t+c\hat{y}_t)\cdot \left(\begin{bmatrix}0\\x_t\\\hat{y}_t \end{bmatrix} + c \mathbin{\color{red}{\nabla \hat{y}_{t}}} \right) \end{align*}$$

$\delta$

$$\begin{equation} \begin{bmatrix}\tilde{a}\\\tilde{b}\\\tilde{c}\end{bmatrix} \leftarrow \begin{bmatrix}a\\b\\c\end{bmatrix} + \delta (y_{t}-\hat{y}_{t})\nabla \hat{y}_t \end{equation}$$

$\nabla \hat{y}_{t+1}$$\nabla \hat{y}_{t}$$t$

$$\begin{equation} error=\sum_t(y_t-\hat{y}_t)^2 \end{equation}$$

¿Quizás cada paso contribuirá con una dirección cruda que es suficiente en la agregación? ¡Esto podría explicar sus resultados, pero me interesaría saber más sobre su método / función de pérdida! También estaría interesado en una comparación con un ANN de ventana de dos pasos.

edit4: Después de leer los comentarios, parece que su arquitectura no es un RNN.

$h_t$

Su modelo: sin estado: estado oculto reconstruido en cada paso edit2: se agregaron más referencias a DNNs edit3: corrección gradual y alguna edición de notación5: se corrigió la interpretación de su modelo después de su respuesta / aclaración.

$$\frac{dF(g(x), h(x), m(x))}{dx} = \frac{\partial F}{\partial g}\frac{dg}{dx} + \frac{\partial F}{\partial h}\frac{dh}{dx} + \frac{\partial F}{\partial m}\frac{dm}{dx}$$

$t$$H_t$$\theta$$x_t$$H_{t-1}$$H_t$$t$$L$$\theta$

$\theta$$x_t$$\nabla_\theta a(x_t, \theta)$$\theta$. Pero nuestro error también fue el resultado de alguna contribución de$H_{t-1}$, que también era una función de $\theta$, ¿derecho? Entonces necesitamos descubrir$\nabla_\theta H_{t-1}$, que era una función de $x_{t-1}$, $\theta$ y $H_{t-2}$. Pero$H_{t-2}$ También era una función una función de $\theta$. Y así.