¿Cuál es la intuición detrás de una red neuronal recurrente de memoria a corto plazo (LSTM)?

La idea detrás de Recurrent Neural Network (RNN) es clara para mí. Lo entiendo de la siguiente manera:
tenemos una secuencia de observaciones ( ) (o, en otras palabras, series de tiempo multivariadas). Cada observación individual es un vector numérico dimensional. Dentro del modelo RNN suponemos que la siguiente observación es una función de la observación anterior así como del "estado oculto" anterior , donde los estados ocultos también están representados por números vectores (las dimensiones de los estados observados y ocultos pueden ser diferentes). También se supone que los estados ocultos dependen de la observación previa y el estado oculto:$\vec o_1, \vec o_2, \dots, \vec o_n$$\vec o_i$$N$$\vec o_{i+1}$$\vec o_{i}$$\vec h_i$

$\vec o_i, \vec h_i = F (\vec o_{i-1}, \vec h_{i-1})$

Finalmente, en el modelo RNN, se supone que la función es una red neuronal. Entrenamos (ajustamos) la red neuronal utilizando los datos disponibles (una secuencia de observaciones). Nuestro objetivo en el entrenamiento es poder predecir la siguiente observación con la mayor precisión posible utilizando las observaciones anteriores.$F$

Ahora, la red LSTM es una modificación de la red RNN. Según tengo entendido, la motivación detrás de LSTM es resolver el problema de la memoria corta que es peculiar de RNN (los RNN convencionales tienen problemas para relacionar eventos que están demasiado separados en el tiempo).

Entiendo cómo funcionan las redes LSTM. Aquí está la mejor explicación de LSTM que he encontrado. La idea básica es la siguiente:

Además del vector de estado oculto, introducimos un denominado vector de "estado de celda" que tiene el mismo tamaño (dimensionalidad) que el vector de estado oculto ( ). Creo que el vector del "estado celular" se introduce para modelar la memoria a largo plazo. Como en el caso de RNN convencional, la red LSTM obtiene el estado observado y oculto como entrada. Usando esta entrada, calculamos un nuevo "estado de celda" de la siguiente manera:$\vec c_i$

$\vec c_{i+1} = \vec \omega_1 (\vec o_i, \vec h_i) \cdot \vec c_i + \vec \omega_2 (\vec o_i, \vec h_i) \cdot \vec c_{int} (\vec o_i, \vec h_i),$

donde las funciones de , y están modeladas por redes neuronales. Para simplificar la expresión, simplemente elimino los argumentos:$\vec \omega_1$$\vec \omega_2$$\vec c_{int}$

$\vec c_{i+1} = \vec \omega_1 \cdot \vec c_i + \vec \omega_2 \cdot \vec c_{int}$

Entonces, podemos ver que el nuevo "vector de estado celular" ( $\vec c_i$ ) es una suma ponderada del viejo vector de estado ( $\vec c_{i-1}$ ) y un vector de estado celular "intermedio" ( $\vec c_{int}$ ). La multiplicación entre los vectores es por componentes (multiplicamos dos vectores N dimensionales y obtenemos, como resultado, otro vector N dimensional). En otras palabras, mezclamos dos vectores de estados celulares (el antiguo y el intermedio) usando pesos específicos de componentes.

Aquí está la intuición entre las operaciones descritas. El vector de estado celular puede interpretarse como un vector de memoria. El segundo vector de pesos (calculado por una red neuronal) es una puerta "mantener" (u olvidar). Sus valores deciden si mantenemos u olvidamos (borramos) un valor correspondiente del vector de estado de la celda (o vector de memoria a largo plazo). El primer vector de pesos ( ), que es calculado por otra red neuronal, se llama puerta "escribir" o "memorizar". Decide si una nueva memoria (el vector de estado de celda "intermedio") debe guardarse (o más precisamente, si un componente particular de la misma debe guardarse / escribirse). El "intermedio"$\vec \omega_2$$\omega_1$$\vec \omega_1$vector). En realidad, sería más exacto decir que con los dos vectores de pesos ( y ) "mezclamos" la memoria antigua y la nueva.$\vec \omega_1$$\vec \omega_2$

Entonces, después de la mezcla descrita anteriormente (u olvido y memorización) tenemos un nuevo vector de estado celular. Luego calculamos un estado oculto "intermedio" usando otra red neuronal (como antes, usamos el estado observado y el estado oculto como entradas). Finalmente, combinamos el nuevo estado de la celda (memoria) con el estado oculto "intermedio" ( ) para obtener el nuevo estado oculto (o "final") que realmente mostramos:$\vec o_i$$\vec h_i$$\vec h_{int}$

$\vec h_{i+1} = \vec h_{int} \cdot S(\vec c_{i+1}),$

donde es una función sigmoidea aplicada a cada componente del vector de estado celular.$S$

Entonces, mi pregunta es: ¿por qué (o cómo exactamente) esta arquitectura resuelve el problema?

En particular, no entiendo lo siguiente:

1. Usamos una red neuronal para generar memoria "intermedia" (vector de estado de celda) que se mezcla con la memoria "antigua" (o estado de celda) para obtener una memoria "nueva" (estado de celda). Los factores de ponderación para la mezcla también se calculan mediante redes neuronales. Pero, ¿por qué no podemos usar una sola red neuronal para calcular el "nuevo" estado de la celda (o memoria) O, en otras palabras, ¿por qué no podemos usar el estado observado, el estado oculto y la memoria antigua como entradas a una red neuronal que calcula la memoria "nueva"?
2. Al final, usamos los estados observados y ocultos para calcular un nuevo estado oculto y luego usamos el "nuevo" estado de celda (o memoria (a largo plazo)) para corregir el componente del nuevo estado oculto calculado. En otras palabras, los componentes del estado de la celda se utilizan como pesos que simplemente reducen los componentes correspondientes del estado oculto calculado. Pero, ¿por qué se usa el vector de estado celular de esta manera particular? ¿Por qué no podemos calcular el nuevo estado oculto colocando el vector de estado de la celda (memoria a largo plazo) en la entrada de una red neuronal (que también toma los estados observados y ocultos como entrada)?

Adicional:

Aquí hay un video que podría ayudar a aclarar cómo se organizan las diferentes puertas ("mantener", "escribir" y "leer").

Según entiendo sus preguntas, lo que imagina básicamente concatena la entrada, el estado oculto anterior y el estado anterior de la celda, y los pasa a través de una o varias capas completamente conectadas para calcular el estado oculto de salida y el estado de la celda, en lugar de calcular independientemente "actualizaciones que interactúan aritméticamente con el estado de la celda. Básicamente, esto crearía un RNN regular que solo generaba parte del estado oculto.

La razón principal para no hacer esto es que la estructura de los cálculos del estado de la celda de LSTM asegura un flujo constante de error a través de secuencias largas . Si utilizó pesos para calcular el estado de la celda directamente, ¡necesitaría propagarse a través de ellos en cada paso de tiempo! Evitar tales operaciones resuelve en gran medida los gradientes de desaparición / explosión que de otro modo plagarían a los RNN.

Además, la capacidad de retener información fácilmente durante períodos de tiempo más largos es una buena ventaja. Intuitivamente, sería mucho más difícil para la red aprender desde cero para preservar el estado de la célula durante períodos de tiempo más largos.

Vale la pena señalar que la alternativa más común a LSTM, el GRU , calcula de manera similar las actualizaciones de estado ocultas sin aprender pesos que operan directamente en el estado oculto.

Si he entendido correctamente, ambas preguntas se reducen a esto. Dos lugares donde estamos usando tanh y sigmoid para procesar la información. En lugar de eso, deberíamos usar una única red neuronal que tome toda la información.

No conozco los inconvenientes de usar una sola red neuronal. En mi opinión, podemos usar una única red neuronal con no linealidad sigmoidea que aprende correctamente el vector que se usará de manera apropiada (agregado en el estado de la celda en el primer caso o transmitido como estado oculto en el segundo caso).

Sin embargo, de la forma en que lo estamos haciendo ahora, estamos rompiendo la tarea en dos partes, una parte que usa la no linealidad sigmoidea para aprender la cantidad de datos que se deben mantener. La otra parte que usa tanh como no linealidad es solo la tarea de aprender la información que es importante.

En términos simples, sigmoid aprende cuánto ahorrar y tanh aprende qué guardar y dividirlo en dos partes facilitará el entrenamiento.