Me pregunto en qué situaciones es ventajoso apilar LSTM.
machine-learning
neural-network
deep-learning
lstm
Vadim Smolyakov
fuente
fuente
Respuestas:
De ¿Cuáles son las ventajas de apilar múltiples LSTMs? (Solo actualizaré la respuesta allí):
fuente
Una situación en la que es ventajoso apilar LSTM es cuando queremos aprender la representación jerárquica de nuestros datos de series temporales. En los LSTM apilados, cada capa LSTM genera una secuencia de vectores que se utilizará como entrada a una capa LSTM posterior. Esta jerarquía de capas ocultas permite una representación más compleja de nuestros datos de series temporales, capturando información a diferentes escalas.
Por ejemplo, los LSTM apilados se pueden usar para mejorar la precisión en la clasificación de series de tiempo, como la predicción de actividad, en la que se pueden usar la frecuencia cardíaca, el conteo de pasos, el GPS y otras señales para predecir actividad como caminar, correr, andar en bicicleta, subir escaleras o descansar. Para ver un ejemplo de clasificación de series de tiempo con LSTM apilados utilizando datos de EEG, eche un vistazo al siguiente cuaderno de ipython .
fuente
En secuencia a modelo de secuencia: el trabajo de la red del codificador es leer la secuencia de entrada a nuestro modelo Seq2Seq y generar un vector de contexto C de dimensión fija para la secuencia. Para hacerlo, el codificador utilizará una celda de red neuronal recurrente, generalmente un LSTM, para leer los tokens de entrada de uno en uno. El estado oculto final de la celda se convertirá en C. Sin embargo, dado que es muy difícil comprimir una secuencia de longitud arbitraria en un solo vector de tamaño fijo (especialmente para tareas difíciles como la traducción), el codificador generalmente consistirá en LSTM apilados : una serie de "capas" LSTM donde las salidas de cada capa son la secuencia de entrada a la siguiente capa. El estado oculto LSTM de la capa final se usará como vector de contexto.
fuente