Me preguntaba cuál es la mejor manera de inicializar el estado para LSTM. Actualmente solo lo inicializo a todos ceros. Realmente no puedo encontrar nada en línea sobre cómo inicializarlo. Una cosa que estaba pensando hacer es hacer que el estado inicial sea un parámetro entrenable. ¿Algún...
Como muchos otros lo han hecho, descubrí que los recursos aquí y aquí son inmensamente útiles para comprender las células LSTM. Estoy seguro de que entiendo cómo fluyen y se actualizan los valores, y estoy lo suficientemente seguro como para agregar las "conexiones de mirilla" mencionadas, etc....
Estoy tratando de entender la arquitectura de los RNN. He encontrado este tutorial que ha sido muy útil: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Especialmente esta imagen: ¿Cómo encaja esto en una red de retroalimentación? ¿Es esta imagen solo otro nodo en cada...
El problema con el que estoy lidiando es predecir valores de series de tiempo. Estoy mirando una serie de tiempo a la vez y, por ejemplo, en base al 15% de los datos de entrada, me gustaría predecir sus valores futuros. Hasta ahora me he encontrado con dos modelos: LSTM (memoria a largo plazo;...
Suponga la siguiente secuencia unidimensional: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... Las letras A, B, C, ..aquí representan eventos 'ordinarios'. Los símbolos #, $, %, ...aquí representan eventos 'especiales' El espacio temporal entre todos los eventos no es uniforme (cualquier cosa,...
Mi red neuronal recurrente (LSTM, resp. GRU) se comporta de una manera que no puedo explicar. El entrenamiento comienza y se entrena bien (los resultados se ven bastante bien) cuando de repente cae la precisión (y la pérdida aumenta rápidamente) , tanto las métricas de entrenamiento como de prueba....
No estoy seguro de lo que entiendo de la documentación oficial, que dice: Devuelve: Un par (salidas, estado) donde: outputs: El tensor de salida RNN. Si time_major == False(por defecto), esta será la forma de un tensor: [batch_size, max_time, cell.output_size]. Si time_major == True,...
Supongamos que estoy alimentando una matriz 2D de forma (99,13) como entrada a una capa LSTM. Tengo un número n de archivos, donde cada uno contiene (99,13) vectores de tamaño. He decidido considerar 13 como la cantidad de funciones y 99 como los pasos de tiempo. (Mientras implementaba con Keras,...