La diferencia entre `Dense` y` TimeDistributedDense` de `Keras`

Todavía estoy confundido acerca de la diferencia entre el Densey el TimeDistributedDensede Kerasa pesar de que ya hay algunas preguntas similares pide aquí y aquí . La gente está discutiendo mucho pero no hay conclusiones acordadas en común.

Y aunque, aquí , @fchollet declaró que:

TimeDistributedDenseaplica una misma Denseoperación (totalmente conectada) a cada paso de tiempo de un tensor 3D.

Todavía necesito una ilustración detallada sobre cuál es exactamente la diferencia entre ellos.

Supongamos que tiene datos de series temporales con filas y 700 columnas que desea alimentar a una capa en Keras. Antes de alimentar eso a la RNN, debe cambiar la forma de los datos anteriores a un tensor 3D. Entonces se convierte en un N × 700 × 1 .$N$$700$SimpleRNN(200, return_sequence=True)$N \times 700 \times 1$

^{La imagen está tomada de https://colah.github.io/posts/2015-08-Understanding-LSTMs}

$t=1 \ to \ 700$$h_1$$h_{700}$$h_1$$h_{200}$$N \times 700 \times 200$

TimeDistributedDenseDenseDense$h_1$$h_2$$h_t$$h_1$$h_{700}$$1 \times 1 \times 200$$1 \times 1 \times 200$

¿Por qué estamos haciendo esto? Porque no quieres aplanar la salida RNN.

¿Por qué no aplanar la salida RNN? Porque desea mantener los valores de cada paso de tiempo separados.

¿Por qué mantener separados los valores de cada paso de tiempo? Porque:

• solo desea interactuar los valores entre su propio paso de tiempo
• no desea tener una interacción aleatoria entre diferentes pasos de tiempo y canales.