Cómo entrenar la capa LSTM de red profunda

Estoy usando una red lstm y feed-forward para clasificar el texto.

Convierto el texto en vectores únicos y los introduzco en el lstm para poder resumirlo como una representación única. Luego lo alimento a la otra red.

¿Pero cómo entreno el lstm? Solo quiero clasificar en secuencia el texto, ¿debería alimentarlo sin entrenamiento? Solo quiero representar el pasaje como un solo elemento que puedo alimentar a la capa de entrada del clasificador.

Agradecería mucho cualquier consejo con esto!

Actualizar:

Entonces tengo un lstm y un clasificador. Tomo todas las salidas del lstm y las agrupo, luego introduzco ese promedio en el clasificador.

Mi problema es que no sé cómo entrenar el lstm o el clasificador. Sé cuál debería ser la entrada para el lstm y cuál debería ser la salida del clasificador para esa entrada. Como son dos redes separadas que se están activando secuencialmente, necesito saber y no sé cuál debería ser la salida ideal para el lstm, que también sería la entrada para el clasificador. ¿Hay alguna forma de hacer esto?

El mejor lugar para comenzar con los LSTM es la publicación de blog de A. Karpathy http://karpathy.github.io/2015/05/21/rnn-effectiveness/ . Si está utilizando Torch7 (que sugeriría encarecidamente), el código fuente está disponible en github https://github.com/karpathy/char-rnn .

También trataría de alterar un poco tu modelo. Usaría un enfoque de muchos a uno para que ingrese palabras a través de una tabla de búsqueda y agregue una palabra especial al final de cada secuencia, de modo que solo cuando ingrese el signo "final de la secuencia" lea la clasificación salida y calcular el error en función de su criterio de entrenamiento. De esta forma, se entrenaría directamente en un contexto supervisado.

Por otro lado, un enfoque más simple sería usar el párrafo 2vec ( https://radimrehurek.com/gensim/models/doc2vec.html ) para extraer características para su texto de entrada y luego ejecutar un clasificador sobre sus características. La extracción de características de vector de párrafo es muy simple y en Python sería:

class LabeledLineSentence(object):
    def __init__(self, filename):
        self.filename = filename

    def __iter__(self):
        for uid, line in enumerate(open(self.filename)):
            yield LabeledSentence(words=line.split(), labels=['TXT_%s' % uid])

sentences = LabeledLineSentence('your_text.txt')

model = Doc2Vec(alpha=0.025, min_alpha=0.025, size=50, window=5, min_count=5, dm=1, workers=8, sample=1e-5)
model.build_vocab(sentences)

for epoch in range(epochs):
    try:
        model.train(sentences)
    except (KeyboardInterrupt, SystemExit):
        break