La incrustación de palabras es el nombre colectivo para un conjunto de técnicas de aprendizaje de características y modelado de lenguaje en PNL donde las palabras se asignan a vectores de números reales en un espacio de baja dimensión, en relación con el tamaño del vocabulario.
En muchas bibliotecas de redes neuronales, hay 'capas de incrustación', como en Keras o Lasagne . No estoy seguro de entender su función, a pesar de leer la documentación. Por ejemplo, en la documentación de Keras dice: Convierta enteros positivos (índices) en vectores densos de tamaño fijo,...
Necesita comprender el funcionamiento de la capa 'Incrustación' en la biblioteca Keras. Ejecuto el siguiente código en Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array =...
Después de entrenar vectores de palabras con word2vec, ¿es mejor normalizarlos antes de usarlos para algunas aplicaciones posteriores? Es decir, ¿cuáles son los pros / contras de
¿Cómo uso una incrustación de palabras para asignar un documento a un vector de características, adecuado para su uso con aprendizaje supervisado? Una incrustación de palabras asigna cada palabra www a un vector , donde es un número no demasiado grande (por ejemplo, 500). Las incrustaciones de...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Estoy usando caret para ejecutar un bosque...
Me impresionaron los resultados en el documento ICML 2014 " Representaciones distribuidas de oraciones y documentos " de Le y Mikolov. La técnica que describen, llamada "vectores de párrafo", aprende representaciones sin supervisión de párrafos / documentos arbitrariamente largos, basados en una...
He estado tratando de entender el concepto de muestreo negativo en el contexto de word2vec. No puedo digerir la idea del muestreo [negativo]. Por ejemplo en los documentos de Mikolov, la expectativa de muestreo negativa se formula como Iniciar sesiónσ( ⟨ W , c ⟩ ) + k ⋅ ECnorte∼ Pre[ logσ( - ⟨ w ,...
Me pregunto por qué skip-gram es mejor para palabras poco frecuentes que CBOW en word2vec. He leído el reclamo en https://code.google.com/p/word2vec/
¿Cómo se entrena la capa de incrustación en la capa de incrustación de Keras? (digamos que usa el tensorflow backend, lo que significa que es similar a word2vec, glove o fasttext) Supongamos que no utilizamos una incrustación
Me pregunto por qué el softmax jerárquico es mejor para las palabras poco frecuentes, mientras que el muestreo negativo es mejor para las palabras frecuentes, en los modelos CBOW y skip-gram de word2vec. He leído el reclamo en https://code.google.com/p/word2vec/
Tengo problemas para comprender el modelo de omisión de gramo del algoritmo Word2Vec. En una bolsa de palabras continua es fácil ver cómo las palabras de contexto pueden "encajar" en la Red Neural, ya que básicamente las promedia después de multiplicar cada una de las representaciones de...
Para una tarea de procesamiento de lenguaje natural (PNL), a menudo se usan vectores word2vec como incrustación de las palabras. Sin embargo, puede haber muchas palabras desconocidas que no son capturadas por los vectores word2vec simplemente porque estas palabras no se ven con la suficiente...
Una forma de generar incrustaciones de palabras es la siguiente ( espejo ): Obtenga un corpus, por ejemplo, "Me gusta volar. Me gusta la PNL. Me gusta el aprendizaje profundo". Construya la matriz de concordancia de palabras a partir de ella: Realice SVD en y mantenga las primeras columnas...
Soy muy nuevo en las incrustaciones de palabras. Quiero visualizar cómo se ven los documentos después de aprender. Leí que t-SNE es el enfoque para hacerlo. Tengo 100K documentos con 250 dimensiones como tamaño de la incrustación. También hay varios paquetes disponibles. Sin embargo, para t-SNE,...
Estoy tratando de incrustar aproximadamente 60 millones de frases en un espacio vectorial , luego calcular la similitud de coseno entre ellas. He estado usando sklearn's CountVectorizercon una función de tokenizador personalizada que produce unigramas y bigrams. Resulta que para obtener...
Tengo problemas para entender esta oración: La primera arquitectura propuesta es similar a la NNLM de avance, donde se elimina la capa oculta no lineal y la capa de proyección se comparte para todas las palabras (no solo la matriz de proyección); así, todas las palabras se proyectan en la misma...
En los modelos CBOW y skip-gram de word2vec, ¿cómo funciona elegir vectores de palabras de WWW(matriz de palabras de entrada) frente a elegir vectores de palabras de (matriz de palabras de salida) ¿afecta la calidad de los vectores de palabras