El procesamiento del lenguaje natural es un conjunto de técnicas de lingüística, inteligencia artificial, aprendizaje automático y estadísticas que tienen como objetivo procesar y comprender los idiomas humanos.
Hay redes neuronales recurrentes y redes neuronales recursivas. Ambos generalmente se denotan con el mismo acrónimo: RNN. Según Wikipedia , los NN recurrentes son de hecho NN recursivos, pero realmente no entiendo la explicación. Además, no parece encontrar cuál es mejor (con ejemplos más o menos)...
Quiero aprender redes neuronales. Soy un lingüista computacional. Conozco enfoques estadísticos de aprendizaje automático y puedo codificar en Python. Estoy buscando comenzar con sus conceptos y conocer uno o dos modelos populares que pueden ser útiles desde una perspectiva de Lingüística...
Estoy tratando de entender cuál es la similitud entre la asignación de Dirichlet latente y word2vec para calcular la similitud de palabras. Según tengo entendido, LDA asigna palabras a un vector de probabilidades de temas latentes , mientras que word2vec las asigna a un vector de números reales...
Después de entrenar vectores de palabras con word2vec, ¿es mejor normalizarlos antes de usarlos para algunas aplicaciones posteriores? Es decir, ¿cuáles son los pros / contras de
¿Cómo uso una incrustación de palabras para asignar un documento a un vector de características, adecuado para su uso con aprendizaje supervisado? Una incrustación de palabras asigna cada palabra www a un vector , donde es un número no demasiado grande (por ejemplo, 500). Las incrustaciones de...
Entiendo que los HMM (modelos ocultos de Markov) son modelos generativos, y CRF son modelos discriminativos. También entiendo cómo se diseñan y utilizan los CRF (campos aleatorios condicionales). Lo que no entiendo es en qué se diferencian de los HMM. Leí que en el caso de HMM, solo podemos modelar...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . Estoy usando caret para ejecutar un bosque...
Idéntico significado, que producirá resultados idénticos para una clasificación entre un vector de similitud u y un conjunto de vectores V . Tengo un modelo de espacio vectorial que tiene la medida de distancia (distancia euclidiana, similitud de coseno) y la técnica de normalización (ninguno, l1,...
Los modelos de temas populares como LDA generalmente agrupan palabras que tienden a coexistir juntas en el mismo tema (grupo). ¿Cuál es la principal diferencia entre tales modelos de temas y otros enfoques de agrupación basados en la coincidencia simple como PMI? (PMI significa información...
Me impresionaron los resultados en el documento ICML 2014 " Representaciones distribuidas de oraciones y documentos " de Le y Mikolov. La técnica que describen, llamada "vectores de párrafo", aprende representaciones sin supervisión de párrafos / documentos arbitrariamente largos, basados en una...
Me pregunto por qué skip-gram es mejor para palabras poco frecuentes que CBOW en word2vec. He leído el reclamo en https://code.google.com/p/word2vec/
Tal como está actualmente, esta pregunta no es adecuada para nuestro formato de preguntas y respuestas. Esperamos que las respuestas sean respaldadas por hechos, referencias o experiencia, pero esta pregunta probablemente solicitará debate, argumentos, encuestas o discusión
Por lo que he visto, la fórmula de suavizado de Kneser-Ney (segundo orden) se da de una forma u otra como P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{...
Inspirado por esta pregunta , me pregunto si se ha realizado algún trabajo sobre modelos de temas para grandes colecciones de textos extremadamente cortos. Mi intuición es que Twitter debería ser una inspiración natural para tales modelos. Sin embargo, a partir de una experimentación limitada,...
Al hacer el procesamiento del lenguaje natural, uno puede tomar un corpus y evaluar la probabilidad de que la siguiente palabra ocurra en una secuencia de n. n generalmente se elige como 2 o 3 (bigrams y trigrams). ¿Existe un punto conocido en el que el seguimiento de los datos para la enésima...
No estoy seguro si este es el sitio de pila correcto, pero aquí va. ¿Cómo funciona el método .similiarity? Wow SpaCy es genial! ¡Su modelo tfidf podría ser más fácil, pero w2v con solo una línea de código ?! En su tutorial de 10 líneas sobre spaCy andrazhribernik nos muestra el método de...
Descripción: Deje que el dominio del problema sea la clasificación de documentos donde existe un conjunto de vectores de características, cada uno de los cuales pertenece a 1 o más clases. Por ejemplo, un documento doc_1puede pertenecer a Sportsy Englishcategorías. Pregunta: Usando la red...
En dos bibliotecas de identificación de idiomas populares, Compact Language Detector 2 para C ++ y el detector de idiomas para java, ambos utilizaron n-gramos (basados en caracteres) para extraer características de texto. ¿Por qué no se usa una bolsa de palabras (una sola palabra / diccionario),...
Digamos que uso un RNN / LSTM para hacer análisis de sentimientos, que es un enfoque de muchos a uno (vea este blog ). La red se entrena a través de una retropropagación truncada a través del tiempo (BPTT), donde la red se desenrolla durante solo 30 últimos pasos, como de costumbre. En mi caso,...
Me pregunto por qué el softmax jerárquico es mejor para las palabras poco frecuentes, mientras que el muestreo negativo es mejor para las palabras frecuentes, en los modelos CBOW y skip-gram de word2vec. He leído el reclamo en https://code.google.com/p/word2vec/