Tengo problemas para entender esta oración: La primera arquitectura propuesta es similar a la NNLM de avance, donde se elimina la capa oculta no lineal y la capa de proyección se comparte para todas las palabras (no solo la matriz de proyección); así, todas las palabras se proyectan en la misma...
Encontré un tutorial muy útil sobre el algoritmo EM . El ejemplo y la imagen del tutorial es simplemente brillante. Pregunta relacionada sobre el cálculo de probabilidades ¿cómo funciona la maximización de expectativas? Tengo otra pregunta sobre cómo conectar la teoría descrita en el tutorial...
Para una tarea de procesamiento de lenguaje natural (PNL), a menudo se usan vectores word2vec como incrustación de las palabras. Sin embargo, puede haber muchas palabras desconocidas que no son capturadas por los vectores word2vec simplemente porque estas palabras no se ven con la suficiente...
Tengo problemas para comprender el modelo de omisión de gramo del algoritmo Word2Vec. En una bolsa de palabras continua es fácil ver cómo las palabras de contexto pueden "encajar" en la Red Neural, ya que básicamente las promedia después de multiplicar cada una de las representaciones de...
Estoy tratando de incrustar aproximadamente 60 millones de frases en un espacio vectorial , luego calcular la similitud de coseno entre ellas. He estado usando sklearn's CountVectorizercon una función de tokenizador personalizada que produce unigramas y bigrams. Resulta que para obtener...
Una forma de generar incrustaciones de palabras es la siguiente ( espejo ): Obtenga un corpus, por ejemplo, "Me gusta volar. Me gusta la PNL. Me gusta el aprendizaje profundo". Construya la matriz de concordancia de palabras a partir de ella: Realice SVD en y mantenga las primeras columnas...
Tratando de entender la relación entre la entropía cruzada y la perplejidad. En general, para un modelo M , Perplejidad (M) = 2 ^ entropía (M) . ¿Esta relación es válida para todos los n-gramos diferentes, es decir, unigram, bigram,
Estoy tratando de agrupar, por ejemplo, cadenas sobre programación con otras cadenas sobre programación, cadenas sobre física con otras cadenas sobre física, etc., para una amplia gama de temas. A pesar del aspecto lingüístico teórico deslumbrante del problema, estoy tratando de hacer esto...
Un enfoque tradicional de construcción de características para la minería de texto es el enfoque de bolsa de palabras, y puede mejorarse usando tf-idf para configurar el vector de características que caracteriza un documento de texto dado. En la actualidad, estoy tratando de usar el modelo de...
¿Cómo puedo cuantificar la cantidad de dispersión en un vector de recuento de palabras? Estoy buscando una estadística que sea alta para el documento A, porque contiene muchas palabras diferentes que ocurren con poca frecuencia, y baja para el documento B, porque contiene una palabra (o algunas...
Estaba leyendo: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Pero parece que no puedo entender exactamente por qué la fórmula se construyó de la manera en que está. Lo que sí entiendo: iDF debería medir en algún nivel la frecuencia con la que aparece un término S en cada uno de los...
Según la documentación de la removeSparseTermsfunción del tmpaquete, esto es lo que implica la escasez: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix...
No estoy seguro de si esta pregunta es totalmente apropiada aquí, de lo contrario, elimínela. Soy un estudiante graduado en economía. Para un proyecto que investiga problemas en seguros sociales, tengo acceso a una gran cantidad de informes de casos administrativos (> 200k) que se ocupan de...
En los modelos CBOW y skip-gram de word2vec, ¿cómo funciona elegir vectores de palabras de WWW(matriz de palabras de entrada) frente a elegir vectores de palabras de (matriz de palabras de salida) ¿afecta la calidad de los vectores de palabras
Estoy leyendo este artículo: el traductor de Skype donde usan CD-DNN-HMM (Redes neuronales profundas dependientes del contexto con modelos ocultos de Markov). Puedo entender la idea del proyecto y la arquitectura que han diseñado, pero no entiendo cuáles son los senones . He estado buscando una...
Mi libro de texto enumera el idf como dondel o g( 1 + Nnortet)log(1+Nnt)log(1+\frac{N}{n_t}) norteNN : número de documentos nortetntn_t : número de documentos que contienen el términottt Wikipedia enumera esta fórmula como una versión suavizada del real . Eso lo entiendo: varía de a que parece...
Mi pregunta es generalmente sobre la descomposición del valor singular (SVD), y particularmente sobre la indexación semántica latente (LSI). Digamos que tengo que contiene frecuencias de 5 palabras para 7 documentos.UNAw o r d× do c u m e n tAword×document A_{word \times document} A =...
Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con...
Inicialmente pregunté esto en el desbordamiento de la pila y me remitieron a este sitio, así que aquí va: Estoy implementando algunos métodos no supervisados de resumen de documentos basados en selección / extracción de contenido y estoy confundido acerca de lo que mi libro de texto llama la...
Quiero entrenar una red neuronal con una secuencia de caracteres como un vector de entrada. Los ejemplos de aprendizaje tienen una longitud diferente y por esta razón no sé cómo representarlos. Digamos que tengo dos ejemplos de secuencias, aquí los nombres: john doe maurice delanoe El primer...