Cuando se usa el modelado de temas (Asignación de Dirichlet latente), el número de temas es un parámetro de entrada que el usuario debe especificar. ¿Me parece que también deberíamos proporcionar una colección de conjunto de temas candidatos que el proceso de Dirichlet tiene que probar? ¿Es...
Estoy intentando realizar la agrupación a nivel de documento. Construí la matriz de frecuencia de término-documento y estoy tratando de agrupar estos vectores de alta dimensión usando k-means. En lugar de agrupar directamente, lo que hice fue aplicar primero la descomposición vectorial singular de...
He construido algunas redes neuronales (MLP (completamente conectadas), Elman (recurrente)) para diferentes tareas, como jugar Pong, clasificar dígitos escritos a mano y otras cosas ... Además, intenté construir algunas primeras redes neuronales convolucionales, por ejemplo, para clasificar notas...
Estoy trabajando en un problema de agrupación de texto. Los datos contienen varias oraciones. ¿Existe un buen algoritmo que alcanza una alta precisión en textos cortos? ¿Puedes proporcionar buenas referencias? Algoritmos como KMeans, el agrupamiento espectral no funciona bien para este problema....
Estos términos se mezclan mucho, pero me gustaría saber cuáles cree que son las diferencias, si las hay.
Inspirado por esta pregunta , me pregunto si se ha realizado algún trabajo sobre modelos de temas para grandes colecciones de textos extremadamente cortos. Mi intuición es que Twitter debería ser una inspiración natural para tales modelos. Sin embargo, a partir de una experimentación limitada,...
Tengo que lidiar con un problema de clasificación de texto. Un rastreador web rastrea páginas web de un determinado dominio y para cada página web quiero saber si pertenece o no a una clase específica. Es decir, si llamo a esta clase Positiva , cada página web rastreada pertenece a la clase...
Pasé tres días incursionando tmdespués de leer un borrador de un amigo donde exploró un corpus de texto con UCINET, mostrando nubes de texto, gráficos de red de dos modos y descomposición de valor único (con gráficos, usando Stata). Me encontré con una gran cantidad de problemas: en Mac OS X, hay...
Al hacer el procesamiento del lenguaje natural, uno puede tomar un corpus y evaluar la probabilidad de que la siguiente palabra ocurra en una secuencia de n. n generalmente se elige como 2 o 3 (bigrams y trigrams). ¿Existe un punto conocido en el que el seguimiento de los datos para la enésima...
¿Cuál es / son la / s diferencia / s entre estos modelos de representación de texto: bolsa de palabras y modelo de espacio
Tengo una matriz de términos de documentos , y ahora me gustaría extraer palabras clave para cada documento con un método de aprendizaje supervisado (SVM, Naive Bayes, ...). En este modelo, ya uso Tf-idf, etiqueta Pos, ...METROMETROM Pero ahora me pregunto sobre nexts. Tengo una matriz con las...
En dos bibliotecas de identificación de idiomas populares, Compact Language Detector 2 para C ++ y el detector de idiomas para java, ambos utilizaron n-gramos (basados en caracteres) para extraer características de texto. ¿Por qué no se usa una bolsa de palabras (una sola palabra / diccionario),...
¿Me puede recomendar un paquete de minería de texto en R que pueda usarse en grandes volúmenes de datos? En segundo lugar, ¿hay una GUI disponible para alguno de los paquetes de minería de texto en R? En tercer lugar, ¿hay otro programa de minería de texto de código abierto que sea fácil e...
Hola, ¿quería saber si hay algunos buenos libros sobre minería de texto y clasificación con algunos estudios de casos? Si no, algunos artículos / revistas accesibles al público lo harían. Si ilustran sus ejemplos con R aún mejor. No busco el manual paso a paso, sino algo que ilustre los pros y los...
Un enfoque tradicional de construcción de características para la minería de texto es el enfoque de bolsa de palabras, y puede mejorarse usando tf-idf para configurar el vector de características que caracteriza un documento de texto dado. En la actualidad, estoy tratando de usar el modelo de...
Según la documentación de la removeSparseTermsfunción del tmpaquete, esto es lo que implica la escasez: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix...
Estaba leyendo: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Pero parece que no puedo entender exactamente por qué la fórmula se construyó de la manera en que está. Lo que sí entiendo: iDF debería medir en algún nivel la frecuencia con la que aparece un término S en cada uno de los...
Mi conjunto de datos está compuesto por la mortalidad total o la supervivencia de un organismo en tres tipos de sitios, costero, medio canal y en alta mar. Los números en la tabla a continuación representan el número de sitios. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20...
No estoy seguro de si esta pregunta es totalmente apropiada aquí, de lo contrario, elimínela. Soy un estudiante graduado en economía. Para un proyecto que investiga problemas en seguros sociales, tengo acceso a una gran cantidad de informes de casos administrativos (> 200k) que se ocupan de...
Me acababan de asignar un proyecto para realizar análisis de sentimientos para algunas colecciones de documentos. Al buscar en Google, ha surgido una gran cantidad de investigaciones relacionadas con los sentimientos. Mis preguntas son: ¿Cuáles son los principales métodos / algoritmos para el...