Estoy convirtiendo un corpus de documentos de texto en vectores de palabras para cada documento. He intentado esto usando un TfidfVectorizer y un HashingVectorizer Entiendo que a HashingVectorizerno toma en cuenta los IDFpuntajes como lo TfidfVectorizerhace. La razón por la que todavía estoy...
¿Qué tipo de características tratará de extraer de la lista de palabras para predecir en el futuro, es una palabra existente o solo un desorden de caracteres? Hay una descripción de la tarea que encontré allí . Tienes que escribir un programa que pueda responder si una palabra determinada es...
Estoy tratando de usar CNN (red neuronal convolucional) para clasificar documentos. CNN para textos cortos / oraciones ha sido estudiado en muchos artículos. Sin embargo, parece que ningún documento ha utilizado CNN para textos o documentos largos. Mi problema es que hay demasiadas características...
He implementado el sistema NER con el uso del algoritmo CRF con mis características artesanales que dieron resultados bastante buenos. El caso es que utilicé muchas características diferentes, incluidas etiquetas POS y lemas. Ahora quiero hacer el mismo NER para un idioma diferente. El problema...
Soy totalmente nuevo en word2vec, así que por favor llévelo conmigo. Tengo un conjunto de archivos de texto que contienen cada uno un conjunto de tweets, entre 1000-3000. Elegí una palabra clave común ("kw1") y quiero encontrar términos semánticamente relevantes para "kw1" usando word2vec. Por...
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 5 años . Parece que la...
Tengo dos tensor a:[batch_size, dim] b:[batch_size, dim]. Quiero hacer un producto interno para cada par en el lote, generando c:[batch_size, 1], dónde c[i,0]=a[i,:].T*b[i,:].
Estoy trabajando en una aplicación para ayudar a las personas a aprender inglés como segundo idioma. He validado que las oraciones ayudan a aprender un idioma al proporcionar un contexto adicional. Lo hice realizando una pequeña investigación en un aula de 60 estudiantes. He extraído más de cien...
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 años . Estoy...
Estoy buscando diseñar un sistema que, dado un párrafo de texto, pueda clasificarlo e identificar el contexto: Está entrenado con párrafos de texto generados por el usuario (como comentarios / preguntas / respuestas) Se etiquetará cada elemento del conjunto de entrenamiento. Entonces, por...
Tener un corpus de más de un millón de documentos. Para un documento dado, desea encontrar documentos similares usando coseno como en el modelo de espacio vectorial re1⋅ d2/ ( | | d1El | El | El | El | re2El | El | )d1⋅d2/(||d1||||d2||)d_1 \cdot d_2 / ( ||d_1|| ||d_2|| ) Todos los tf se han...
Me gustaría comparar la diferencia entre la misma palabra mencionada en diferentes fuentes. Es decir, cómo los autores difieren en el uso de palabras mal definidas, como "democracia". Un breve plan fue Tome los libros que mencionan el término "democracia" como texto sin formato En cada libro,...
Tengo un corpus de texto con los temas correspondientes. Por ejemplo, "A rapper Tupac was shot in LA"y fue etiquetado como ["celebrity", "murder"]. Entonces, básicamente, cada vector de entidades puede tener muchas etiquetas (no la misma cantidad. El primer vector de entidades puede tener 3...
Estoy tratando de construir un conjunto de datos en varios archivos de registro de uno de nuestros productos. Los diferentes archivos de registro tienen su propio diseño y contenido; Los agrupé con éxito, solo quedaba un paso ... De hecho, los "mensajes" de registro son la mejor información. No...
Estoy tratando de generar un modelo inteligente que pueda escanear un conjunto de palabras o cadenas y clasificarlas como nombres, números móviles, direcciones, ciudades, estados, países y otras entidades utilizando el aprendizaje automático o el aprendizaje profundo. Había buscado enfoques, pero...
¿Qué conjuntos de datos disponibles libremente puedo usar para entrenar un clasificador de texto? Estamos tratando de mejorar la participación de nuestros usuarios recomendando el contenido más relacionado para él, por lo que pensamos que si clasificamos nuestro contenido en función de una bolsa...
Estoy trabajando en un proyecto en R donde tengo aproximadamente 1200 correos electrónicos de una empresa, la mayoría de los cuales están etiquetados como clase o clase , que son los tipos de solicitudes. Aproximadamente 1000 correos electrónicos están etiquetados como clase , y 200 están...
Quiero aprender cómo se hace un detector de correo electrónico no deseado. No estoy tratando de construir un producto comercial, será un ejercicio de aprendizaje serio para mí. Por lo tanto, estoy buscando recursos, como proyectos existentes, código fuente, artículos, documentos, etc. que pueda...
Tengo 40000 filas de datos de texto del dominio de atención médica. Los datos tienen una columna para el texto (2-5 oraciones) y una columna para su categoría. Quiero clasificar eso en 300 categorías. Algunas categorías son independientes, mientras que otras están algo relacionadas. La distribución...
Estoy trabajando en un problema de clasificación de texto usando Random Forest como clasificadores, y un enfoque de bolsa de palabras. Estoy usando la implementación básica de Random Forests (el presente en scikit), que crea una condición binaria en una sola variable en cada división. Dado esto,...