Preguntas etiquetadas con text-mining

Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...

Necesita comprender el funcionamiento de la capa 'Incrustación' en la biblioteca Keras. Ejecuto el siguiente código en Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array =...

No estoy seguro de cómo debería llamarse esto, así que corríjame si conoce un término mejor. Tengo dos listas. Uno de los 55 elementos (por ejemplo, un vector de cadenas), el otro de 92. Los nombres de los elementos son similares pero no idénticos. Deseo encontrar los mejores candidatos s en la...

Soy un programador sin antecedentes estadísticos, y actualmente estoy buscando diferentes métodos de clasificación para una gran cantidad de documentos diferentes que quiero clasificar en categorías predefinidas. He estado leyendo sobre kNN, SVM y NN. Sin embargo, tengo algunos problemas para...

Tengo muchas cadenas de direcciones: 1600 Pennsylvania Ave, Washington, DC 20500 USA Quiero analizarlos en sus componentes: street: 1600 Pennsylvania Ave city: Washington province: DC postcode: 20500 country: USA Pero, por supuesto, los datos están sucios: provienen de muchos países en muchos...

Estoy tratando de ponerme al día con R. Finalmente, quiero usar las bibliotecas R para hacer la clasificación de texto. Me preguntaba cuáles son las experiencias de las personas con respecto a la escalabilidad de R cuando se trata de hacer una clasificación de texto. Es probable que me encuentre...

He tratado con el clasificador Naive Bayes antes. He estado leyendo sobre Multinomial Naive Bayes últimamente. También probabilidad posterior = (probabilidad anterior *) / (evidencia) . La única diferencia principal (al programar estos clasificadores) que encontré entre Naive Bayes y Multinomial...

Me parece que solo dos paquetes R pueden realizar la asignación de Dirichlet latente : Uno es lda, escrito por Jonathan Chang; y el otro es topicmodelsescrito por Bettina Grün y Kurt Hornik. ¿Cuáles son las diferencias entre estos dos paquetes, en términos de rendimiento, detalles de...

Estaba leyendo sobre la clasificación Naive Bayes hoy. Leí, bajo el encabezado de Estimación de parámetros con agregar 1 suavizado : Deje que refiera a una clase (como Positivo o Negativo), y deje que refiera a una ficha o palabra.cccwww El estimador de máxima verosimilitud para...

En la clasificación de texto, tengo un conjunto de entrenamiento con aproximadamente 800 muestras y un conjunto de prueba con aproximadamente 150 muestras. El conjunto de prueba nunca se ha usado, y está esperando ser usado hasta el final. Estoy usando todo el conjunto de entrenamiento de 800...

Los modelos de temas populares como LDA generalmente agrupan palabras que tienden a coexistir juntas en el mismo tema (grupo). ¿Cuál es la principal diferencia entre tales modelos de temas y otros enfoques de agrupación basados ​​en la coincidencia simple como PMI? (PMI significa información...

Un enfoque común para la clasificación de texto es entrenar a un clasificador a partir de una "bolsa de palabras". El usuario toma el texto para clasificarlo y cuenta las frecuencias de las palabras en cada objeto, seguido de algún tipo de recorte para mantener la matriz resultante de un tamaño...

Me impresionaron los resultados en el documento ICML 2014 " Representaciones distribuidas de oraciones y documentos " de Le y Mikolov. La técnica que describen, llamada "vectores de párrafo", aprende representaciones sin supervisión de párrafos / documentos arbitrariamente largos, basados ​​en una...

Edición final con todos los recursos actualizados: Para un proyecto, estoy aplicando algoritmos de aprendizaje automático para la clasificación. Reto: datos etiquetados bastante limitados y muchos más datos sin etiquetar. Metas: Aplicar clasificación semi-supervisada Aplicar un proceso de...

Estoy buscando hacer una clasificación en mis datos de texto. Tengo 300 classes200 documentos de capacitación por clase (más o menos 60000 documents in total) y es probable que esto genere datos dimensionales muy altos (es posible que estemos buscando más de 1 millón de dimensiones ). Me gustaría...

Durante un experimento para la clasificación de texto, encontré que el clasificador de cresta genera resultados que constantemente superan las pruebas entre los clasificadores que se mencionan y aplican con mayor frecuencia para las tareas de minería de texto, como SVM, NB, kNN, etc. Sin embargo,...

Estoy confundido acerca de cómo calcular la perplejidad de una muestra reservada cuando se realiza la Asignación de Dirichlet Latente (LDA). Los documentos sobre el tema brillan sobre él, haciéndome pensar que me falta algo obvio ... La perplejidad se ve como una buena medida de rendimiento para...

Tal como está actualmente, esta pregunta no es adecuada para nuestro formato de preguntas y respuestas. Esperamos que las respuestas sean respaldadas por hechos, referencias o experiencia, pero esta pregunta probablemente solicitará debate, argumentos, encuestas o discusión

Cuando se usa el modelado de temas (Asignación de Dirichlet latente), el número de temas es un parámetro de entrada que el usuario debe especificar. ¿Me parece que también deberíamos proporcionar una colección de conjunto de temas candidatos que el proceso de Dirichlet tiene que probar? ¿Es...

Tengo este proyecto paralelo en el que rastreo los sitios web de noticias locales en mi país y quiero crear un índice de criminalidad e índice de inestabilidad política. Ya he cubierto la parte de recuperación de información del proyecto. Mi plan es hacer: Extracción de temas sin...