Cómo crear una buena lista de palabras vacías

Estoy buscando algunos consejos sobre cómo curar una lista de palabras vacías. ¿Alguien sabe / alguien puede recomendar un buen método para extraer listas de palabras clave del conjunto de datos para el preprocesamiento y el filtrado?

Los datos:

una gran cantidad de entrada de texto humano de longitud variable (términos de búsqueda y oraciones completas (hasta 200 caracteres)) durante varios años. El texto contiene una gran cantidad de spam (como la entrada de máquinas de bots, palabras sueltas, búsquedas estúpidas, búsquedas de productos ...) y solo un pequeño porcentaje parece ser útil. Me di cuenta de que a veces (solo muy raramente) las personas buscan mi lado haciendo preguntas realmente geniales. Estas preguntas son tan geniales, que creo que vale la pena echarles un vistazo más profundo para ver cómo las personas buscan a lo largo del tiempo y qué temas han estado interesados ​​en usar mi sitio web.

Mi problema:

es que realmente estoy luchando con el preprocesamiento (es decir, descartar el spam). Ya probé una lista de palabras vacías de la web (NLTK, etc.), pero estas realmente no ayudan a mis necesidades con respecto a este conjunto de datos.

¡Gracias por sus ideas y discusión amigos!

Un enfoque sería utilizar la puntuación tf-idf . Las palabras que aparecen en la mayoría de las consultas serán de poca ayuda para diferenciar las buenas consultas de búsqueda de las malas. Pero los que ocurren con mucha frecuencia (frecuencia tf alta o frecuencia de término) en solo unas pocas consultas (idf alta o frecuencia de documento inversa) probablemente sean más importantes para distinguir las consultas buenas de las malas.

Depende de su aplicación.

Cuando esté modelando temas, intente primero las palabras de parada predeterminadas. Cuando hay algunas palabras que aparecen de manera prominente en muchos temas (tenga en cuenta mi formulación bastante vaga), son buenas candidatas para palabras clave adicionales.

Por ejemplo, en un corpus con textos que contienen figuras y material tabular, las palabras "fig", "figure", "tab" o "table" son buenas palabras adicionales. En el resultado, sus temas se vuelven más bien definidos.

El uso de TFIDF (término frecuencia de documento inversa de resolución) resolverá su propósito. Obtenga el puntaje TFIDF para cada palabra en su documento y ordene las palabras por sus puntajes mediante los cuales puede seleccionar las palabras importantes en sus datos.

Un enfoque que he usado para construir una lista de palabras vacías es construir y entrenar un modelo de regresión logística (debido a su capacidad de interpretación) en sus datos de texto. Tome el valor absoluto de los coeficientes para cada ficha. Luego, ordena descendiendo el valor absoluto de los coeficientes de los tokens. Luego, cree una lista de todos los tokens con un valor absoluto de alto coeficiente que podría conducir a un sobreajuste o que podría cumplir con otros criterios para ser una palabra clave. Esa lista es tu lista de palabras vacías. Luego puede aplicar esa lista de palabras vacías a otro conjunto de documentos de este tipo (como un conjunto de prueba), para ver si eliminarlos aumenta la precisión, precisión o recuperación del modelo del conjunto de prueba.

Esta estrategia es efectiva porque tiene en cuenta el impacto de los tokens al crear una lista de palabras vacías.

Las palabras vacías pueden ser parte de la solución en algún momento, pero no la clave. En cualquier caso, para cualquier idioma importante existen buenas listas de palabras de detención, no debe ser específico del dominio.

Tampoco creo que usar TD-IDF solo sea realmente correcto. Puede haber palabras muy raras (potencialmente basura) en cadenas de baja calidad.

En lugar de tratar de adivinar qué características exactas son útiles: comenzaría creando un conjunto de datos seleccionando al azar algunos de los datos y etiquetándolos a mano (como goodobad , o en una escala de 0.0 a 1.0). Luego codifique algo que extraiga muchas características (longitud, número de palabras (tokens), puntaje de spam, si contiene URL o caracteres de botish, idioma detectado, si tiene un signo de interrogación, si tiene las mayúsculas adecuadas). Además, no olvide incluir las características no lingüísticas que pueda tener, como el país del geoIP del usuario que realizó la consulta, si el usuario inició sesión, la antigüedad de la cuenta del usuario. Entonces, en este punto, tendrá una tabla / CSV masiva y una más pequeña con una columna adicional para la etiqueta que ha agregado.

Luego, entrene un paquete de aprendizaje automático con esos ejemplos etiquetados para construir un modelo que sea lo suficientemente preciso para usted. Luego, deje que ese modelo se ejecute en el resto de los datos.

Si no desea codificar demasiado, incluso puede obtener esas características en formato CSV y entregarlas a la interfaz de hoja de cálculo de la API de predicción de Google .