Preguntas etiquetadas con lucene

¿Cómo se incorpora el aprendizaje automático en el diseño de motores de búsqueda?

Actualmente estoy construyendo un pequeño motor de búsqueda interno basado en Apache Lucene. Su propósito es simple: basado en algunas palabras clave, sugerirá algunos artículos escritos internamente dentro de nuestra empresa. Estoy usando una puntuación TF-IDF bastante estándar como métrica base y...

Buena técnica para la búsqueda de tokenización de texto.

Estamos buscando una manera de tokenizar un texto de la misma manera o similar a como lo haría un motor de búsqueda. La razón por la que estamos haciendo esto es para que podamos ejecutar un análisis estadístico de los tokens. El lenguaje que estamos usando es python, por lo que preferiría una...