Clasificación de documentos: tf-idf antes o después del filtrado de características?

Tengo un proyecto de clasificación de documentos donde obtengo contenido del sitio y luego asigno una de las numerosas etiquetas al sitio web de acuerdo con el contenido.

Descubrí que tf-idf podría ser muy útil para esto. Sin embargo, no estaba seguro de cuándo exactamente usarlo.

Asumiendo que un sitio web que se ocupa de un tema específico hace mención repetida de él, este fue mi proceso actual:

1. Recupere el contenido del sitio, analice el texto sin formato
2. Normalizar y detener el contenido
3. Tokenizar en unigramas (tal vez bigrams también)
4. Recupere un recuento de cada unigrama para el documento dado, filtrando palabras de baja longitud y baja ocurrencia
5. Entrene a un clasificador como NaiveBayes en el conjunto resultante

Mi pregunta es la siguiente: ¿Dónde encajaría tf-idf aquí ? ¿Antes de normalizar / detener? ¿Después de normalizar pero antes de tokenizar? ¿Después de tokenizar?

Cualquier idea sería muy apreciada.

Editar:

Tras una inspección más cercana, creo que me he encontrado con un malentendido sobre cómo opera TF-IDF. En el paso 4 anterior que describo, ¿tendría que ingresar la totalidad de mis datos en TF-IDF de una vez? Si, por ejemplo, mis datos son los siguientes:

[({tokenized_content_site1}, category_string_site1), 
 ({tokenized_content_site2}, category_string_site2), 
...
 ({tokenized_content_siten}, category_string_siten)}]

Aquí, la estructura más externa es una lista, que contiene tuplas, que contiene un diccionario (o hashmap) y una cadena.

¿Tendría que introducir la totalidad de esos datos en la calculadora TF-IDF de una vez para lograr el efecto deseado? Específicamente, he estado mirando el scikit-learn TfidfVectorizer para hacer esto, pero no estoy seguro de su uso, ya que los ejemplos son bastante escasos.

Como lo ha descrito, el Paso 4 es donde desea usar TF-IDF. Esencialmente, TD-IDF contará cada término en cada documento y asignará un puntaje dada la frecuencia relativa en la colección de documentos.

Sin embargo, falta un gran paso en su proceso: anotar un conjunto de entrenamiento. Antes de entrenar a su clasificador, deberá anotar manualmente una muestra de sus datos con las etiquetas que desea poder aplicar automáticamente usando el clasificador.

Para facilitar todo esto, es posible que desee considerar usar el Clasificador de Stanford . Realizará la extracción de características y construirá el modelo clasificador (compatible con varios algoritmos de aprendizaje automático diferentes), pero aún tendrá que anotar los datos de entrenamiento a mano.