Métricas de rendimiento para evaluar el aprendizaje no supervisado

Con respecto al aprendizaje no supervisado (como la agrupación), ¿hay alguna métrica para evaluar el rendimiento?

En cierto sentido, creo que esta pregunta no tiene respuesta. Digo esto porque, en primer lugar, qué tan bien se desempeña un método no supervisado en particular dependerá de por qué uno está haciendo un aprendizaje no supervisado, es decir, ¿funciona bien el método en el contexto de su objetivo final? Obviamente, esto no es completamente cierto, la gente trabaja en estos problemas y publica resultados que incluyen algún tipo de evaluación. Esbozaré algunos de los enfoques con los que estoy familiarizado a continuación.

Un buen recurso (con referencias) para la agrupación es la página de documentación de sklearn, Evaluación de rendimiento de agrupación . Esto cubre varios métodos, pero todos menos uno, el Coeficiente de silueta, supone que las etiquetas de verdad básica están disponibles. Este método también se menciona en la pregunta Medida de evaluación de la agrupación , vinculada en los comentarios de esta pregunta.

Si su método de aprendizaje no supervisado es probabilístico, otra opción es evaluar alguna medida de probabilidad (probabilidad de registro, perplejidad, etc.) en los datos retenidos. La motivación aquí es que si su método de aprendizaje no supervisado asigna alta probabilidad a datos similares que no se utilizaron para ajustar parámetros, entonces probablemente haya hecho un buen trabajo al capturar la distribución de intereses. Un dominio donde este tipo de evaluación se usa comúnmente es el modelado de lenguaje.

La última opción que mencionaré es usar un alumno supervisado en una tarea auxiliar relacionada. Si su método sin supervisión produce variables latentes, puede pensar en estas variables latentes como una representación de la entrada. Por lo tanto, es sensato usar estas variables latentes como entrada para un clasificador supervisado que realiza alguna tarea relacionada con el dominio del que provienen los datos. El desempeño del método supervisado puede servir como un sustituto del desempeño del alumno sin supervisión. Esta es esencialmente la configuración que se ve en la mayoría de los trabajos sobre aprendizaje de representación.

Esta descripción es probablemente un poco nebulosa, así que daré un ejemplo concreto. Casi todo el trabajo sobre el aprendizaje de la representación de palabras utiliza el siguiente enfoque para la evaluación:

1. Aprenda representaciones de palabras con un alumno sin supervisión.
2. Utilice las representaciones aprendidas como entrada para un alumno supervisado que realiza alguna tarea de PNL, como partes del etiquetado del habla o reconocimiento de entidad con nombre.
3. Evalúe el rendimiento del alumno no supervisado por su capacidad para mejorar el rendimiento del alumno supervisado en comparación con una línea de base utilizando una representación estándar, como características de presencia de palabras binarias, como entrada.

Para ver un ejemplo de este enfoque en acción, consulte el documento Capacitación de máquinas de Boltzmann restringidas sobre observaciones de palabras de Dahl et al.