Métricas de rendimiento para evaluar el aprendizaje no supervisado

49

Con respecto al aprendizaje no supervisado (como la agrupación), ¿hay alguna métrica para evaluar el rendimiento?

usuario3125
fuente
posible duplicado de la medida
steffen
44
Creo que esta pregunta es más general que esa, así que estoy votando para dejarla abierta.
Peter Flom - Restablece a Monica
He tenido la misma pregunta que usted, y tengo algunas referencias (aún no leídas por completo) que son relevantes: una encuesta sobre la medición de la validez interna para la validación del grupo L.Jegatha Deborah, R. Baskaran, A. Kannan y técnicas de medición de la validez del grupo Ferenc Kovács, Csaba Legány, Attila Babos
kasterma

Respuestas:

44

En cierto sentido, creo que esta pregunta no tiene respuesta. Digo esto porque, en primer lugar, qué tan bien se desempeña un método no supervisado en particular dependerá de por qué uno está haciendo un aprendizaje no supervisado, es decir, ¿funciona bien el método en el contexto de su objetivo final? Obviamente, esto no es completamente cierto, la gente trabaja en estos problemas y publica resultados que incluyen algún tipo de evaluación. Esbozaré algunos de los enfoques con los que estoy familiarizado a continuación.

Un buen recurso (con referencias) para la agrupación es la página de documentación de sklearn, Evaluación de rendimiento de agrupación . Esto cubre varios métodos, pero todos menos uno, el Coeficiente de silueta, supone que las etiquetas de verdad básica están disponibles. Este método también se menciona en la pregunta Medida de evaluación de la agrupación , vinculada en los comentarios de esta pregunta.

Si su método de aprendizaje no supervisado es probabilístico, otra opción es evaluar alguna medida de probabilidad (probabilidad de registro, perplejidad, etc.) en los datos retenidos. La motivación aquí es que si su método de aprendizaje no supervisado asigna alta probabilidad a datos similares que no se utilizaron para ajustar parámetros, entonces probablemente haya hecho un buen trabajo al capturar la distribución de intereses. Un dominio donde este tipo de evaluación se usa comúnmente es el modelado de lenguaje.

La última opción que mencionaré es usar un alumno supervisado en una tarea auxiliar relacionada. Si su método sin supervisión produce variables latentes, puede pensar en estas variables latentes como una representación de la entrada. Por lo tanto, es sensato usar estas variables latentes como entrada para un clasificador supervisado que realiza alguna tarea relacionada con el dominio del que provienen los datos. El desempeño del método supervisado puede servir como un sustituto del desempeño del alumno sin supervisión. Esta es esencialmente la configuración que se ve en la mayoría de los trabajos sobre aprendizaje de representación.

Esta descripción es probablemente un poco nebulosa, así que daré un ejemplo concreto. Casi todo el trabajo sobre el aprendizaje de la representación de palabras utiliza el siguiente enfoque para la evaluación:

  1. Aprenda representaciones de palabras con un alumno sin supervisión.
  2. Utilice las representaciones aprendidas como entrada para un alumno supervisado que realiza alguna tarea de PNL, como partes del etiquetado del habla o reconocimiento de entidad con nombre.
  3. Evalúe el rendimiento del alumno no supervisado por su capacidad para mejorar el rendimiento del alumno supervisado en comparación con una línea de base utilizando una representación estándar, como características de presencia de palabras binarias, como entrada.

Para ver un ejemplo de este enfoque en acción, consulte el documento Capacitación de máquinas de Boltzmann restringidas sobre observaciones de palabras de Dahl et al.

alto
fuente
11
+1 " qué tan bien se desempeña un método no supervisado en particular dependerá en gran medida de por qué uno está aprendiendo sin supervisión en primer lugar " más o menos lo resume. No busque un número mágico que de alguna manera pueda usar para justificar un resultado dado sin interpretar realmente el resultado .
Marc Claesen
1
También agregaría que el uso de un enfoque supervisado como proxy de lo bien que funciona un enfoque no supervisado no requiere el descubrimiento de nuevas características. Por ejemplo, la agrupación no aprende nuevas características, pero la agrupación a menudo se usa para mejorar la precisión de predicción de un alumno supervisado, con el beneficio adicional de explicar por qué esto puede ser así. Por ejemplo, la agrupación de k-medios puede producir k predicciones que se mejoran mediante la explotación de la estructura descubierta y la compresión de la agrupación. Ver ttic.uchicago.edu/~shubhendu/Papers/clustering_bagging.pdf
Cybernetic