Índice Rand Ajustado vs Información Mutua Ajustada

9

Estoy tratando de evaluar el rendimiento de la agrupación. Estaba leyendo la documentación de skiscit-learn sobre métricas . No entiendo la diferencia entre ARI y AMI. Me parece que hacen lo mismo de dos maneras diferentes.

Citando de la documentación:

Dado el conocimiento de las asignaciones de clase de verdad fundamental, etiquetas_verdaderas y nuestras asignaciones de algoritmos de agrupamiento de las mismas muestras etiquetas_pred, el índice Rand ajustado es una función que mide la similitud de las dos asignaciones, ignorando las permutaciones y con la normalización por azar.

vs

Dado el conocimiento de las asignaciones de clase de verdad fundamental, etiquetas_verdaderas y nuestras asignaciones de algoritmos de agrupamiento de las mismas muestras etiquetas_pred, la información mutua es una función que mide el acuerdo de las dos asignaciones, ignorando las permutaciones ... AMI se propuso más recientemente y se normaliza contra oportunidad.

¿Debo usar ambos en mi evaluación de agrupamiento o sería redundante?

al27091
fuente
El Sr. Rand no es al azar.
HA SALIDO - Anony-Mousse

Respuestas:

2

Son dos de una docena que intentan comparar agrupaciones.

Pero no son equivalentes. Usan teorías diferentes.

A veces, ARI puede preferir un resultado y el IAM otro. Pero a menudo están de acuerdo en preferencia (no en los números).

HA SALIDO - Anony-Mousse
fuente
¿Qué quiere decir con: "están de acuerdo en la preferencia (no en los números)?"
al27091
Cuando comparas múltiples resultados.
HA SALIDO - Anony-Mousse
9

La regla de oro es:

  • Use ARI cuando la agrupación de la verdad del terreno tenga grandes grupos de igual tamaño
  • AMI de EE. UU. Cuando la agrupación de la verdad fundamental está desequilibrada y existen pequeños grupos

Trabajé en este tema. Referencia: Ajuste de las medidas de comparación de agrupamiento aleatorio

Simone
fuente
Apliqué HDBSCAN y KMeans en algunos de mis conjuntos de datos con el número correcto de clústeres para KMeans y el tamaño de clúster mínimo correcto para HDBSCAN. Mi problema es que una progresión en IAM no se correlaciona con una progresión en IRA. Obtengo una media de 0.3 y 0.35 en AMI, que es baja. Obtengo resultados ARI cercanos a 0: 0.07 y 0.01 promedio respectivamente. Incluso en los casos en que obtuve un mejor IAM con HDBSCAN, mis puntajes de ARI fueron muy cercanos a 0, es decir, HDBSCAN produce un IRA más bajo que KMeans, incluso en los casos en que el IAM es más alto.
ryuzakinho
¿Qué tipo de resultados de agrupamiento significan 0.3 y 0.35 para el IAM correspondiente?
Simone
1
pastebin.com/raw/WHvTxbLm Este es uno de los casos que no entiendo: Mejor AMI no significa mejor ARI y viceversa. ¿Hay alguna razón por la que confiaría en la mejora relativa de uno u otro? No estoy seguro de qué métrica mirar para mejorar mis resultados (del documento que vinculó, creo que debería ser AMI dada la distribución de mi clase, pero todavía estoy confundido).
ryuzakinho
1
En su caso, el resultado de HDBSCAN muestra un clúster muy grande y muchos pequeños, que es, por definición, una solución desequilibrada. Por lo tanto, AMI es más grande con DBSCAN. Su verdad fundamental es más equilibrada que esa solución. Por lo tanto, usaría ARI para elegir la solución aquí. Dicho esto, parece que las soluciones de agrupamiento que obtuvo no son tan buenas. Quizás es porque tienes muchos grupos. ¿Podría reducir la cantidad de clústeres que desea? ¿O tiene características para tener en cuenta en lugar de utilizar un clúster basado únicamente en la distancia?
Simone
1
Después de más pruebas cualitativas, resulta que AMI fue más confiable para mi caso de uso. De hecho, AMI dijo que HDBSCAN era mejor, y de hecho lo encontré mejor. Aunque tenía un gran grupo de ruido, los otros grupos eran más puros que los grupos KMEANS.
ryuzakinho