¿Cuál es la intuición detrás de la métrica de variación de información (VI) para la validación de clúster?

11

Para los no estadísticos como yo, es muy difícil captar la idea de la VImétrica (variación de la información) incluso después de leer el documento relevante de Marina Melia " Comparación de agrupamientos: una distancia basada en la información " (Journal of Multivariate Analysis, 2007). De hecho, no estoy familiarizado con muchos de los términos de agrupación que existen.

A continuación se muestra un MWE y me gustaría saber qué significa la salida en las diferentes métricas utilizadas. Tengo estos dos grupos en R y en el mismo orden de identificación:

> dput(a)
structure(c(4L, 3L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 3L, 3L, 
4L, 4L, 4L, 4L, 4L, 3L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 4L, 4L, 4L, 
1L, 1L, 4L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 4L, 4L, 2L, 2L, 
4L, 3L, 3L, 2L, 2L, 2L, 4L, 3L, 4L, 4L, 3L, 1L, 4L, 3L, 4L, 4L, 
4L, 3L, 4L, 4L, 4L, 4L, 2L, 2L, 2L, 4L, 3L, 4L, 4L, 4L, 4L, 4L, 
4L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 4L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 
4L, 3L, 4L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 4L, 4L, 4L, 2L, 2L, 4L
), .Label = c("1", "2", "3", "4"), class = "factor")
> dput(b)
structure(c(4L, 3L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 3L, 3L, 
4L, 4L, 3L, 4L, 4L, 3L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 4L, 4L, 4L, 
1L, 1L, 4L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 4L, 4L, 2L, 2L, 
4L, 3L, 3L, 2L, 2L, 2L, 4L, 3L, 4L, 4L, 3L, 1L, 4L, 3L, 4L, 4L, 
3L, 3L, 4L, 4L, 4L, 4L, 2L, 2L, 2L, 4L, 3L, 3L, 4L, 4L, 4L, 4L, 
4L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 4L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 
4L, 3L, 4L, 4L, 4L, 4L, 4L, 3L, 3L, 4L, 4L, 4L, 4L, 2L, 2L, 4L
), .Label = c("1", "2", "3", "4"), class = "factor")

Ahora haciendo comparaciones basadas tanto en las VImétricas / índices como en otras y en orden cronológico de su aparición en la literatura.

library(igraph)
  # Normalized Mutual Information (NMI) measure 2005:
compare(a, b, method = c("nmi")) 
[1] 0.8673525
  # Variation of Information (VI) metric 2003:
compare(a, b, method = c("vi")) 
[1] 0.2451685
  # Jaccard Index 2002:
clusteval::cluster_similarity(a, b, similarity = c("jaccard"), method = "independence") 
[1] 0.8800522
  # van Dongen S metric 2000:
compare(a, b, method = c("split.join")) 
[1] 8
  # Adjusted Rand Index 1985:
compare(a, b, method = c("adjusted.rand")) 
[1] 0.8750403
  # Rand Index 1971:
compare(a, b, method = c("rand")) 
[1] 0.9374788

Como puede ver, el VIvalor era diferente de todos los demás.

  • ¿Qué dice este valor (y cómo se relaciona con la figura a continuación)?
  • ¿Cuáles son las pautas para considerar este valor bajo o alto?
  • ¿Hay alguna guía definida?

Tal vez los expertos en el campo puedan proporcionar algunas descripciones razonables para laicos como yo cuando intente informar dichos resultados. Realmente agradecería si alguien también proporcionara pautas para otras métricas (cuándo considerar que el valor es grande o pequeño, es decir, en relación con una similitud entre dos grupos).

He leído hilos de CV relacionados aquí y aquí , pero todavía no podía entender la intuición detrás VI. ¿Alguien puede explicar esto en inglés simple?

La figura a continuación es la figura 2 del documento mencionado anteriormente VI.

ingrese la descripción de la imagen aquí

doctorado
fuente
2
Todas estas similitudes y métricas (tenga en cuenta la diferencia entre los dos tipos) miden de una forma u otra la cantidad de fragmentación asociada con el mayor subgrupo común entre las dos particiones. Todos usan lo que se conoce como la matriz de confusión. Al considerar la fórmula precisa para VI, se puede entender que mide esa fragmentación. Sugeriría mirar la fórmula en una de las publicaciones de Meila, y también leer sobre las versiones normalizadas de todas estas distancias, ya que todas tienen escalas diferentes. Este puede ser el punto más importante.
micans
¡También estaba luchando con la interpretación del VI y encontré este artículo muy útil!
Pizza

Respuestas:

1

Debe darse cuenta de que las medidas pueden tener una interpretación diferente.

A juzgar por su trama, un VI bajo es bueno.

1 - 0.2451685 = 0.7548315

que está mucho más en línea con las otras medidas.

Sin embargo, tenga en cuenta que la mayoría de estas medidas miden algo diferente .

No hay ninguna razón para suponer que solo porque una medida sea 0.8, otra también debería ser 0.8

HA SALIDO - Anony-Mousse
fuente
Creo que el OP lo agradecería si pudiera explicar qué cosa diferente mide cada uno de ellos.
gung - Restablece a Monica
No los conozco lo suficientemente bien como para explicar cada uno de ellos. Está claro que no tienen una escala / unidad comparable. Al igual que los voltios y los pies no son comparables.
HA SALIDO - Anony-Mousse