¿Cuál es la principal diferencia entre la correlación y la información mutua?

Respuestas:

25

La correlación mide la relación lineal (correlación de Pearson) o la relación monotónica (correlación de Spearman) entre dos variables, X e Y.

La información mutua es más general y mide la reducción de la incertidumbre en Y después de observar X. Es la distancia KL entre la densidad conjunta y el producto de las densidades individuales. Entonces MI puede medir relaciones no monótonas y otras relaciones más complicadas.

Rob Hyndman
fuente
33
La correlación no es necesariamente lineal: el rho de Spearman se basa en la función monotónica y, sin embargo, nos referimos a ella como un "coeficiente de correlación", no como un "coeficiente de información mutua". Y por una buena razón: proporciona información sobre la asociación entre dos variables. Información mutua, información redundante, varianza mutua, correlación: estos términos son muy similares, y esta pregunta se refiere a la reconstrucción de la red , por lo que supongo que terminamos en el área equivocada con la terminología correcta. Esta es una pregunta bastante específica ...
aL3xa
1
Buen punto. He editado mi respuesta para incluir relaciones monótonas. No sé nada sobre la reconstrucción de redes.
Rob Hyndman
4

Para agregar a la respuesta de Rob ... con respecto a la ingeniería inversa de una red, se puede preferir MI sobre la correlación cuando desea extraer enlaces causales en lugar de asociativos en su red. Las redes de correlación son puramente asociativas. Pero para MI, necesita más datos y potencia informática.

ars
fuente