¿Cómo explicaría la diferencia entre correlación y covarianza?

Siguiendo con esta pregunta, ¿cómo explicaría la covarianza a alguien que solo entiende la media? , que aborda el tema de explicar la covarianza a una persona laica, me planteó una pregunta similar.

¿Cómo se explicaría a un neófito estadístico la diferencia entre covarianza y correlación ? Parece que ambos se refieren al cambio en una variable vinculada a otra variable.

Similar a la pregunta mencionada, sería preferible la falta de fórmulas.

El problema con las covarianzas es que son difíciles de comparar: cuando calcula la covarianza de un conjunto de alturas y pesos, como se expresa en (respectivamente) metros y kilogramos, obtendrá una covarianza diferente de cuando lo hace en otras unidades ( ¡lo que ya da un problema a las personas que hacen lo mismo con o sin el sistema métrico!), pero también, será difícil saber si (por ejemplo) la altura y el peso 'covarían más' que, digamos, la longitud de los dedos de los pies y de las manos , simplemente porque la 'escala' sobre la que se calcula la covarianza es diferente.

La solución a esto es 'normalizar' la covarianza: divide la covarianza por algo que represente la diversidad y la escala en ambas covariables, y termine con un valor que seguramente esté entre -1 y 1: la correlación. Independientemente de la unidad en la que se encontraran sus variables originales, siempre obtendrá el mismo resultado, y esto también garantizará que, hasta cierto punto, pueda comparar si dos variables 'se correlacionan' más que otras dos, simplemente comparando su correlación.

Nota: lo anterior supone que el lector ya comprende el concepto de covarianza.

Los requisitos de este tipo de preguntas me parecen un poco extraños. Aquí hay un concepto / fórmula matemática , pero quiero hablar de ello en algún contexto completamente desprovisto de símbolos matemáticos. También creo que debería afirmarse que el álgebra real necesaria para comprender las fórmulas, creo, debería enseñarse a la mayoría de las personas antes de la educación superior (no es necesario comprender el álgebra matricial, solo será suficiente el álgebra simple).

Entonces, al principio, en lugar de ignorar por completo la fórmula y hablar de ella en algunos tipos de analogías mágicas y heurísticas, solo veamos la fórmula e intente explicar los componentes individuales en pequeños pasos. La diferencia en términos de covarianza y correlación, al observar las fórmulas, debería quedar clara. Mientras que hablar en términos de analogías y heurísticas sospecho que oscurecería dos conceptos relativamente simples y sus diferencias en muchas situaciones.

Entonces, comencemos con una fórmula para la covarianza de muestra (estas que acabo de tomar y adoptar de wikipedia);

$\frac{1}{n-1}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})$

Para poner a todos al día, definamos explícitamente todos los elementos y operaciones en la fórmula.

• $x_i$ e son medidas de dos atributos separados de la misma observación$y_i$
• $\bar{x}$ y son las medias (o promedio) de cada atributo$\bar{y}$
• Para , digamos que esto significa que dividimos el resultado final por .$\frac{1}{n-1}$${n-1}$
• $\sum_{i=1}^{n}$ puede ser un símbolo extraño para algunos, por lo que probablemente sea útil explicar esta operación. Es simplemente la suma de todos los separadas observaciones, y representa el número total de observaciones.$i$$n$

En este punto, podría presentar un ejemplo simple, para poner una cara a los elementos y operaciones, por así decirlo. Entonces, por ejemplo, hagamos una tabla, donde cada fila corresponde a una observación (y e están etiquetadas apropiadamente). Es probable que estos ejemplos sean más específicos (por ejemplo, digamos que representa la edad representa el peso), pero para nuestra discusión aquí no debería importar.$x$$y$$x$$y$

x y
---
2 5
4 8
9 3
5 6
0 8

En este punto, si considera que la operación de suma en la fórmula puede no haberse comprendido completamente, puede introducirla nuevamente en un contexto mucho más simple. Digamos simplemente presente que es lo mismo que decir en este ejemplo;$\sum_{i=1}^{n}(x_i)$

  x
 --
  2
  4
  9
  5
+ 0
 --
 20

Ahora ese desorden se debe aclarar, y podemos avanzar en la segunda parte de la fórmula, . Ahora, suponiendo que la gente ya sepa lo que significan, y representan, y diría que, siendo hipócritas de mis propios comentarios al principio de la publicación, uno puede referirse a la media en términos de heurística simple (por ejemplo, el medio de la distribución). Uno puede entonces tomar este proceso una operación a la vez. La declaración$(x_i-\bar{x})(y_i-\bar{y})$$\bar{x}$$\bar{y}$$(x_i-\bar{x})$solo está examinando las desviaciones / distancia entre cada observación, y la media de todas las observaciones para ese atributo particular. Por lo tanto, cuando una observación está más lejos de la media, esta operación tendrá un valor más alto. Luego se puede volver a la tabla de ejemplo dada y simplemente demostrar la operación en el vector de observaciones.$x$

x x_bar (x - x_bar)
2 4     -2
4 4      0
9 4      5
5 4      1
0 4     -4

La operación es la misma para el vector , pero solo para el refuerzo puede presentar esa operación también.$y$

y y_bar (y - y_bar)
5  6     -1
8  6      2
3  6     -3
6  6      0
8  6      2

Ahora, los términos y no deben ser ambiguos, y podemos pasar a la siguiente operación, multiplicando estos resultados juntos, . Como Gung señala en los comentarios, a esto se le llama frecuentemente el producto cruzado (quizás un ejemplo útil para volver a mencionar si uno estuviera introduciendo álgebra matricial básica para las estadísticas).$(x_i-\bar{x})$$(y_i-\bar{y})$$(x_i-\bar{x})\cdot(y_i-\bar{y})$

Tome nota de lo que sucede al multiplicar, si dos observaciones están a una gran distancia por encima de la media, la observación resultante tendrá un valor positivo aún mayor (lo mismo es cierto si ambas observaciones están a una gran distancia por debajo de la media, como multiplicar dos negativos es igual a positivo) También tenga en cuenta que si una observación está muy por encima de la media y la otra está muy por debajo de la media, el valor resultante será grande (en términos absolutos) y negativo (como positivo por negativo es igual a un número negativo). Finalmente, tenga en cuenta que cuando un valor está muy cerca de la media para cualquiera de las observaciones, multiplicar los dos valores dará como resultado un número pequeño. De nuevo, podemos presentar esta operación en una tabla.

(x - x_bar) (y - y_bar)  (x - x_bar)*(y - y_bar)
-2             -1                2
 0              2                0  
 5             -3              -15 
 1              0                0
-4              2               -8

Ahora, si hay estadísticos en la sala, deberían estar hirviendo con anticipación en este momento. Podemos ver todos los elementos separados de lo que es una covarianza y cómo se calcula entran en juego. Ahora todo lo que tenemos que hacer es resumir el resultado final en la tabla anterior, dividir por y listo , la covarianza ya no debería ser mística (todo con solo definir un símbolo griego).$n-1$

(x - x_bar)*(y - y_bar)
-----------------------
   2
   0
 -15
   0
+ -8
-----
 -21

-21/(5-1) = -5.25

En este punto, es posible que desee reforzar de dónde proviene el 5, pero eso debería ser tan simple como volver a la tabla y contar el número de observaciones (dejemos la diferencia entre la muestra y la población en otro momento).

Ahora, la covarianza en sí misma no nos dice mucho (puede, pero en este punto no es necesario entrar en ningún ejemplo interesante sin recurrir a referencias mágicamente indefinidas a la audiencia). En un buen caso, realmente no necesitará vender por qué debería importarnos cuál es la covarianza, en otras circunstancias, es posible que tenga que esperar que su audiencia sea cautiva y que tome su palabra. Pero, continuando desarrollando la diferencia entre cuál es la covarianza y cuál es la correlación, podemos referirnos nuevamente a la fórmula para la correlación. Para prevenir la fobia a los símbolos griegos, tal vez solo digamos que es el símbolo común utilizado para representar la correlación.$\rho$

$\rho = \frac{Cov(x,y)}{\sqrt{Var(x)Var(y)}}$

Nuevamente, para reiterar, el numerador en la fórmula anterior es simplemente la covarianza como acabamos de definir, y el denominador es la raíz cuadrada del producto de la varianza de cada serie individual. Si necesita definir la varianza en sí, podría decir que la varianza es lo mismo que la covarianza de una serie consigo misma (es decir, ). Y se aplican los mismos conceptos que introdujo con la covarianza (es decir, si una serie tiene muchos valores muy lejos de su media, tendrá una alta varianza). Quizás tenga en cuenta aquí que una serie no puede tener una varianza negativa también (lo que lógicamente debería seguir a las matemáticas presentadas anteriormente).$Cov(x,x) = Var(x)$

Entonces, los únicos componentes nuevos que hemos introducido están en el denominador, . Entonces estamos dividiendo la covarianza que acabamos de calcular por el producto de las varianzas de cada serie. Uno podría entrar en el tratamiento acerca de por qué dividir por siempre dará como resultado un valor entre -1 y 1, pero sospecho que la desigualdad Cauchy-Schwarz debería quedar fuera de la agenda para esta discusión Entonces, nuevamente, soy un hipócrita y recurro a algunos, créame , pero en este punto podemos presentar todas las razones por las que usamos el coeficiente de correlación. Luego, se pueden relacionar estas lecciones de matemáticas con las heurísticas que se han dado en las otras declaraciones, como la respuesta de Peter Flom$Var(x)Var(y)$$\sqrt{Var(x)Var(y)}$a una de las otras preguntas. Si bien esto fue criticado por introducir el concepto en términos de declaraciones causales, esa lección también debería estar en la agenda en algún momento.

Entiendo que en algunas circunstancias este nivel de tratamiento no sería apropiado. El senado necesita el resumen ejecutivo . En ese caso, puede referirse a la heurística simple que la gente ha estado usando en otros ejemplos, pero Roma no se construyó en un día. Y para el Senado que solicita el resumen ejecutivo, si tiene tan poco tiempo, tal vez debería tomar mi palabra y prescindir de las formalidades de analogías y viñetas.

La correlación (r) es la covarianza (cov) de sus variables (x & y) dividida por (o ajustada por, en otras palabras) cada una de sus desviaciones estándar ( ).$\sqrt{Var[x]Var[y]}$

Es decir, la correlación es simplemente una representación de covarianza, por lo que el resultado debe situarse entre -1 (perfectamente correlacionado inversamente) y +1 (perfectamente correlacionado positivamente), observando que un valor cercano a cero significa que dos variables no están correlacionadas.

La covarianza no tiene límites y carece de contexto cuando se compara con otras covarianzas. Al normalizar / ajustar / estandarizar las covarianzas en una correlación, los conjuntos de datos se pueden comparar más fácilmente.

Como puede imaginar, hay diferentes formas en que una estadística (como la covarianza) puede normalizarse / estandarizarse. La fórmula matemática para la relación entre correlación y covarianza simplemente refleja el uso de los estadísticos de la convención (es decir, el ajuste de acuerdo con sus desviaciones estándar):

Si está familiarizado con la idea de centrar y estandarizar, x-xbar es centrar x en su significado. Lo mismo se aplica a y. Entonces la covarianza simplemente centra los datos. Sin embargo, la correlación no solo centra los datos, sino que también se escala utilizando la desviación estándar (estandarizar). La multiplicación y la suma es el producto de punto de los dos vectores y dice cuán paralelos se comparan estos dos vectores (la proyección de un vector sobre el otro). La división de (n-1) o tomar el valor esperado es escalar para el número de observaciones. Pensamientos?

Por lo que he entendido. La correlación es una versión "normalizada" de la covarianza.

La correlación se escala para estar entre -1 y +1 dependiendo de si hay correlación positiva o negativa, y no tiene dimensión. Sin embargo, la covarianza varía de cero, en el caso de dos variables independientes, a Var (X), en el caso en que los dos conjuntos de datos son iguales. Las unidades de COV (X, Y) son las unidades de X multiplicadas por las unidades de Y.