¿Alguien puede ilustrar cómo puede haber dependencia y covarianza cero?

¿Alguien puede ilustrar, como lo hace Greg, pero con más detalle, cómo las variables aleatorias pueden ser dependientes, pero tienen covarianza cero? Greg, un afiche aquí, da un ejemplo usando un círculo aquí .

¿Alguien puede explicar este proceso con más detalle utilizando una secuencia de pasos que ilustran el proceso en varias etapas?

Además, si conoce un ejemplo de psicología, ilustre este concepto con un ejemplo relacionado. Sea muy preciso y secuencial en su explicación, y también indique cuáles podrían ser algunas de las consecuencias.

La idea básica aquí es que la covarianza solo mide un tipo particular de dependencia , por lo tanto, los dos no son equivalentes. Específicamente,

• La covarianza es una medida de la relación lineal entre dos variables. Si dos variables están relacionadas no linealmente, esto no se reflejará en la covarianza. Una descripción más detallada se puede encontrar aquí .

• La dependencia entre variables aleatorias se refiere a cualquier tipo de relación entre las dos que hace que actúen de manera diferente "juntos" de lo que lo hacen "por sí mismos". Específicamente, la dependencia entre variables aleatorias subsume cualquier relación entre las dos que hace que su distribución conjunta no sea ​​el producto de sus distribuciones marginales. Esto incluye relaciones lineales y muchas otras.

• Si dos variables están relacionadas no linealmente , entonces potencialmente pueden tener 0 covarianza, pero siguen siendo dependientes; aquí se dan muchos ejemplos y este gráfico a continuación de Wikipedia ofrece algunos ejemplos gráficos en la fila inferior:

  

• Un ejemplo en el que la covarianza cero y la independencia entre variables aleatorias son condiciones equivalentes es cuando las variables se distribuyen normalmente de manera conjunta (es decir, las dos variables siguen una distribución normal bivariada , que no es equivalente a las dos variables que se distribuyen normalmente de forma individual). Otro caso especial es que los pares de variables de Bernoulli no están correlacionados si y solo si son independientes (gracias @cardinal). Pero, en general, los dos no pueden considerarse equivalentes.

Por lo tanto, no se puede concluir, en general, que dos variables son independientes solo porque parecen no correlacionadas (por ejemplo, no fallaron en rechazar la hipótesis nula de no correlación). Se recomienda trazar datos para inferir si los dos están relacionados, no solo detenerse en una prueba de correlación. Por ejemplo, (gracias @gung), si uno ejecutara una regresión lineal (es decir, probando una correlación distinta de cero) y encontrara un resultado no significativo, uno podría verse tentado a concluir que las variables no están relacionadas, pero usted ' Solo he investigado una relación lineal .

No sé mucho sobre psicología, pero tiene sentido que pueda haber relaciones no lineales entre las variables allí. Como ejemplo de juguete, parece posible que la capacidad cognitiva no esté relacionada linealmente con la edad: las personas muy jóvenes y muy viejas no son tan agudas como los 30 años. Si se trazara alguna medida de la capacidad cognitiva frente a la edad, se podría esperar ver que la capacidad cognitiva es más alta a una edad moderada y decae en torno a eso, lo que sería un patrón no lineal.

Una forma estándar de enseñar / visualizar una correlación o covarianza es trazar los datos, dibujar líneas en la media de 'x' e 'y', luego dibujar rectángulos desde el punto de las 2 medias hasta los puntos de datos individuales, así:

Los rectángulos (puntos) en los cuadrantes superior derecho e inferior izquierdo (rojo en el ejemplo) aportan valores positivos a la correlación / covarianza, mientras que los rectángulos (puntos) en los cuadrantes superior izquierdo e inferior derecho (azul en el ejemplo) contribuyen negativo valores a la correlación / covarianza. Si el área total de los rectángulos rojos es igual al área total de los rectángulos azules, entonces los positivos y negativos se cancelan y se obtiene una covarianza cero. Si hay más área en rojo, entonces la covarianza será positiva y si hay más área en azul, entonces la covarianza será negativa.

Ahora veamos un ejemplo de la discusión anterior:

Los puntos individuales siguen una parábola, por lo que son dependientes, si conoce 'x', entonces conoce 'y' exactamente, pero también puede ver que para cada rectángulo rojo hay un rectángulo azul coincidente, por lo que la covarianza final será 0 .

Una prueba simple si eso si los datos están básicamente siguiendo un patrón simétrico alrededor de un eje vertical u horizontal a través de las medias, la covarianza será bastante cercana a cero. Por ejemplo, si la simetría está alrededor del eje y, significa que para cada valor con una y dada, hay una diferencia positiva x de la media xy una diferencia negativa de la media x. La suma de y * x para esos valores será cero. Puede ver esto bien ilustrado en la colección de parcelas de ejemplo en las otras respuestas. Hay otros patrones que producirían una covarianza cero pero no independencia, pero muchos ejemplos se evalúan fácilmente buscando simetría o no.

Un ejemplo de Wikipedia :

"Si las variables son independientes, el coeficiente de correlación de Pearson es 0, pero lo contrario no es cierto porque el coeficiente de correlación detecta solo dependencias lineales entre dos variables. Por ejemplo, suponga que la variable aleatoria X está distribuida simétricamente alrededor de cero, e Y = X ^ 2. Entonces Y está completamente determinado por X, de modo que X e Y son perfectamente dependientes, pero su correlación es cero; no están correlacionados. Sin embargo, en el caso especial cuando X e Y son conjuntamente normales, la falta de correlación es equivalente a independencia ".