¿La covarianza igual a cero implica independencia para las variables aleatorias binarias?

Si e son dos variables aleatorias que solo pueden tomar dos estados posibles, ¿cómo puedo mostrar que implica independencia? Esto va en contra de lo que aprendí en el día en que no implica independencia ...$X$$Y$$Cov(X,Y) = 0$$Cov(X,Y) = 0$

La sugerencia dice que comience con y como posibles estados y generalice a partir de ahí. ¿Y puedo hacer eso y mostrar , pero esto no implica independencia?$1$$0$$E(XY) = E(X)E(Y)$

Un poco confundido cómo hacer esto matemáticamente, supongo.

Para las variables binarias, su valor esperado es igual a la probabilidad de que sean iguales a uno. Por lo tanto,

$$E(XY) = P(XY = 1) = P(X=1 \cap Y=1) \\ E(X) = P(X=1) \\ E(Y) = P(Y=1) \\ $$

Si los dos tienen cero covarianza, esto significa $E(XY) = E(X)E(Y)$ , lo que significa

$$P(X=1 \cap Y=1) = P(X=1) \cdot P(Y=1)$$

Es trivial ver que todas las demás probabilidades conjuntas también se multiplican, utilizando las reglas básicas sobre eventos independientes (es decir, si $A$ y $B$ son independientes, entonces sus complementos son independientes, etc.), lo que significa que la función de masa conjunta se factoriza, que es la definición de dos variables aleatorias que son independientes.

Tanto la correlación como la covarianza miden la asociación lineal entre dos variables dadas y no tiene la obligación de detectar ninguna otra forma de asociación.

Por lo tanto, esas dos variables podrían estar asociadas de varias otras formas no lineales y la covarianza (y, por lo tanto, la correlación) no podría distinguir del caso independiente.

Como muy didáctica, artificial y ejemplo no realista, se puede considerar $X$ de tal manera que $P(X=x)=1/3$ para $x=−1,0,1$ y también considerar $Y=X^2$ . Tenga en cuenta que no solo están asociados, sino que uno es una función del otro. No obstante, su covarianza es 0, ya que su asociación es ortogonal a la asociación que la covarianza puede detectar.

EDITAR

De hecho, como lo indica @whuber, la respuesta original anterior fue en realidad un comentario sobre cómo la afirmación no es universalmente cierta si ambas variables no son necesariamente dicotómicas. ¡Culpa mía!

Así que vamos a matemática. (El equivalente local de "Suit up!" De Barney Stinson)

Caso particular

Si $X$ e $Y$ fueran dicotómicos, entonces puede suponer, sin pérdida de generalidad, que ambos asumen solo los valores $0$ y $1$ con probabilidades arbitrarias $p$ , $q$ y $r$ dadas por P ( X = 1 ) = p ∈ [ 0 , 1 ] P ( Y = 1 ) = q ∈ [ 0 , 1 ] P ( X = 1 , Y= 1 ) = r ∈ [ 0 , 1 ] , que caracterizan completamente la distribución conjunta deXyY. Tomando la sugerencia de @ DilipSarwate, observe que esos tres valores son suficientes para determinar la distribución conjunta de(X,Y), ya que P ( X = 0 , Y = 1

$$\begin{align*} P(X=1) = p \in [0,1] \\ P(Y=1) = q \in [0,1] \\ P(X=1,Y=1) = r \in [0,1], \end{align*}$$ $X$$Y$$(X,Y)$= P ( Y = 1 ) - P ( X = 1 , Y = 1 ) = q - r P ( X = 1 , Y = 0 )= P ( X = 1 ) - P ( X = 1 , Y = 1 ) = p - r P ( X = 0 , Y = 0 )= 1 - P ( X = 0 , Y = 1 ) - P ( X = 1 , Y = 0 ) - P ( X = 1 , Y = 1 )= 1 - ( q - r ) - ( p - r ) - r = 1 - p - q - r . (En una nota al margen, por supuesto,restá obligado a respetar tantop-r∈[0,1],q-r∈[0,1]como1-p-q-r∈ $$\begin{align*} P(X=0,Y=1) &= P(Y=1) - P(X=1,Y=1) = q - r\\ P(X=1,Y=0) &= P(X=1) - P(X=1,Y=1) = p - r\\ P(X=0,Y=0) &= 1 - P(X=0,Y=1) - P(X=1,Y=0) - P(X=1,Y=1) \\ &= 1 - (q - r) - (p - r) - r = 1 - p - q - r. \end{align*}$$ $r$$p-r\in[0,1]$$q-r\in[0,1]$0 , 1 ] más allá de r ∈ [ 0 , 1 ] , es decir r ∈ [ 0 , min ( p , q , 1 - p - q ) ] .)$1-p-q-r\in[0,1]$$r\in[0,1]$$r\in[0,\min(p,q,1-p-q)]$

Notice that $r = P(X=1,Y=1)$ might be equal to the product $p\cdot q = P(X=1) P(Y=1)$, which would render $X$ and $Y$ independent, since

$$\begin{align*} P(X=0,Y=0) &= 1 - p - q - pq = (1-p)(1-q) = P(X=0)P(Y=0)\\ P(X=1,Y=0) &= p - pq = p(1-q) = P(X=1)P(Y=0)\\ P(X=0,Y=1) &= q - pq = (1-p)q = P(X=0)P(Y=1). \end{align*}$$

Yes, $r$ might be equal to $pq$, BUT it can be different, as long as it respects the boundaries above.

Well, from the above joint distribution, we would have

$$\begin{align*} E(X) &= 0\cdot P(X=0) + 1\cdot P(X=1) = P(X=1) = p \\ E(Y) &= 0\cdot P(Y=0) + 1\cdot P(Y=1) = P(Y=1) = q \\ E(XY) &= 0\cdot P(XY=0) + 1\cdot P(XY=1) \\ &= P(XY=1) = P(X=1,Y=1) = r\\ Cov(X,Y) &= E(XY) - E(X)E(Y) = r - pq \end{align*}$$

Now, notice then that $X$ and $Y$ are independent if and only if $Cov(X,Y)=0$. Indeed, if $X$ and $Y$ are independent, then $P(X=1,Y=1)=P(X=1)P(Y=1)$, which is to say $r=pq$. Therefore, $Cov(X,Y)=r-pq=0$; and, on the other hand, if $Cov(X,Y)=0$, then $r-pq=0$, which is to say $r=pq$. Therefore, $X$ and $Y$ are independent.

General Case

About the without loss of generality clause above, if $X$ and $Y$ were distributed otherwise, let's say, for $a<b$ and $c<d$,

$$\begin{align*} P(X=b)=p \\ P(Y=d)=q \\ P(X=b, Y=d)=r \end{align*}$$ then $X'$ and $Y'$ given by $$X'=\frac{X-a}{b-a} \qquad \text{and} \qquad Y'=\frac{Y-c}{d-c}$$ would be distributed just as characterized above, since $$X=a \Leftrightarrow X'=0, \quad X=b \Leftrightarrow X'=1, \quad Y=c \Leftrightarrow Y'=0 \quad \text{and} \quad Y=d \Leftrightarrow Y'=1.$$ So $X$ and $Y$ are independent if and only if $X'$ and $Y'$ are independent.

Also, we would have

$$\begin{align*} E(X') &= E\left(\frac{X-a}{b-a}\right) = \frac{E(X)-a}{b-a} \\ E(Y') &= E\left(\frac{Y-c}{d-c}\right) = \frac{E(Y)-c}{d-c} \\ E(X'Y') &= E\left(\frac{X-a}{b-a} \frac{Y-c}{d-c}\right) = \frac{E[(X-a)(Y-c)]}{(b-a)(d-c)} \\ &= \frac{E(XY-Xc-aY+ac)}{(b-a)(d-c)} = \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} \\ Cov(X',Y') &= E(X'Y')-E(X')E(Y') \\ &= \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} - \frac{E(X)-a}{b-a} \frac{E(Y)-c}{d-c} \\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)-a] [E(Y)-c]}{(b-a)(d-c)}\\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)E(Y)-cE(X)-aE(Y)+ac]}{(b-a)(d-c)}\\ &= \frac{E(XY)-E(X)E(Y)}{(b-a)(d-c)} = \frac{1}{(b-a)(d-c)} Cov(X,Y). \end{align*}$$ So $Cov(X,Y)=0$ if and only $Cov(X',Y')=0$.

=D

IN GENERAL:

The criterion for independence is $F(x,y) = F_X(x)F_Y(y)$. Or

$$f_{X,Y}(x,y)=f_X(x)\,f_Y(y)\tag 1$$

"If two variables are independent, their covariance is $0.$ But, having a covariance of $0$ does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

$\text {independence} \Rightarrow \text{zero cov}$, yet

$\text{zero cov}\nRightarrow \text{independence}.$

Great example: $X \sim N(0,1)$, and $Y= X^2.$ Covariance is zero (and $\mathbb E(XY)=0$, which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.

---

IN PARTICULAR (OP problem):

These are Bernoulli rv's, $X$ and $Y$ with probability of success $\Pr(X=1)$, and $\Pr(Y=1)$.

$\begin{align}\mathrm{cov}(X,Y)&=\mathrm E[XY] - \mathrm E[X]\,\mathrm E[Y]\\[2ex] &\underset{*}{=} \Pr(X=1 \cap Y=1) - \Pr(X=1)\, \Pr(Y=1)\\[2ex] &\implies \Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1). \end{align}$

This is equivalent to the condition for independence in Eq. $(1).$

---

$(*)$:

$$\mathrm E[XY]\quad \underset{**}{=} \quad \displaystyle \sum_{\text{domain X, Y}} \Pr(X=x\cap Y=y)\, x\,y \underset{\neq\,0\text{ iff } x \times y\neq 0}= \Pr(X=1 \cap Y=1).$$

$(**)$: by LOTUS.

---

As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events $A$ and $B$ are independent, then events $A^c$ and $B$ are independent, and events $A^c$ and $B^c$ are also independent.

Proof By definition,

$A$ and $B$ are independent $\iff P(A\cap B) = P(A)P(B).$

But $B=(A\cap B) + ( A^c \cup B)$, so $P(B)= P(A\cap B) + P(A^c \cup B)$, which yields:

$\small P(A^c \cap B) = P(B) - P(A\cap B) = P(B) - P(A)\,P(B) = P(B) \left[1 - P(A)\right] = P(B)\,P( A^c).$

Repeat the argument for the events $A^c$ and $B^c,$ this time starting from the statement that $A^c$ and $B$ are independent and taking the complement of $B.$

Similarly. $A$ and $B^c$ are independent events.

So, we have shown already that

$$\Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1)$$ and the above shows that this implies that $$\Pr(X=i , Y=j) = \Pr (X=i)\,\Pr(Y=j), ~~i, j \in \{0,1\}$$ that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at $(1,1)$. Hence, uncorrelated Bernoulli random variables $X$ and $Y$ are also independent random variables.