¿Cuál es la intuición detrás de la independencia de

18

Esperaba que alguien pudiera proponer un argumento que explicara por qué las variables aleatorias Y1=X2X1 e Y2=X1+X2 , Xi tiene la distribución normal estándar, son estadísticamente independientes. La prueba de este hecho se deduce fácilmente de la técnica de MGF, pero me parece extremadamente contra-intuitiva.

Por lo tanto, agradecería la intuición aquí, si la hay.

Gracias de antemano.

EDITAR : los subíndices no indican estadísticas de pedidos, sino observaciones IID de la distribución normal estándar.

JohnK
fuente
¿Qué es la "técnica MGF"?
ameba dice Reinstate Monica
@amoeba Es el uso de funciones generadoras de momento para determinar la distribución de una variable aleatoria. En mi caso, me refiero al teorema de que e Y 2 son independientes si y solo si M ( t 1 , t 2 ) = M ( t 1 , 0 ) × M ( 0 , t 2 ) , M ( t 1 , t 2 ) es igual a E ( eY1Y2M(t1,t2)=M(t1,0)×M(0,t2)METRO(t1,t2). Elija cualquier otra técnica y estoy seguro de que obtendrá el mismo resultado. mi(mit1Y1+t2Y2)
JohnK
1
Puede encontrar información sobre el hilo relacionado en stats.stackexchange.com/questions/71260 .
whuber
Es posible obtener un intuición, considerando lo que sucede con cada uno de estos si se agrega una constante, digamos , a cada X . Y qué sucede si multiplica cada X por una constante, digamos σμXXσ
rvl

Respuestas:

22

Estos son datos distribuidos normales estándar: diagrama de dispersión en el primer sistema de coordenadas tenga en cuenta que la distribución es simétrica circulatoria.

Cuando cambia a e Y 2 = X 1 + X 2 , efectivamente gira y escala el eje, así: Este nuevo sistema de coordenadas tiene el mismo origen que el original, y los ejes son ortogonal. Debido a la simetría circulatoria, las variables aún son independientes en el nuevo sistema de coordenadas.Y1=X2X1Y2=X1+X2diagrama de dispersión con sistema de coordenadas rotado

dobiwan
fuente
44
El resultado se aplica incluso cuando y X 2 están correlacionados con los márgenes normales de la unidad. Por lo tanto, su explicación solo cubre un subcase del resultado original. Sin embargo, la idea básica aquí es sólida. X1X2
Glen_b -Reinstate Monica
1
@Glen_b, sí, tienes razón. Quería centrarme en un caso simple, ya que JohnK ya parece saber cómo probar el caso general, pero carece de la intuición intuitiva.
dobiwan
7

El resultado funciona para conjuntamente normal (es decir, con correlación, - 1 < ρ < 1(X1,X2)1<ρ<1 ), con común .σ

Si conoce un par de resultados básicos, esto es todo lo que necesita:

ingrese la descripción de la imagen aquí

El enfoque de dobiwan es esencialmente bueno, es solo que el resultado es más general que el caso tratado allí.

Glen_b -Reinstate a Monica
fuente
3
+1 para quitar el resultado deseado a lo esencial. Agregaré que para el caso más general de normalidad articular con variaciones desiguales, una rotación de ejes por lugar de±π
θ=12arctan(2ρσ1σ2σ12σ22)
en implícita(X1,X2)(X1+X2.X1-X2)produce variables aleatorias normales independientes. ±π4(X1,X2)(X1+X2.X1X2)
Dilip Sarwate
6

El resultado que usted afirma que es verdadero no es cierto en general, ni siquiera para el caso en que todo lo que se sabe es que y X 2 son variables aleatorias normales con una varianza idéntica, pero el resultado se cumple para elX1X2 interpretación habitual de la condición usted dijo más tarde:

Los subíndices no indican estadísticas de pedidos, sino observaciones de la distribución normal estándar.

La interpretación habitual de las últimas palabras en esta declaración es, por supuesto, que y X 2 son variables aleatorias independientes (normales) y, por lo tanto, variables aleatorias conjuntas normales.X1X2

Para variables aleatorias normales conjuntas con varianza idéntica, es cierto que y X 1 - X 2 son variables aleatorias independientes (normales) (con, en general, variaciones desiguales), y la explicación intuitiva para esto es mejor dada en la respuesta de Glen_b. Para su caso especial de que X 1 y X 2 también sean independientes, la respuesta de dobiwan, que usted ha aceptado, es más simple, y de hecho revela que cualquier rotación de los ejes, no solo por el ± πX1+X2X1X2X1X2 implícito en la transformación(X1,X2)(X1+X2,X1±π4(X1,X2)(X1+X2,X1X2)


XY , sin importar qué otras propiedades se les puedan atribuir.

XYX+YXY

cov(X+Y,XY)=cov(X,X)cov(X,Y)+cov(Y,X)cov(Y,Y)=var(X)cov(X,Y)+cov(X,Y)var(Y)=0.
Here we have used the fact that cov(X,X) is just the variance var(X) of X (and similarly for Y) and, of course, cov(Y,X)=cov(X,Y). Note that this result holds when X and Y are (marginally) normal random variables but not necessarily jointly normal random variables. (If you are not familiar with this notion of marginal normality not being the same as joint normality, see this great answer by cardinal). In the special case when X and Y are jointly normal (but not necessarily independent) normal random variables, so are X+Y and XY jointly normal, and since their covariance is 0, X+Y and XY are independent random variables.
Dilip Sarwate
fuente
2

I first argue for general identically distributed X1,X2 that the conditional mean of Y1 conditional on Y2 is constant 0. Based on this, I argue that the covariance of  Y1,Y2 is 0. Then, under normality, zero covariance implies independence.

The conditional mean

Intuition: X1+X2=y does not imply anything about which component contributed more to the sum (e.g., X1=x,X2=yx is as likely as X1=yx,X2=x). Thus, the expected difference must be 0.

Proof: X1 and X2 have identical distribution and X1+X2 is symmetric with respect to the indexing. Thus, for symmetry reasons, the conditional distribution X1Y2=y must be equal to the conditional distribution X2Y2=y. Hence, the conditional distributions also have the same mean, and

E(Y1Y2=y)=E(X1X2X1+X2=y)=E(X1X1+X2=y)E(X2X1+X2=y)=0.

(Caveat: I did not consider the possibility that the conditional mean might not exist.)

Constant conditional mean implies zero correlation/covariance

Intuition: correlation measures how much Y1 tends to increase when Y2 increases. If observing Y2 never changes our mean of Y1, Y1 and Y2 are uncorrelated.

Proof: By definition, covariance is

Cov(Y1,Y2)=E[(Y1E(Y1))(Y2E(Y2))]
to this expectation, we apply the law of iterated expectations: take the expectation of the conditional expectation conditional on Y2:
=E[E[(Y1E(Y1))(Y2E(Y2))Y2]]=E[(Y2E(Y2))E[Y1E(Y1)Y2]].
Recall that the conditional mean was shown to be independent of Y2 and thus the expression simplifies as
=E[(Y2E(Y2))E[Y1E(Y1)]]
but the inner expectation is 0 and we get
=E[(Y2E(Y2))×0]=0.

Independence

Just by assuming identical distributions for X1,X2, it was shown that Y1 and Y2 are uncorrelated. When X1,X2 are jointly normal (for example, iid. normal as in the question), their linear combinations Y1,Y2 are also jointly normal and thus uncorrelatedness implies independence.

Juho Kokkala
fuente