Ley de la varianza total como teorema de Pitágoras

15

Suponga que X e Y tienen un segundo momento finito. En el espacio de Hilbert de variables aleatorias con segundo momento finito (con el producto interno de T1,T2 definido por E(T1T2) , ||T||2=E(T2) ), podemos interpretar E(Y|X) como la proyección de Y en el espacio de las funciones de X .

También sabemos que la Ley de varianza total lee

Var(Y)=E(Var(Y|X))+Var(E(Y|X))

¿Hay alguna manera de interpretar esta ley en términos de la imagen geométrica de arriba? Me han dicho que la ley es la misma que el teorema de Pitágoras para el triángulo rectángulo con lados Y,E(Y|X),YE(Y|X) . Entiendo por qué el triángulo está en ángulo recto, pero no cómo el teorema de Pitágoras está capturando la Ley de la varianza total.

Renrenthehamster
fuente

Respuestas:

7

Supongo que se siente cómodo con respecto al triángulo rectángulo en el sentido de que e Y - E [ Y X ] son variables aleatorias no correlacionadas . Para las variables aleatorias no correlacionadas A y B , var ( A + B ) = var ( A ) + var ( B ) , y así si establecemos A = Y - Y E[YX]YE[YX]AB

(1)var(A+B)=var(A)+var(B),
y B = E [ Y X ] para que A + B = Y , obtengamos que var ( Y ) = var ( Y - E [ Y X ] ) + var ( E [ Y X ] ) . Queda por demostrar que var ( Y - E [ Y ] ) es lo mismo que A=YE[YX]B=E[YX]A+B=Y
(2)var(Y)=var(YE[YX])+var(E[YX]).
var(YE[YX]) para que podamos volver a declarar ( 2 ) como var ( Y ) = E [ var ( Y X ) ] + var ( E [ Y X ] )E[var(YX)](2)
(3)var(Y)=E[var(YX)]+var(E[YX])
cuál es la fórmula de varianza total.

Es bien sabido que el valor esperado de la variable aleatoria es E [ Y ] , es decir, E [ E [ Y X ] ] = E [ Y ] . Entonces vemos que E [ A ] = E [ Y - E [ Y X ] ] = E [ Y ] - E [ Y E[YX]E[Y]E[E[YX]]=E[Y] de donde se deduce que var ( A ) = E [ A 2 ] , es decir, var ( Y - E [ Y X ] ) = E [ ( Y - E [ Y X ] ) 2 ] . Deje C denotar la variable aleatoria ( Y - E X ] )

E[A]=E[YE[YX]]=E[Y]E[E[YX]]=0,
var(A)=E[A2]
(4)var(YE[YX])=E[(YE[YX])2].
C para que podamos escribir que var ( Y - E [ Y X ] ) = E [ C ] . Pero, E [ C ] = E [ E [ C X ] ] donde E [ C X ] = E [ ( Y - E [ Y X ] )(YE[YX])2
(5)var(YE[YX])=E[C].
E[C]=E[E[CX]] Ahora,dadoque X = x , la distribución condicional de Y tiene una media E [ Y X = x ] y entonces E [ ( Y - E [ Y X = x ] ) 2 | X = x ] = var ( Y X = x ) . En otras palabras, EE[CX]=E[(YE[YX])2|X].X=xYE[YX=x]
E[(YE[YX=x])2|X=x]=var(YX=x).
para que lavariable aleatoria E [ C X ] sea ​​solo var ( Y X ) . Por lo tanto, E [ C ] = E [ E [ C X ] ] = E [ var ( Y X ) ] ,E[CX=x]=var(YX=x) E[CX]var(YX)
(6)E[C]=E[E[CX]]=E[var(YX)],
que tras la sustitución en (5)muestra que Esto hace que el lado derecho de ( 2 ) sea exactamente lo que necesitamos y, por lo tanto, hemos demostrado la fórmula de varianza total ( 3 ) .
var(YE[YX])=E[var(YX)].
(2)(3)
Dilip Sarwate
fuente
YE(Y|X)var(YE(Y|X))=E[YE(Y|X)]2Evar(Y|X)=E[E((YE(Y|X))2|X)]=E[YE(Y|X)]2
1
E[(YE[Y|X])2]
1
Dilip, muchos probabilistas interpretarían correctamente la ecuación de @ mpiktas como está escrita; el conjunto adicional de paréntesis a menudo se elimina. Quizás mis ojos me están engañando, pero creo que su notación es consistente en todo momento. Sin embargo, me complace ayudar a arreglar las cosas, si lo desea. :-)
cardenal
@cardinal No interpreté mal la escritura de mpiktas, y entendí completamente lo que estaba diciendo. Si bien también estoy acostumbrado a interpretarmiX o miX como el valor esperado de XSiempre tengo mis dudas sobre miX2, especialmente porque PEMDAS no dice nada al respecto. ¿La expectativa tiene prioridad sobre la exponenciación o no? Supongo que estoy acostumbrado al operador de expectativas para aplicar a todo dentro de los corchetes. Por favor, no edite el comentario de m [iktas, pero si desea eliminar todo en este hilo desde "Incidentalmente" en adelante en mi comentario anterior, continúe.
Dilip Sarwate
Lo siento, @Dilip. Mi intención no era sugerir que no entendías; ¡Sabía que tenías! ¡También estoy de acuerdo en que la notación puede prestarse a ambigüedades y es bueno señalarlas cuando surjan! Lo que quise decir fue que pensé que la segunda ecuación en el comentario (es decir,vunr...) dejó en claro la convención que se utilizó en adelante. :-)
cardenal
2

Declaración:

El teorema de Pitágoras dice, para cualquier elemento T1 y T2 de un espacio interno del producto con normas finitas tales que T1,T2=0 0,

(1)El |El |T1+T2El |El |2=El |El |T1El |El |2+El |El |T2El |El |2.
O, en otras palabras, para vectores ortogonales, la longitud al cuadrado de la suma es la suma de las longitudes al cuadrado.

Nuestro caso:

En nuestro caso T1=mi(YEl |X) y T2=Y-mi[YEl |X] son variables aleatorias, la norma al cuadrado es El |El |TyoEl |El |2=mi[Tyo2] y el producto interior T1,T2=mi[T1T2]. Traductorio (1) en lenguaje estadístico nos da:

(2)mi[Y2]=mi[{mi(YEl |X)}2]+mi[(Y-mi[YEl |X])2],
porque mi[T1T2]=Cov(T1,T2)=0 0. We can make this look more like your stated Law of Total Variance if we change (2) by...
  1. Subtract (E[Y])2 from both sides, making the left hand side Var[Y],

  2. Noting on the right hand side that E[{E(Y|X)}2](E[Y])2=Var(E[Y|X]),

  3. Noting that E[(YE[Y|X])2]=E[E{(YE[Y|X])2}|X]=E[Var(Y|X)].

For details about these three bullet points see @DilipSarwate's post. He explains this all in much more detail than I do.

Taylor
fuente