Intuición (geométrica u otra) de

En otra entrega de intuiciones para identidades en probabilidad, considere la Ley de identidad elemental de la varianza total

\begin{array}{rcl} V a r (X) & = & E [V a r (X | Y)] + V a r (E [X | Y]) \end{array}

$\begin{eqnarray} \rm{Var}(X) &=&\rm{E}[\rm{Var}(X|Y)] + \rm{Var}(E[X|Y]) \end{eqnarray}$

Es una manipulación algebraica ~~simple y~~ directa de la definición de momentos en suma, o, como en el enlace de Wikipedia, a través de la manipulación de E y Var.

Pero esta identidad, no tengo idea de lo que significa . Supongo que significa que presumiblemente podría calcular la varianza de una variable usando otra variable para ayudar, pero no parece que simplifique las cosas o las haga más manejables.

La página wiki dice

El primer componente se llama el valor esperado de la varianza del proceso (EVPV) y el segundo se llama la varianza de los medios hipotéticos (VHM)

lo cual es tan esclarecedor como leer los nombres.

Entonces, ¿qué es lo que realmente significa ? ¿Hay una intuición sobre las dos partes? ¿Necesitas una intuición de $E[E[X|Y]] = E[X]$ ¿primero? Una intuición geométrica podría ser agradable, pero también una explicación prolija, un poco de álgebra, sería de gran ayuda.

¿Hay alguna buena interpretación de álgebra lineal o interpretación física u otra que pueda dar una idea de esta identidad?

variance intuition Mitch
fuente

pero no parece que simplifique las cosas o las haga más manejables : es útil básicamente en cualquier caso donde haya algún auxiliar

Y

$Y$ lo que hace

X ∣ Y

$X \mid Y$ más fácil de pensar que solo

X

$X$ sí mismo. Por ejemplo, tome

$\DeclareMathOperator{\E}{\mathbb E}\DeclareMathOperator{\Var}{Var}$

X ∣ Y \sim N (Y, Y σ^{2})

$X \mid Y \sim \mathcal{N}(Y, Y \sigma^2)$ y

Y \sim B i n o m i a l (n, p)

$Y \sim \mathrm{Binomial}(n, p)$ ; entonces

\begin{matrix} mi [Var (X ∣ Y)] = mi [Y σ^{2}] = norte pags σ^{2} \\ Var (mi [X ∣ Y]) = Var (Y) = norte pags (1 - pags) . \end{matrix}

$\begin{gather}\E[\Var(X \mid Y)] = \E[Y \sigma^2] = n p \sigma^2 \\ \Var(\E[X \mid Y]) = \Var(Y) = n p (1-p).\end{gather}$ Tratar de calcular eso directamente hubiera sido mucho menos sencillo.

Dougal

relacionado: stats.stackexchange.com/questions/71620/…

Taylor

Respuestas:

Para obtener una intuición simple, compararemos con un análisis de varianza de dos vías. Dejar $Y_{ij} = \mu_i +\epsilon_{ij}$ donde el $\epsilon_{ij}$ son iid con expectativa cero y varianza común $\sigma^2$ , $i=1,\dotsc,k; j=1,\dotsc,n_i$ .

Luego tenemos la descomposición

\sum_{yo = 1}^{k} \sum_{j = 1}^{{norte}_{yo}} (Y_{yo j} - \bar{\bar{Y}})^{2} = \sum_{yo = 1}^{k} \sum_{j = 1}^{{norte}_{yo}} (Y_{yo j} - \bar{Y_{yo}})^{2} + \sum_{yo = 1}^{k} {norte}_{yo} ((\bar{Y_{yo}} - \bar{\bar{Y}})^{2}

$\sum_{i=1}^k\sum_{j=1}^{n_i} (Y_{ij}-\overline{\overline{Y}})^2 = \sum_{i=1}^k\sum_{j=1}^{n_i} (Y_{ij}-\overline{Y_i})^2 + \sum_{i=1}^k n_i((\overline{Y_{i}}-\overline{\overline{Y}})^2$ donde el primer término a la derecha mide la varianza dentro del grupo (y se puede usar para estimar la varianza común dentro del grupo

σ^{2}

$\sigma^2$ ), el segundo término mide la varianza entre grupos y puede usarse para estimar

σ^{2}

$\sigma^2$ solo bajo la hipótesis de que todo el

μ_{i}

$\mu_i$ tienen un valor común De lo contrario, contendrá un componente adicional, la "varianza del

μ_{i}

$\mu_i$ 's ". ¡Tiene la misma forma que la ley de la varianza total!

Formalmente, permita que la pertenencia al grupo sea la variable aleatoria $G$ . Entonces tenemos

V una r Y = mi V una r (Y El | sol) + V una r mi (Y El | sol)

$Var Y = E Var (Y | G) + Var E (Y | G)$ y podemos leer esto como "varianza de

Y

$Y$ es el valor esperado de la varianza dentro del grupo más la varianza de las expectativas del grupo ". Es lo mismo que nuestra interpretación de la descomposición ANOVA anterior. Mirando más de cerca la derivación (que no proporcionamos aquí) puede ver que es Realmente una versión del teorema de Pitágoras. Para ese punto de vista ver la Ley de la varianza total como teorema de Pitágoras

kjetil b halvorsen
fuente

Mi truco de Mathjax para obtener doble overlines no funciona muy bien. ¿Ideas para mejorarlo?

kjetil b halvorsen

La doble línea se ve mucho mejor con

X

$X$ que con

Y

$Y$ por alguna razón:

\bar{\bar{X}}

$\overline{\overline{X}}$ .

jbowman