Descomposición de MSE a varianza y sesgo al cuadrado

Al demostrar que MSE se puede descomponer en varianza más el cuadrado de Bias, la prueba en Wikipedia tiene un paso, resaltado en la imagen. ¿Como funciona esto? ¿Cómo se empuja la expectativa al producto desde el tercer paso hasta el cuarto paso? Si los dos términos son independientes, ¿no debería aplicarse la expectativa a ambos términos? y si no lo son, ¿es válido este paso? ingrese la descripción de la imagen aquí

random-variable expected-value mse statBeginner
fuente

Respuestas:

El truco es que es una constante. $\mathbb{E}(\hat{\theta}) - \theta$

AdamO
fuente

Oh ya veo. El único desconocido aquí es el estimador. ¿Correcto?

statBeginner

Sí. Teniendo medios expectativa de que el estimador va a lo que está estimando, eso es lo que hace que la

ir a 0.

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

Adamo

Lo siento, esa frase no tiene mucho sentido para mí. Si un estimador fue a lo que sea que estaba estimando, ¿no lo haría imparcial? ¿Se puede explicar diciendo

= 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

user1158559

@ user1158559 el término del producto en el medio es constante por algo con el valor esperado 0. Incluso si theta-hat está sesgado, sigue siendo una constante por 0.

AdamO

es una variable y no una constante. Además, el truco es menos trivial y

con

una constante no se convierte en 0 como el valor predeterminado (por ejemplo

). El verdadero truco radica en el hecho de que

es la constante (y se puede sacar de una integral) por lo que

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

Sextus Empiricus

La respuesta de Adán es correcta sobre el truco que es una constante. Sin embargo, ayuda a encontrar el resultado final, y no explica claramente la pregunta sobre el paso específico en el artículo de wikipedia (editar: lo que veo ahora es ambiguo sobre lo más destacado y el paso de la línea tres a la línea cuatro). $E(\hat{\theta}) - \theta$

(tenga en cuenta que la pregunta es acerca de la variable de , que difiere de la constante en la respuesta de Adán me escribió esta mal en mi comentario La ampliación de los términos para mayor claridad:. al. la variable se calcula , son constantes las expectativas de esta estimación y el valor real ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Truco 1: considerar

la variable $x=\hat{\theta}$

la constante de $a=\mathbb{E}\left[ \hat{\theta} \right]$

y la constante $b = \theta$

Luego, la relación se puede escribir fácilmente usando las reglas de transformación que expresan los momentos de la variable sobre en términos de los momentos de la variable sobre . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Truco 2: por segundo momento, la fórmula anterior tiene tres términos en la suma. Podemos eliminar uno de ellos (el caso ), ya que $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Aquí también se puede argumentar con algo siendo constante. A saber, si es una constante y usando , que es una constante, obtienes . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

More intuitively: we made the moment of $x$ about $a$ , equal to a central moment (and the odd central moments are zero). We get a bit of a tautology. By substracting the mean from the variable, $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$ , we generate a variable with mean zero. And, the mean of 'a variable with mean zero' is zero.

The wikipedia article uses these two tricks in respectively the third and fourth line.

The nested expectation in the third line

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

is simplified by taking the constant part $(\mathbb{E}({\hat{\theta}})-\theta)$ outside of it (trick 1).
The term $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ is solved (as equal to zero) by using the fact that the variable $\hat{\theta} -\mathbb{E}(\hat{\theta})$ has mean zero (trick 2).

Sextus Empiricus
fuente

$E(\hat{\theta}) - \theta$ is not a constant.

The comment of @user1158559 is actually the correct one:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

little_monster
fuente

I don't see what you are trying to show. Also the bias may not be zero but that does not mean that it isn't a constant.

Michael R. Chernick

It is not a constant because

\hat{θ} = f (D)

$\hat{\theta} = f(D)$ where

D

$D$ is a given training data, which is also a random variable. Thus, its expectation is not a constant.

little_monster

Also, the fact that it is not a constant or not cannot explain how step 4 is possible from step 3. On the other hand, the comment of @ user1158559 explains that.

little_monster

@Michael, there has been confusion about the question. The highlighted part contains this expression

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$ , but in the text of the question it is mentioned that it is instead about the change from the third line to the fourth line, changing the nesting of expectations.

Sextus Empiricus