Error de predicción esperado - derivación

Estoy luchando por comprender la derivación del error de predicción esperado a continuación (ESL), especialmente en la derivación de 2.11 y 2.12 (condicionamiento, el paso hacia el mínimo puntual). Cualquier puntero o enlace muy apreciado.

A continuación estoy informando el extracto de ESL pág. 18. Las dos primeras ecuaciones son, en orden, las ecuaciones 2.11 y 2.12.

Supongamos que denota un vector de entrada aleatorio con valor real, e una variable de salida aleatoria con valor real, con distribución conjunta . Buscamos una función para predecir valores dados de la entrada . Esta teoría requiere una función de pérdida para penalizar los errores en la predicción, y con mucho, el más común y conveniente es la pérdida de error al cuadrado : . Esto nos lleva a un criterio para elegir , $X \in \mathbb{R}^p$ $Y \in \mathbb{R}$ $\text{Pr}(X,Y)$ $f(X)$ $Y$ $X$ $L(Y,f(X))$ $L(Y,f(X))=(Y-f(X))^2$ $f$

\begin{aligned} EPE (f) & = E (Y - f (X))^{2} \\ = \int [y - f (x)]^{2} Pr (d x, d y) \end{aligned}

$\begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split}$

El error de predicción esperado (al cuadrado). Al condicionar en $X$ , podemos escribir EPE como

EPE (f) = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X)

$\text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X)$

y vemos que es suficiente minimizar EPE puntualmente:

f (x) = {argmin}_{c} E_{Y | X} ([Y - c]^{2} | X)

$f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X)$

La solucion es

f (x) = E (Y | X = x)

$f(x) = \text{E}(Y|X=x)$

La expectativa condicional, también conocida como la función de regresión .

regression prediction error usuario1885116
fuente

Al intercambiar e en la primera ecuación del artículo de Wikipedia sobre la Ley de Expectativa Total, se obtiene la equivalencia de (2.9) y (2.11). Lea ese artículo para obtener pruebas. (2.12) es inmediato, en el entendimiento de que se debe elegir para minimizar EPE.

X

$X$

Y

$Y$

f

$f$

whuber

Nota al

margen

Para aquellos que también leen este libro, revisen estas notas completas de Weathermax y Epstein

Dodgie

@Dodgie Ese enlace ha muerto: (

Matthew Drury

Afortunadamente @MatthewDrury un google de "estadísticas" WeatherMax y Epstein volvió un enlace como el primer resultado;) - waxworksmath.com/Authors/G_M/Hastie/WriteUp/...

Dodgie

Respuestas:

\begin{aligned} E P E (f) & = \int [y - f (x)]^{2} P r (d x, d y) \\ = \int [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x) p (y | x) d x d y \\ = \int_{x} (\int_{y} [y - f (x)]^{2} p (y | x) d y) p (x) d x \\ = \int_{x} (E_{Y | X} ([Y - f (X)]^{2} | X = x)) p (x) d x \\ = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X = x) \end{aligned}

$\begin{align*} EPE(f) &= \int [y - f(x)]^2 Pr(dx, dy) \\ &= \int [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x)p(y|x)dxdy \\ &= \int_x\left( \int_y [y - f(x)]^2p(y|x)dy \right)p(x)dx \\ &= \int_x \left( E_{Y|X}([Y - f(X)]^2|X = x) \right) p(x)dx\\ &= E_{X}E_{Y|X}([Y - f(X)]^2| X = x) \end{align*}$

usuario48002
fuente

Entiendo lo que escribiste, pero ¿crees que si el OP estaba confundido por la derivación que se muestra en la pregunta, él / ella entenderá tu respuesta? Por supuesto, ya entendí la derivación que se muestra en la pregunta.

Mark L. Stone

Llegué de google con la misma pregunta y realmente encuentro que esta derivación es exactamente lo que necesitaba.

Punto y coma y cinta adhesiva

@ MarkL.Stone: esta podría ser una pregunta estúpida, pero ¿podría explicar qué se entiende por y cómo se convierte en ? Muchas gracias

P r (d x, d y)

$Pr(dx,dy)$

p (x, y) d x d y

$p(x,y)dxdy$

Xavier Bourret Sicotte

Lo que se entiende por lo primero es lo segundo. Creo que es más común usar dP (x, y) o dF (x, y). En 1D, a menudo verá que dF (x) significa f (x) dx, donde f (x) es la función de densidad de probabilidad, pero la notación también puede permitir una función de masa de probabilidad discreta (en suma) o incluso una mezcla de densidad continua y masa de probabilidad discreta.

Mark L. Stone

¿No sería más preciso decir (última fórmula) ?

E_{X} (E_{Y | X} ([Y - f (X)]^{2} | X = x))

$E_{X}(E_{Y|X}([Y - f(X)]^2| X = x))$

D1X

La ecuación (2.11) es una consecuencia de la siguiente pequeña igualdad. Para cualquiera de las dos variables aleatorias y , y cualquier función $Z_1$ $Z_2$ $g$

E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) = E_{Z_{2}} (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2}))

$E_{Z_1, Z_2} (g(Z_1, Z_2)) = E_{Z_2}(E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2))$

La notación es la expectativa sobre la distribución conjunta . La notación esencialmente dice "integrar sobre la distribución condicional de como si estuviera arreglado". $E_{Z_1, Z_2}$ $E_{Z_1 \mid Z_2}$ $Z_1$ $Z_2$

Es fácil verificar esto en el caso de que y sean variables aleatorias discretas simplemente desenrollando las definiciones involucradas $Z_1$ $Z_2$

\begin{aligned} E_{Z_{2}} & (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2})) \\ = E_{Z_{2}} (\sum_{z_{1}} g (z_{1}, Z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2})) \\ = \sum_{z_{2}} (\sum_{z_{1}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2})) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2}) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} g (z_{1}, z_{2}) P r (Z_{1} = z_{1}, Z_{2} = z_{2}) \\ = E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) \end{aligned}

$\begin{align} E_{Z_2} & (E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2)) \\ &= E_{Z_2} \left( \sum_{z_1} g(z_1, Z_2) Pr(Z_1 = z_1 \mid Z_2 ) \right) \\ &= \sum_{z_2} \left( \sum_{z_1} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2 ) \right) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1, Z_2 = z_2 ) \\ &= E_{Z_1, Z_2} (g(Z_1, Z_2)) \end{align}$

El caso continuo puede verse informalmente como un límite de este argumento, o verificarse formalmente una vez que todas las medidas teóricas están en su lugar.

Para desenrollar la aplicación, tome , y . Todo se alinea exactamente. $Z_1 = Y$ $Z_2 = X$ $g(x, y) = (y - f(x))^2$

La afirmación (2.12) nos pide que consideremos minimizar

E_{X} E_{Y ∣ X} (Y - f (X))^{2}

$E_X E_{Y \mid X} (Y - f(X))^2$

donde somos libres de elegir como lo deseemos. Una vez más, centrándonos en el caso discreto y cayendo a mitad de camino en el desenrollado anterior, vemos que estamos minimizando $f$

\sum_{x} (\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)) P r (X = x)

$\sum_{x} \left( \sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x) \right) Pr(X = x)$

Todo dentro del paréntesis grande no es negativo, y puede minimizar una suma de cantidades no negativas minimizando los sumandos individualmente. En contexto, esto significa que podemos elegir para minimizar $f$

\sum_{y} (y - f (x))^{2} P r (Y = y ∣ X = x)

$\sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x)$

individualmente para cada valor discreto de . Este es exactamente el contenido de lo que ESL reclama, solo con una notación más elegante. $x$

Matthew Drury
fuente

Encuentro que algunas partes de este libro se expresan de una manera que es difícil de entender, especialmente para aquellos que no tienen una sólida formación en estadística.

Trataré de hacerlo simple y espero que puedas deshacerte de la confusión.

Reclamación 1 (suavizado) $E(X) = E(E(X|Y)),\forall X,Y$

Prueba : tenga en cuenta que E (Y) es una constante pero E (Y | X) es una variable aleatoria que depende de X.

\begin{aligned} E (E (X | Y)) & = \int E (X | Y = y) f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) d x f_{Y} (y) d y \\ = \int \int x f_{X | Y} (x | y) f_{Y} (y) d x d y \\ = \int \int x f_{X Y} (x, y) d x d y \\ = \int x (\int f_{X Y} (x, y) d y) d x \\ = \int x f_{X} (x) d x = E (X) \end{aligned}

$\begin{align} E(E(X|Y)) &= \displaystyle\int E(X|Y=y) f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) dx f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) f_Y(y) dx dy \\ &= \int \int x f_{XY} (x,y) dx dy \\ &= \int x \left(\int f_{XY} (x,y) dy \right) dx \\ &= \int x f_X(x) dx = E(X) \end{align}$

Reclamación 2 : $E(Y - f(X))^2 \geq E(Y - E(Y|X))^2, \forall f$

Prueba :

\begin{aligned} E ((Y - f (X))^{2} | X) & = E (([Y - E (Y | X)] + [E (Y | X) - f (X)])^{2} | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 E ((Y - E (Y | X)) (E (Y | X) - f (X)) | X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) + \\ 2 (E (Y | X) - f (X)) E (Y - E (Y | X)) | X) \\ (since E (Y | X) - f (X) is constant given X) \\ = E ((Y - E (Y | X))^{2} | X) + E ((E (Y | X) - f (X))^{2} | X) ( use Claim 1) \\ \geq E ((Y - E (Y | X))^{2} | X) \end{aligned}

$\begin{align} E((Y - f(X))^2 | X) &= E( ([Y - E(Y|X)] + [E(Y|X) - f(X)])^2|X) \\ &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 E((Y - E(Y|X))(E(Y|X) - f(X))|X) \\ &=E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 (E(Y|X) - f(X)) E(Y - E(Y|X))|X) \\[5pt] &( \text{ since } E(Y|X) - f(X) \text{ is constant given } X) \\[5pt] &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) \text{ ( use Claim 1 }) \\ &\geq E((Y-E(Y|X))^2 |X) \end{align}$

Teniendo en cuenta que ambos lados de la ecuación anterior dan la Reclamación 2 (QED)

Por lo tanto, la f óptima es $f(X) = E(Y|X)$

Thanhtang
fuente