¿Cuál es la relación entre la función y la regresión lineal?

Considera la función

$$r(x) = \mathbb{E}(Y \mid X = x)$$

Esto se ha llamado la función de regresión en un libro de texto que estoy usando. Estoy tratando de descubrir la relación entre esta función y el modelo clásico de regresión lineal.

Entonces, sé que es un teorema * que podemos escribir

para alguna variable aleatoria st .$\epsilon$$\mathbb{E}(\epsilon) = 0$

Ahora supongamos que tenemos

$$Y = \beta_0 + \beta_1 X + \epsilon$$

Esta es la función de regresión unidimensional clásica (suponiendo que y minimizan la suma residual de cuadrados).$\beta_0$$\beta_1$

Pregunta: ¿Es entonces un teorema matemático que si se define como anteriormente, que$Y$

Y es esta la razón por la función se llama la "función de regresión"?$\mathbb{E}(Y \mid X)$

EDITAR: El teorema que estoy utilizando es el siguiente (de All of Statistics pág. 89):

Los modelos de regresión a veces se escriben como

$$Y = r(X) + \epsilon$$

donde . Siempre podemos reescribir un modelo de regresión de esta manera. Para ver esto, defina y, por lo tanto, . Además, .$\mathbb{E}(\epsilon) = 0$$\epsilon = Y - r(X)$$Y = Y + r(X) - r(X) = r(X) + \epsilon$$\mathbb{E}(\epsilon) = \mathbb{E}\mathbb{E}(\epsilon \mid X) = \mathbb{E}(\mathbb{E}(Y - r(X)) \mid X) = \mathbb{E}(\mathbb{E} ( Y \mid X) - r(X)) = \mathbb{E}(r(X) - r(X)) = 0$

Resumiendo la pregunta:

Dado $Y = \beta_0 + \beta_1 X + \varepsilon$, ¿es entonces un teorema matemático que $r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)$?

Sí, por propiedades básicas de expectativa:

Las razones históricas para que la regresión se llame regresión se relacionan con Galton al notar el efecto de " regresión a la media ", inicialmente en un experimento en plantas que involucra el tamaño de semilla de la descendencia en comparación con el tamaño de semilla de los padres. Una relación a través del tamaño medio de semilla en ambas variables tendrá una pendiente menor que$1$(qué pendiente se puede estimar por lo que llamamos regresión lineal). Cuanto más pequeña es la pendiente, más fuerte es el efecto de "regresión". El tema está ilustrado por Galton en el pdf vinculado por las alturas de los niños (como adultos) en comparación con las alturas promedio de los padres (las mujeres se aumentan por un factor constante de$8\%$para hacerlos comparables a los machos). Los diagramas en las páginas tercera a quinta indican algo de lo que se observó.

Entonces, un intento de estimar el tamaño de esta "regresión a la media" se obtiene por lo que se llamó regresión lineal. Por supuesto, no está sucediendo nada especial: la regresión a la media no es un "impulso a la mediocridad" biológico especial como se podría haber adivinado originalmente, sino una consecuencia bastante simple de las matemáticas de la situación en el mismo sentido que las correlaciones son siempre entre$-1$ y $1$.