¿Por qué la suma de los residuos al cuadrado no aumenta al agregar una variable explicativa?

9

En mi libro de texto econométrico (Econometría introductoria) que cubre OLS, el autor escribe: "SSR debe caer cuando se agrega otra variable explicativa". Por que es

regression optimization econometrics intuition sums-of-squares Eric Xu
fuente

1

En esencia, porque si no hay una relación lineal con la siguiente variable (correlación parcial de 0 muestras), la SSR permanecerá igual. Si hay alguna relación, la siguiente variable se puede usar para reducir la SSR.

Glen_b -Reinstale a Mónica el

3

El enunciado es correcto en espíritu pero no del todo cierto: SSR se mantendrá igual (y no caerá) al agregar cualquier variable que sea una combinación lineal de las variables existentes. Después de todo, al ignorar la nueva variable, puede lograr el mismo valor mínimo de SSR que logró con la variable anterior, por lo que agregar una nueva variable nunca puede empeorar las cosas.

whuber

Respondí una pregunta similar aquí: stats.stackexchange.com/questions/306267/… . Lo podrías encontrar útil.

Josh

18

I : y_{i} = β_{0} + β_{1} x_{1 i} + ϵ_{i}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

yo yo : y_{yo} = β_{0 0} + β_{1} X_{1 yo} + β_{2} X_{2 yo} + ϵ_{yo}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Para resumir, los modelos están anidados, en el sentido de que todo lo que podemos modelar con el modelo 1 puede coincidir con el modelo dos, el modelo dos es más general que el modelo 1. Entonces, en la optimización, tenemos mayor libertad con el modelo dos, por lo que podemos Siempre encuentre una mejor solución.

Esto realmente no tiene nada que ver con las estadísticas, pero es un hecho general sobre la optimización.

kjetil b halvorsen
fuente

1

No he pensado de esta manera, realmente útil!

Eric Xu

1

SSR es una medida de la discrepancia entre los datos y un modelo de estimación.

Si tiene la opción de tener en cuenta otra variable, entonces si esta variable contiene más información, el ajuste sería naturalmente más estricto, lo que significa un SSR más bajo.

Cloud Skywalker
fuente

¿Por qué la suma de los residuos al cuadrado no aumenta al agregar una variable explicativa?

Respuestas: