¿Hay una manera elegante / perspicaz de comprender esta identidad de regresión lineal para múltiples

En regresión lineal, he encontrado un resultado encantador que si encajamos en el modelo

$$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$$

entonces, si estandarizamos y centramos los datos , X 1 y X 2 ,$Y$$X_1$$X_2$

$$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$$

Esto me parece una versión de 2 variables de para la regresión y = m x + c , lo cual es agradable.$R^2 = \mathrm{Cor}(Y,X)^2$$y=mx+c$

Pero la única prueba que conozco no es de ninguna manera constructiva o perspicaz (ver más abajo), y sin embargo, al mirarlo, parece que debería ser fácilmente comprensible.

Pensamientos de ejemplo:

• Los parámetros y β 2 nos dan la 'proporción' de X 1 y X 2 en Y , por lo que estamos tomando las proporciones respectivas de sus correlaciones ...$\beta_1$$\beta_2$$X_1$$X_2$$Y$
• Las s son correlaciones parciales, R 2 es la correlación múltiple al cuadrado ... correlaciones multiplicadas por correlaciones parciales ...$\beta$$R^2$
• Si ortogonalizamos primero, entonces los s serán C o v / V a r ... ¿este resultado tiene algún sentido geométrico?$\beta$$\mathrm{Cov}/\mathrm{Var}$

Ninguno de estos hilos parece llevarme a ningún lado. ¿Alguien puede proporcionar una explicación clara de cómo entender este resultado?

---

Prueba insatisfactoria

$$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$$

y

$$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$$

QED

La matriz del sombrero es idempotente.

(Esta es una forma lineal-algebraica de afirmar que OLS es una proyección ortogonal del vector de respuesta en el espacio abarcado por las variables).

---

Recordemos que por definición

$$R^2 = \frac{ESS}{TSS}$$

dónde

$$ESS = (\hat Y)^\prime \hat Y$$

es la suma de los cuadrados de los valores predichos (centrados) y

$$TSS = Y^\prime Y$$

es la suma de cuadrados de los valores de respuesta (centrados). Estandarizar antemano a la varianza de la unidad también implica$Y$

$$TSS = Y^\prime Y = n.$$

Recordemos también que los coeficientes estimados están dados por

$$\hat\beta = (X^\prime X)^{-} X^\prime Y,$$

De dónde

$$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$$

donde es la "matriz hat" efectuar la proyección de Y sobre su ajuste de mínimos cuadrados Y . Es simétrico (que es obvio por su propia forma) e idempotente . Aquí hay una prueba de esto último para aquellos que no están familiarizados con este resultado. Es solo barajar paréntesis:$H$$Y$$\hat Y$

$$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$$

Por lo tanto

$$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$$

El movimiento crucial en el medio utilizó la idempotencia de la matriz del sombrero. El lado derecho es tu fórmula mágica porque es el (fila) vector de coeficientes de correlación entreYy las columnas deX.$\frac{1}{n}Y^\prime X$$Y$$X$

Las siguientes tres fórmulas son bien conocidas, se encuentran en muchos libros sobre regresión lineal. No es difícil derivarlos.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Si sustituye las dos betas en su ecuación , obtendrá la fórmula anterior para R-cuadrado.$R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

---

Aquí hay una "visión" geométrica. A continuación hay dos imágenes que muestran la regresión de por X 1 y X 2 . Este tipo de representación se conoce como variables como vectores en el espacio temático ( lea de qué se trata). Las imágenes se dibujan después de centrar las tres variables y, por lo tanto, (1) la longitud de cada vector = st. desviación de la variable respectiva y (2) ángulo (su coseno) entre cada dos vectores = correlación entre las variables respectivas.$Y$$X_1$$X_2$

es la predicción de regresión (proyección ortogonal deYen "plano X"); ees el término de error; cos∠Y Y =| Y | /| Y| , coeficiente de correlación múltiple.$\hat{Y}$$Y$$e$$cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

La imagen de la izquierda representa las coordenadas oblicuas de Y sobre las variables X 1 y X 2 . Sabemos que tales coordenadas relacionan los coeficientes de regresión. A saber, las coordenadas son: b 1 | X 1 | = b 1 σ X 1 y b 2 | X 2 | = b 2 σ X 2 .$\hat{Y}$$X_1$$X_2$$b_1|X_1|=b_1\sigma_{X_1}$$b_2|X_2|=b_2\sigma_{X_2}$

Y la imagen de la derecha muestra las coordenadas perpendiculares correspondientes . Sabemos que tales coordenadas relacionan los coeficientes de correlación de orden cero (estos son cosenos de proyecciones ortogonales). Si es la correlación entre Y y X 1 y r * 1 es la correlación entre Y y X 1 entonces la coordenada es r 1 | Y | = r 1 σ Y = r ∗ 1 | Y | = $r_1$$Y$$X_1$$r_1^*$$\hat Y$$X_1$ . Del mismo modo para la otra coordenada,r2| Y| =r2σY=r ∗ 2 | Y | =R * 2 σ Y .$r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$$r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Hasta ahora eran explicaciones generales de la representación del vector de regresión lineal. Ahora pasamos a la tarea para mostrar cómo puede conducir a .$R^2 = r_1 \beta_1 + r_2 \beta_2$

En primer lugar, recuerde que en su pregunta @Corone propuso la condición de que la expresión es verdadera cuando las tres variables están estandarizadas , es decir, no solo centradas sino también escaladas a la varianza 1. Entonces (es decir, implicando para ser las "partes de trabajo" de los vectores) tenemos coordenadas iguales a: b 1 | X 1 | = β 1 ; b 2 | X 2 | = β 2 ;$|X_1|=|X_2|=|Y|=1$$b_1|X_1|=\beta_1$$b_2|X_2|=\beta_2$ ; r 2 | Y | = r 2 ; así como R = | Y | / | Y | = | Y | . Redibuje, bajo estas condiciones, solo el "plano X" de las imágenes de arriba:$r_1|Y|=r_1$$r_2|Y|=r_2$$R=|\hat Y|/|Y|=|\hat Y|$

$\hat Y$$R$$\bf P = S C$$\bf P$points X axes$\bf S$$\bf C$axes X axes

$X_1$$X_2$$r_{12}$$r_1 = \beta_1 + \beta_2 r_{12}$$r_2 = \beta_1 r_{12} + \beta_2$

$r$$\beta$$R^2 = r_1 \beta_1 + r_2 \beta_2$$R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

Lo mismo es cierto para cualquier cantidad de predictores X. Desafortunadamente, es imposible dibujar imágenes similares con muchos predictores.