relación entre de regresión simple y regresión múltiple

Una pregunta muy básica sobre el de las regresiones OLS$R^2$

1. ejecutar la regresión OLS y ~ x1, tenemos un , digamos 0.3$R^2$
2. ejecutar la regresión OLS y ~ x2, tenemos otro , digamos 0.4$R^2$
3. ahora ejecutamos una regresión y ~ x1 + x2, ¿qué valor puede ser la R al cuadrado de esta regresión?

Creo que está claro que para la regresión múltiple no debe ser inferior a 0.4, pero ¿es posible que sea superior a 0.7?$R^2$

El segundo regresor puede simplemente compensar lo que el primero no logró explicar en la variable dependiente. Aquí hay un ejemplo numérico:

Genere x1como un regresor normal estándar, tamaño de muestra 20. Sin pérdida de generalidad, tome , donde es , también. Ahora, tome el segundo regresor como simplemente la diferencia entre la variable dependiente y el primer regresor.u i N ( 0 , 1 $y_i=0.5x_{1i}+u_i$$u_i$$N(0,1)$x2

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

Aparte del límite inferior, que es 0.3 o 0.4 dependiendo de qué variable ingrese primero al modelo, no hay mucho que pueda decir. El aumento de depende en gran medida de la información que la segunda variable aporta al modelo. Por información, nos referimos, por supuesto, a la variación explicada en la respuesta.$R^2$

Hay un concepto que es crítico en ese sentido y es la correlación entre los predictores. Si la correlación es grande, la nueva variable no solo no aportará nada al modelo, sino que también complicará la inferencia para sus variables existentes, ya que las estimaciones se volverán imprecisas (multicolinealidad). Esta es la razón por la que idealmente preferiríamos que la nueva variable sea ortogonal a las otras. Hay pocas posibilidades de que esto suceda en los estudios de observación, pero se puede lograr en entornos controlados, por ejemplo, cuando está construyendo su propio experimento.

Pero, ¿cómo cuantifica con precisión la nueva información que una variable aportará al modelo? Una medida ampliamente utilizada que tiene en cuenta todo esto es el parcial $R^2$ . Si está familiarizado con el ANOVA del modelo lineal, esto no es más que la disminución proporcional en la suma de cuadrados de error que logrará al incluir esta variable en su modelo. Los porcentajes altos son deseables, mientras que los bajos probablemente te harán pensar si este es el curso de acción correcto.

Entonces, como señaló @cardinal en los comentarios, su nuevo coeficiente de determinación podría ser tan alto como 1. También podría ser tan bajo como 0.400001. No hay forma de saberlo sin información adicional.

Coeficiente de determinación en regresión lineal múltiple: en la regresión lineal múltiple, el coeficiente de determinación puede escribirse en términos de las correlaciones por pares para las variables usando la forma cuadrática:

$$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$$

donde es el vector de correlaciones entre el vector de respuesta y cada uno de los vectores explicativos, y es la matriz de correlaciones entre los vectores explicativos (para más información, consulte esta pregunta relacionada ). En el caso de una regresión bivariada tienes:$\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$$\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$

$$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$$

No especificó las direcciones de las correlaciones univariadas en su pregunta, por lo que sin pérdida de generalidad, denotaremos . Sustituyendo sus valores y produce:$D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$$r_{Y,X_1}^2 = 0.3$$r_{Y,X_2}^2 = 0.4$

$$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$$

Es posible que , ya que es posible que la información combinada de las dos variables sea más que la suma de sus partes. Este fenómeno interesante se llama "mejora" (véase, por ejemplo, Lewis y Escobar 1986 ).$R^2 > 0.7$