Puede estandarizada

Estoy tratando de interpretar los resultados de un artículo, donde aplicaron regresión múltiple para predecir varios resultados. Sin embargo, los $\beta$ '(coeficientes B estandarizados definidos como $\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$ dondees la variable dependiente yes un predictor) informado no parece coincidir con elinformado:x 1 R $y$$x_1$$R^2$

A pesar de 's de -0.83, -0.29, -0.16, -0.43, 0.25 y -0.29, el reportado es solo 0.20.R $\beta$$R^2$

Además, los tres predictores: peso, IMC y% de grasa son multicolineales, correlacionados alrededor de r = 0.8-0.9 entre sí dentro de los sexos.

¿Es plausible el valor con estos 's, o no existe una relación directa entre los ' s y el ? β β R $R^2$$\beta$$\beta$$R^2$

Además, ¿podrían los problemas con los predictores multicolineales afectar la de un cuarto predictor (VO2máx), que se correlaciona alrededor de r = 0.4 con las tres variables antes mencionadas?$\beta$

La interpretación geométrica de la regresión de mínimos cuadrados ordinarios proporciona la información necesaria.

La mayor parte de lo que necesitamos saber se puede ver en el caso de dos variables independientes y x 2 con la respuesta y . Los coeficientes estandarizados, o "betas", surgen cuando los tres vectores están estandarizados a una longitud común (que podemos considerar como unidad). Por lo tanto, x 1 y x 2 son vectores unitarios en un plano E 2 --están ubicados en el círculo unitario-- ey es un vector unitario en un espacio euclidiano tridimensional E 3 que contiene ese plano. El valor ajustado y y en E $x_1$$x_2$$y$$x_1$$x_2$$E^2$$y$$E^3$$\hat y$ es la proyección ortogonal (perpendicular) de$y$$E^2$. Debido a que es simplemente la longitud al cuadrado de $R^2$$\hat y$ , que ni siquiera necesita visualizar las tres dimensiones: toda la información que necesitamos se puede dibujar en ese plano.

Regresores ortogonales

La mejor situación es cuando los regresores son ortogonales, como en la primera figura.

En esta y en el resto de las figuras, dibujaré constantemente el disco de la unidad en blanco y los regresores como flechas negras. siempre apuntará directamente a la derecha. Las gruesas flechas rojas representan las componentes de y en los x 1 y x 2 direcciones: es decir, β 1 x 1 y β 2 x 2 . La longitud de y es el radio del círculo gris en la que se encuentra - pero recuerda que R 2 es el$x_1$$\hat y$$x_1$$x_2$$\beta_1 x_1$$\beta_2 x_2$$\hat y$$R^2$ cuadrado de esa longitud.

El teorema de Pitágoras afirma

$$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$$

Debido a que el teorema de Pitágoras se sostiene en cualquier cantidad de dimensiones, este razonamiento se generaliza a cualquier número de regresores, produciendo nuestro primer resultado:

Cuando los regresores son ortogonales, es igual a la suma de los cuadrados de las betas.$R^2$

Un corolario inmediato es que cuando solo hay un regresor, regresión univariante, $R^2$ es el cuadrado de la pendiente normalizada.

Correlacionado

Los regresores correlacionados negativamente se encuentran en ángulos mayores que un ángulo recto.

Es visualmente aparente en esta imagen que la suma de los cuadrados de las betas es estrictamente mayor que $R^2$ . Esto se puede probar algebraicamente usando la Ley de cosenos o trabajando con una solución matricial de las ecuaciones normales.

Al hacer que los dos regresores casi paralelo, podemos posicionar y cerca del origen (para un R 2 cerca de 0 ), mientras que sigue teniendo componentes grandes en el x 1 y x 2 dirección. Por lo tanto, no hay límite de cuán pequeño puede ser R 2 .$\hat y$$R^2$$0$$x_1$$x_2$$R^2$

Vamos a recordar este resultado obvio, nuestra segunda generalidad:

Cuando los regresores están correlacionados, puede ser arbitrariamente más pequeño que la suma de los cuadrados de las betas.$R^2$

Sin embargo, esta no es una relación universal, como lo demuestra la siguiente figura.

Ahora excede estrictamente la suma de cuadrados de las betas. Al dibujar las dos regresores cerca juntos y mantener y entre ellos, podemos hacer el betas tanto enfoque 1 / 2 , incluso cuando R 2 es cerca de 1 . Un análisis adicional puede requerir algo de álgebra: lo tomo a continuación.$R^2$$\hat y$$1/2$$R^2$$1$

Dejo a su imaginación construir ejemplos similares con regresores positivamente correlacionados, que por lo tanto se encuentran en ángulos agudos.

Tenga en cuenta que estas conclusiones son incompletas: existen límites respecto de cuánto menos se puede comparar con la suma de los cuadrados de las betas. En particular, al examinar cuidadosamente las posibilidades, puede concluir (para una regresión con dos regresores) que$R^2$

Cuando los regresores están correlacionados positivamente y las betas tienen un signo común, o cuando los regresores están correlacionados negativamente y las betas tienen signos diferentes, debe ser al menos tan grande como la suma de los cuadrados de las betas. $R^2$

---

Resultados algebraicos

Generalmente, dejemos que los regresores sean (vectores de columna) y la respuesta sea y . Normalización significa que (a) cada uno es ortogonal al vector ( 1 , 1 , ... , 1 ) ' y (b) tienen longitudes unitarias:$x_1, x_2, \ldots, x_p$$y$$(1,1,\ldots,1)^\prime$

$$|x_i|^2 = |y|^2 = 1.$$

Ensamblar los vectores columna en un n × p matriz X . Las reglas de la multiplicación de matrices implican que$x_i$$n\times p$$X$

$$\Sigma = X^\prime X$$

es la matriz de correlación de la . Las betas están dadas por las ecuaciones normales,$x_i$

$$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$$

Además, por definición, el ajuste es

$$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$$

Su longitud al cuadrado da por definición:$R^2$

$$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$$

$R^2$

$$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$$

$L_2$$A$$p^2$

$$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$$

La desigualdad de Cauchy-Schwarz implica

$$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$$

$1$$p^2$$p\times p$$\Sigma$$|\Sigma|_2$$\sqrt{1\times p^2} = p$

$$R^2 \le p\, \beta^\prime \beta.$$

$x_i$

$R^2$$R^2/p$

---

Conclusiones

$R^2$$\hat y$$R^2$ es distinto de cero.

$1.1301$$R^2$$1$

$-0.83$$0.69$$R^2$$0.20$$\text{VO}_{2\,\text{max}}$

$R^2$$x_1$$x_2$$\hat y$$x_1$$x_2$$y$por cantidades desconocidas (dependiendo de cómo los tres están relacionados con las covariables), dejándonos sin saber casi nada sobre los tamaños reales de los vectores con los que estamos trabajando.