Mínimos cuadrados generalizados: ¿de coeficientes de regresión a coeficientes de correlación?

Para mínimos cuadrados con un predictor:

$y = \beta x + \epsilon$

Si e están estandarizados antes del ajuste (es decir, ), entonces:$x$$y$$\sim N(0,1)$

• $\beta$ es lo mismo que el coeficiente de correlación de Pearson, .$r$
• $\beta$ es el mismo en la regresión reflejada:$x = \beta y + \epsilon$

Para mínimos cuadrados generalizados (GLS), ¿se aplica lo mismo? Es decir, si estandarizo mis datos, ¿puedo obtener coeficientes de correlación directamente de los coeficientes de regresión?

Al experimentar con los datos, el GLS reflejado conduce a diferentes coeficientes y tampoco estoy seguro de creer que los coeficientes de regresión se ajusten a mis valores esperados de correlación. Sé que la gente cita coeficientes de correlación GLS, así que me pregunto cómo llegan a ellos y, por lo tanto, ¿qué significan realmente?$\beta$

La respuesta es sí, los coeficientes de regresión lineal son las correlaciones de los predictores con la respuesta, pero solo si usa el sistema de coordenadas correcto .

Para ver lo que quiero decir, recordar que si y Y están centrados y estandarizado, entonces la correlación entre cada X i y Y es sólo el producto escalar x t i y . Además, la solución de mínimos cuadrados para la regresión lineal es$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

Si sucede que (la matriz de identidad), entonces$X^{t} X = I$

$$\beta = X^t y$$

y recuperamos el vector de correlación. A menudo es atractivo reformular un problema de regresión en términos de predictores que satisfacen ˜ X t ˜ X = I al encontrar combinaciones lineales apropiadas de los predictores originales que hacen que esta relación sea verdadera (o equivalente, un cambio lineal de coordenadas); Estos nuevos predictores se denominan componentes principales.$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

Entonces, en general, la respuesta a su pregunta es sí, pero solo cuando los predictores no están correlacionados . De lo contrario, la expresión

$$X^t X \beta = X^t y$$

muestra que las betas deben mezclarse con las correlaciones entre los predictores mismos para recuperar las correlaciones predictor-respuesta.

Como nota al margen, esto también explica por qué el resultado siempre es cierto para una regresión lineal variable. Una vez que el vector predictor está estandarizado, entonces:$x$

$$x_0^t x = \sum_i x_{i} = 0$$

$x_0$$X$$X^t X = I$