¿Cuál es la correlación esperada entre la variable residual y la dependiente?

26

En la regresión lineal múltiple, puedo entender que las correlaciones entre el residual y los predictores son cero, pero ¿cuál es la correlación esperada entre el residual y la variable de criterio? ¿Debería esperarse que sea cero o altamente correlacionado? ¿Cuál es el significado de eso?

regression residuals Jfly
fuente

44

¿Qué es una "variable de criterio"?

whuber

2

@whuber Supongo que Jfly se refiere a la respuesta / resultado / dependiente / etc. variable. davidmlane.com/hyperstat/A101702.html Es interesante ver los muchos nombres de esas variables: en.wikipedia.org/wiki/…

Jeromy Anglim

@ Jeromy Gracias! Supuse que ese era el significado, pero no estaba seguro. Es un término nuevo para mí, y para Wikipedia, evidentemente.

whuber

Yo hubiera pensado que esto sería igual a

E [R^{2}]

$E[R^2]$ o algo similar, ya que

R^{2} = [c o r r (y, \hat{y})]^{2}

$R^2=[corr(y,\hat{y})]^2$

probabilityislogic

y = f (x) + e

$y = f(x) + e$ , donde

f

$f$ es la función de regresión,

e

$e$ es error y

C o v (f (x), e) = 0

$Cov(f(x),e) = 0$ . Entonces

C o r r (y, e) = S D (e) / S D (y) = \sqrt{1 - R^{2}}

$Corr(y,e) = SD(e)/SD(y) = \sqrt{1-R^2}$ . Esa es la estadística de muestra; su valor esperado sería similar pero más desordenado.

Ray Koopman

20

En el modelo de regresión:

y_{i} = x_{i}^{'} β + u_{i}

$y_i=\mathbf{x}_i'\beta+u_i$

La suposición habitual es que , es una muestra de iid. Bajo los supuestos de que y tiene rango completo, el estimador de mínimos cuadrados ordinario: $(y_i,\mathbf{x}_i,u_i)$ $i=1,...,n$ $E\mathbf{x}_iu_i=0$ $E(\mathbf{x}_i\mathbf{x}_i')$

\hat{β} = {(\sum_{i = 1}^{n} x_{i} x_{i}^{'})}^{- 1} \sum_{i = 1} x_{i} y_{i}

$\widehat{\beta}=\left(\sum_{i=1}^n\mathbf{x}_i\mathbf{x}_i'\right)^{-1}\sum_{i=1}\mathbf{x}_iy_i$

es consistente y asintóticamente normal. La covarianza esperada entre un residual y la variable de respuesta es:

E y_{i} u_{i} = E (x_{i}^{'} β + u_{i}) u_{i} = E u_{i}^{2}

$Ey_iu_i=E(\mathbf{x}_i'\beta+u_i)u_i=Eu_i^2$

Si además suponemos que y , podemos calcular la covarianza esperada entre y su regresión residual: $E(u_i|\mathbf{x}_1,...,\mathbf{x}_n)=0$ $E(u_i^2|\mathbf{x}_1,...,\mathbf{x}_n)=\sigma^2$ $y_i$

\begin{aligned} E y_{i} {\hat{u}}_{i} & = E y_{i} (y_{i} - x_{i}^{'} \hat{β}) \\ = E (x_{i}^{'} β + u_{i}) (u_{i} - x_{i} (\hat{β} - β)) \\ = E (u_{i}^{2}) (1 - E x_{i}^{'} {(\sum_{j = 1}^{n} x_{j} x_{j}^{'})}^{- 1} x_{i}) \end{aligned}

$\begin{align*} Ey_i\widehat{u}_i&=Ey_i(y_i-\mathbf{x}_i'\widehat{\beta})\\\\ &=E(\mathbf{x}_i'\beta+u_i)(u_i-\mathbf{x}_i(\widehat{\beta}-\beta))\\\\ &=E(u_i^2)\left(1-E\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i\right) \end{align*}$

Ahora para obtener la correlación necesitamos calcular y . Resulta que $\text{Var}(y_i)$ $\text{Var}(\hat{u}_i)$

Var ({\hat{u}}_{i}) = E (y_{i} {\hat{u}}_{i}),

$\text{Var}(\hat u_i)=E(y_i\hat{u}_i),$

por lo tanto

Corr (y_{i}, {\hat{u}}_{i}) = \sqrt{1 - E x_{i}^{'} {(\sum_{j = 1}^{n} x_{j} x_{j}^{'})}^{- 1} x_{i}}

$\text{Corr}(y_i,\hat u_i)=\sqrt{1-E\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i}$

Ahora viene el término viene desde la diagonal de la matriz de sombreros , donde . La matriz es idempotente, por lo tanto, satisface una propiedad siguiente $\mathbf{x}_i' \left(\sum_{j=1}^n\mathbf{x}_j\mathbf{x}_j'\right)^{-1}\mathbf{x}_i$ $H=X(X'X)^{-1}X'$ $X=[\mathbf{x}_i,...,\mathbf{x}_N]'$ $H$

trace (H) = \sum_{i} h_{i i} = rank (H),

$\text{trace}(H)=\sum_{i}h_{ii}=\text{rank}(H),$

donde es el término diagonal de . El es el número de variables linealmente independientes en , que generalmente es el número de variables. Llamémoslo . El número de es el tamaño de la muestra . Entonces tenemos términos no negativos que deberían resumir en . Por lo general, es mucho más grande que , por lo tanto, una gran cantidad de estaría cerca del cero, lo que significa que la correlación entre la variable residual y la respuesta estaría cerca de 1 para la mayor parte de las observaciones. $h_{ii}$ $H$ $\text{rank}(H)$ $\mathbf{x}_i$ $p$ $h_{ii}$ $N$ $N$ $p$ $N$ $p$ $h_{ii}$

El término también se usa en varios diagnósticos de regresión para determinar observaciones influyentes. $h_{ii}$

mpiktas
fuente

10

+1 Este es exactamente el análisis correcto. Pero, ¿por qué no terminas el trabajo y respondes la pregunta? El OP pregunta si esta correlación es "alta" y qué podría significar .

whuber

Por lo tanto, se podría decir que la correlación es aproximadamente

\sqrt{1 - \frac{p}{N}}

$\sqrt{1-\frac{p}{N}}$

probabilidad es

1

La correlación es diferente para cada observación, pero sí, puede decir eso, siempre que X no tenga valores atípicos.

mpiktas

21

La correlación depende de . Si es alto, significa que gran parte de la variación en su variable dependiente puede atribuirse a la variación en sus variables independientes, y NO a su término de error. $R^2$ $R^2$

Sin embargo, si es bajo, significa que gran parte de la variación en su variable dependiente no está relacionada con la variación en sus variables independientes y, por lo tanto, debe estar relacionada con el término de error. $R^2$

Considere el siguiente modelo:

$Y=X\beta+\varepsilon$ , donde y no están correlacionados. $Y$ $X$

Asumiendo condiciones de regularidad suficientes para que el CLT se mantenga.

$\hat{\beta}$ convergerá a , ya que e no están correlacionados. Por lo tanto, siempre será cero. Por lo tanto, la . e están perfectamente correlacionados !!! $0$ $X$ $Y$ $\hat{Y}=X\hat{\beta}$ $\varepsilon:=Y-\hat{Y}=Y-0=Y$ $\varepsilon$ $Y$

Manteniendo todo lo demás fijo, el aumento de disminuirá la correlación entre el error y el dependiente. Una correlación fuerte no es necesariamente motivo de alarma. Esto puede significar simplemente que el proceso subyacente es ruidoso. Sin embargo, un (y, por lo tanto, una alta correlación entre error y dependiente) puede deberse a una especificación errónea del modelo. $R^2$ $R^2$

Mate
fuente

Encuentro esta respuesta confusa, en parte, a través de su uso de " " para soportar tanto para los términos de error en el modelo y los residuos . Otro punto de confusión es la referencia a "converger en" aunque no haya ninguna secuencia de nada en evidencia a la que pueda aplicarse la convergencia. La suposición de que e no están correlacionados parece especial y no ilustra las circunstancias generales. Todo esto oscurece lo que esta respuesta podría estar tratando de decir o qué afirmaciones son generalmente ciertas.

ε

$\varepsilon$

Y - \hat{Y}

$Y-\hat Y$

X

$X$

Y

$Y$

whuber

17

Este tema me parece bastante interesante y las respuestas actuales son, lamentablemente, incompletas o parcialmente engañosas, a pesar de la relevancia y la gran popularidad de esta pregunta.

Por definición del marco OLS clásica no debe haber ninguna relación entrey $y ̂$ $\hat u$ , ya que los residuos obtenidos son por construcción correlacionada a lasal derivar el estimador MCO. La propiedad de minimización de varianza bajo homoscedasticidad asegura que el error residual se distribuya aleatoriamente alrededor de los valores ajustados. Esto puede ser demostrado formalmente por: $y ̂$

Cov (y ̂, u ̂ | X) = Cov (P y, M y | X) = Cov (P y, (I - P) y | X) = P Cov (y, y) (I - P)^{'}

$\text{Cov}(y ̂,u ̂|X)=\text{Cov}(Py,My|X)=\text{Cov}(Py,(I-P)y|X)=P\text{Cov}(y,y)(I-P)'$

= P σ^{2} - P σ^{2} = 0

$=Pσ^2-Pσ^2=0$

Donde y son matrices idempotentes definidas como: y . $M$ $P$ $P=X(X' X)X'$ $M=I-P$

Este resultado se basa en una estricta exogeneidad y homocedasticidad, y prácticamente se mantiene en muestras grandes. La intuición para su uncorrelatedness es la siguiente: Los valores ajustadoscondicionada a se centran alrededor de, que se cree como distribuidos independientemente y de forma idéntica. Sin embargo, cualquier desviación de la exogeneidad y homocedasticidad estricta suposición podría causar las variables explicativas a ser endógenas y estimular una correlación latente entrey. $y ̂$ $X$ $u ̂$ $u ̂$ $y ̂$

Ahora, la correlación entre los residuosy el "original" es una historia completamente diferente: $u ̂$ $y$

Cov (y, u ̂ | X) = Cov (y M y | X) = Cov (y, (1 - P) y) = Cov (y, y) (1 - P) = σ^{2} M

$\text{Cov}(y,u ̂|X)=\text{Cov}(yMy|X)=\text{Cov}(y,(1-P)y)=\text{Cov}(y,y)(1-P)=σ^2 M$

Al revisar la teoría, sabemos que esta matriz de covarianza es idéntica a la matriz de covarianza del residuo residual (prueba omitida). Tenemos: $\hat{u}$

Var (tu ̂) = σ^{2} METRO = Cov (y, tu ̂ El | X)

$\text{Var}(u ̂ )=σ^2 M=\text{Cov}(y,u ̂|X)$

Si nos gustaría calcular la covarianza (escalar) entre y según lo solicitado por el OP, obtenemos: $y$ $\hat{u}$

⟹ {Cov}_{s do una l una r} (y, tu ̂ El | X) = Var (tu ̂ El | X) = (\sum {tu}_{yo}^{2}) / / norte

$\implies \text{Cov}_{scalar}(y,u ̂|X)=\text{Var}(u ̂|X)=\left(∑u_i^2 \right)/N$

(= al sumar las entradas diagonales de la matriz de covarianza y dividir por N)

La fórmula anterior indica un punto interesante. Si probamos la relación haciendo retroceder en los residuos (+ constante), el coeficiente de pendiente , que puede derivarse fácilmente cuando dividimos la expresión anterior por el . $y$ $\hat{u}$ $\beta_{\hat{u},y}=1$ $\text{Var}(u ̂|X)$

Por otro lado, la correlación es la covarianza estandarizada por las respectivas desviaciones estándar. Ahora, la matriz de varianza de los residuos es , mientras que la varianza de es . La correlación convierte así en: $σ^2 M$ $y$ $σ^2 I$ $\text{Corr}(y,u ̂ )$

Corr (y, tu ̂) = \frac{Var (tu ̂)}{\sqrt{Var (\hat{tu}) Var (y)}} = \sqrt{\frac{Var (tu ̂)}{Var (y)}} = \sqrt{\frac{Var (tu ̂)}{σ^{2}}}

$\text{Corr}(y,u ̂ )=\frac{\text{Var}(u ̂ )}{\sqrt{\text{Var}(\hat{u})\text{Var}(y)}}=\sqrt{\frac{\text{Var}(u ̂ )}{\text{Var}(y)} }=\sqrt{\frac{\text{Var}(u ̂ )}{σ^2 }}$

Este es el resultado central que debería mantenerse en una regresión lineal. La intuición es que el expresa el error entre la varianza verdadera del término de error y un proxy para la varianza basada en residuos. Observe que la varianza de es igual a la varianza de más la varianza de los residuos . Por lo tanto, se puede reescribir más intuitivamente como: $\text{Corr}(y,u ̂ )$ $y$ $\hat{y}$ $\hat{u}$

Corr (y, tu ̂) = \frac{1}{\sqrt{1 + \frac{Var (\hat{y)}}{Var (tu ̂)}}}

$\text{Corr}(y,u ̂ )=\frac{1}{\sqrt{1+\frac{\text{Var}(\hat{y)}}{\text{Var}(u ̂ )}}}$

Hay dos fuerzas aquí en el trabajo. Si tenemos un gran ajuste de la línea de regresión, se espera que la correlación sea baja debido a . Por otro lado, es un poco difícil de estimar, ya que es incondicional y una línea en el espacio de parámetros. La comparación de las variaciones incondicionales y condicionales dentro de una relación puede no ser un indicador apropiado después de todo. Quizás, por eso rara vez se hace en la práctica. $\text{Var}(u ̂ )\approx 0$ $\text{Var}(\hat{y})$

Un intento de la conclusión de la pregunta: La correlación entre yes positivo y se refiere a la relación de la varianza de los residuos y la varianza de la verdadera término de error, aproximada por la varianza incondicional en . Por lo tanto, es un poco un indicador engañoso. $y$ $u ̂$ $y$

A pesar de este ejercicio nos puede dar alguna intuición sobre el funcionamiento y los supuestos teóricos inherentes de una regresión por mínimos cuadrados, que rara vez se evalúa la correlación entre y. Ciertamente, hay pruebas más establecidas para verificar las propiedades del término de error verdadero. En segundo lugar, tenga en cuenta que los residuos no son el término de error, y las pruebas de residuosque hacer predicciones de las características sobre el verdadero término de error son limitadas y su necesidad validez para ser manejados con sumo cuidado. $y$ $u ̂$ $u ̂$ $u$

Por ejemplo, me gustaría señalar una declaración hecha por un póster anterior aquí. Se dice que,

"Si sus residuos están correlacionados con sus variables independientes, entonces su modelo es heteroscedastico ..."

Creo que eso puede no ser del todo válido en este contexto. Lo creas o no, pero los residuos MCOson por la construcción hechos para ser correlacionado con las variables independientes . Para ver esto, considere: $u ̂$ $x_k$

X^{'} {tu}_{yo} = X^{'} METRO y = X^{'} (yo - PAGS) y = X^{'} y - X^{'} PAGS y

$X'u_i=X'My=X'(I-P)y=X'y-X'Py$

= X^{'} y - X^{'} X (X^{'} X) X^{'} y = X^{'} y - X^{'} y = 0 0

$=X'y-X'X(X'X)X'y=X'y-X'y=0$

⟹ X^{'} {tu}_{yo} = 0 0 ⟹ Cov (X^{'}, {tu}_{yo} El | X) = 0 0 ⟹ Cov (X_{k yo}, {tu}_{yo} El | X_{k} yo) = 0 0

$\implies X'u_i=0 \implies \text{Cov}(X',u_i|X)=0 \implies \text{Cov}(x_{ki},u_i|x_ki)=0$

Sin embargo, es posible que haya escuchado afirmaciones de que una variable explicativa está correlacionada con el término de error . Tenga en cuenta que tales afirmaciones se basan en suposiciones sobre toda la población con un verdadero modelo de regresión subyacente, que no observamos de primera mano. En consecuencia, la comprobación de la correlación entre y inútil en un marco OLS lineal. Sin embargo, cuando probamos la heterocedasticidad , tenemos en cuenta aquí el segundo momento condicional, por ejemplo, regresamos los residuos al cuadrado en o una función de $y$ $u ̂$ $X$ $X$ , como suele ser el caso con los estimadores de FGSL. Esto es diferente de evaluar la correlación simple. Espero que esto ayude a aclarar las cosas.

Majte
fuente

1

Tenga en cuenta que tenemos (al menos aproximadamente de todos modos). Esto le da a que es una intuición adicional sobre lo que mencionas en párrafos posteriores.

\frac{v a r (\hat{u})}{v a r (y)} = \frac{S S E}{T S S} = 1 - R^{2}

$\frac{var(\hat{u})}{var(y)}=\frac{SSE}{TSS}=1-R^2$

c o r r (y, \hat{u}) = \sqrt{1 - R^{2}}

$corr(y,\hat{u})=\sqrt{1-R^2}$

probabilidadislogic

2

Lo que me parece interesante de esta respuesta es que la correlación siempre es positiva.

probabilidadislogic

Usted declara que es una matriz, pero divide por ella.

V a r (y)

$Var(y)$

mpiktas

@probabilityislogic: No estoy seguro si puedo seguir tu paso. Sería entonces debajo de la raíz cuadrada 1+ (1/1-R ^ 2), que es (2-R ^ 2) / (1-R ^ 2)? Sin embargo, lo que es cierto es que sigue siendo positivo. La intuición es que si tiene una línea a través de un diagrama de dispersión y regresa esta línea en los errores de esa línea, debería ser obvio que a medida que el valor y de esa línea aumenta, el valor de los residuos también aumenta. Esto se debe a que los residuos dependen positivamente de y por construcción.

Majte

@mpiktas: en este caso, la matriz se convierte en un escalar, ya que estamos tratando y solo en una dimensión.

Majte

6

La respuesta de Adán es incorrecta. Incluso con un modelo que se ajuste perfectamente a los datos, aún puede obtener una alta correlación entre los residuos y la variable dependiente. Esa es la razón por la que ningún libro de regresión le pide que verifique esta correlación. Puede encontrar la respuesta en el libro "Análisis de regresión aplicada" del Dr. Draper.

Jeff
fuente

3

Incluso si es correcto, esto es más una afirmación que una respuesta según los estándares de CV, @Jeff. ¿Te importaría elaborar / respaldar tu reclamo? Incluso un número de página y edición de Draper & Smith sería suficiente.

gung - Restablece a Monica

4

Por lo tanto, los residuos son su varianza inexplicable, la diferencia entre las predicciones de su modelo y el resultado real que está modelando. En la práctica, pocos modelos producidos a través de la regresión lineal tendrán todos los residuos cercanos a cero a menos que se utilice una regresión lineal para analizar un proceso mecánico o fijo.

Idealmente, los residuos de su modelo deben ser aleatorios, lo que significa que no deben estar correlacionados con sus variables independientes o dependientes (lo que usted llama la variable de criterio). En la regresión lineal, su término de error se distribuye normalmente, por lo que sus residuos también deberían distribuirse normalmente. Si tiene valores atípicos significativos, o si sus residuos están correlacionados con su variable dependiente o sus variables independientes, entonces tiene un problema con su modelo.

Si tiene valores atípicos significativos y una distribución no normal de sus residuos, entonces los valores atípicos pueden estar sesgando sus pesos (Betas), y sugeriría calcular DFBETAS para verificar la influencia de sus observaciones en sus pesos. Si sus residuos están correlacionados con su variable dependiente, entonces hay una cantidad significativamente grande de varianza inexplicada que no está contabilizando. También puede ver esto si está analizando observaciones repetidas de la misma cosa, debido a la autocorrelación. Esto puede verificarse al ver si sus residuos están correlacionados con su variable de tiempo o índice. Si sus residuos están correlacionados con sus variables independientes, entonces su modelo es heteroscedastic (ver: http://en.wikipedia.org/wiki/Heteroscedasticity) Debe verificar (si aún no lo ha hecho) si sus variables de entrada están normalmente distribuidas, y si no, entonces debería considerar escalar o transformar sus datos (los tipos más comunes son log y raíz cuadrada) para hacerlo más normalizado

En el caso de ambos, sus residuos y sus variables independientes, debe tomar un QQ-Plot, así como realizar una prueba de Kolmogorov-Smirnov (esta implementación particular a veces se conoce como la prueba de Lilliefors) para asegurarse de que sus valores Se ajusta a una distribución normal.

Tres cosas que son rápidas y pueden ser útiles para tratar este problema, son examinar la mediana de sus residuos, debe ser lo más cercano a cero posible (la media casi siempre será cero como resultado de cómo se ajusta el término de error en regresión lineal), una prueba de Durbin-Watson para la autocorrelación en sus residuos (especialmente como mencioné antes, si está observando múltiples observaciones de las mismas cosas), y realizar un gráfico residual parcial lo ayudará a buscar heterocedasticidad y valores atípicos.

Adán
fuente

Muchas gracias. Tu explicación es muy útil para mí.

Jfly

1

+1 Buena respuesta integral. Voy a hacer nitpick en 2 puntos. "Si sus residuos están correlacionados con sus variables independientes, entonces su modelo es heteroscedastic". Diría que si la varianza de sus residuos depende del nivel de una variable independiente, entonces tiene heteroscedasticidad. Además, he escuchado las pruebas de Kolmogorov-Smirnov / Lilliefors descritas como "notoriamente poco confiables", y en la práctica ciertamente he encontrado que esto es cierto. Es mejor hacer una determinación subjetiva basada en un gráfico QQ o un histograma simple.

rolando2

44

La afirmación de que "los residuos de su modelo ... no deben correlacionarse con ... su ... variable dependiente" no es generalmente cierta, como se explica en otras respuestas en este hilo. ¿Te importaría corregir esta publicación?

gung - Restablece a Monica

1

(-1) Creo que esta publicación no es lo suficientemente relevante para la pregunta formulada. Es bueno como consejo general, pero quizás sea un caso de la "respuesta correcta a la pregunta incorrecta".

probabilityislogic

¿Cuál es la correlación esperada entre la variable residual y la dependiente?

Respuestas: