¿Cómo se relacionan los residuos con las perturbaciones subyacentes?

En el método de mínimos cuadrados queremos estimar los parámetros desconocidos en el modelo:

Una vez que hayamos hecho eso (para algunos valores observados), obtenemos la línea de regresión ajustada:

Ahora, obviamente, queremos verificar algunas parcelas para asegurarnos de que se cumplen los supuestos. Supongamos que desea verificar la homocedasticidad, sin embargo, para hacer esto, en realidad estamos verificando los residuos . Digamos que examina el gráfico de valores residuales vs predichos, si eso nos muestra que la heterocedasticidad es aparente, entonces, ¿cómo se relaciona eso con el término de perturbación ε j ? ¿La heteroscedasticidad en los residuos implica heteroscedasticidad en términos de perturbación? $e_j$$\varepsilon_j$

La manera más simple de pensar en ello es que sus resultados burdos ( ) son estimaciones de las perturbaciones correspondientes ( ε j = e j ). Sin embargo, hay algunas complejidades adicionales. Por ejemplo, aunque estamos asumiendo en el modelo OLS estándar que los errores / perturbaciones son independientes, no todos los residuos pueden serlo. En general, solo los residuos N - p - 1 pueden ser independientes, ya que ha utilizado p - 1 grados de libertad para estimar el modelo medio y los residuos están limitados a sumar$e_j = y_j-\hat y_j$$\hat\varepsilon_j = e_j$$N-p-1$$p-1$ . Además, la desviación estándar de los residuos brutos no es realmente constante. En general, la línea de regresión se ajusta de modo que esté más cerca en promedio de los puntos con mayor apalancamiento. Como resultado, la desviación estándar de los residuos para esos puntos es menor que la de los puntos de apalancamiento bajos. (Para más información sobre esto, puede ser útil leer las respuestas aquí:Interpretar plot.lm (), y / o aquí:¿Cómo realizar un análisis residual para predictores independientes binarios / dicotómicos en regresión lineal?)$0$

La relación entre ε y ε es:$\hat{\varepsilon}$$\varepsilon$

donde , la matriz de sombrero, es X ( X T X ) - 1 X T .$H$$X(X^TX)^{-1}X^T$

Lo que quiere decir que ε i es una combinación lineal de todos los errores, pero por lo general la mayor parte del peso recae en la que uno -ésimo.$\hat{\varepsilon}_i$$i$

Aquí hay un ejemplo, usando el carsconjunto de datos en R. Considere el punto marcado en púrpura:

$i$$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$$w_j$

Podemos reescribir eso como:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

o más generalmente

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

$h_{ii}$$i$$H$$w_j$$h_{ij}$

$N(0,\sigma^2)$$i$

Es decir, en regresiones con buen comportamiento, los residuos pueden tratarse principalmente como una estimación moderadamente ruidosa de no observable el término de error. A medida que consideramos los puntos más alejados del centro, las cosas funcionan un poco menos bien (el residuo se pondera menos en el error y los pesos en los otros errores se vuelven menos uniformes).

$X$