Según un texto que estoy usando, la fórmula para la varianza del residuo viene dada por:
Me parece difícil de creer ya que la residual es la diferencia entre el valor observado y el valor ajustado; Si uno calculara la varianza de la diferencia, al menos esperaría algunas "ventajas" en la expresión resultante. Cualquier ayuda para entender la derivación sería apreciada.
Respuestas:
La intuición acerca de los signos "más" relacionados con la varianza (del hecho de que incluso cuando calculamos la varianza de una diferencia de variables aleatorias independientes, agregamos sus varianzas) es correcta pero fatalmente incompleta: si las variables aleatorias involucradas no son independientes , entonces las covarianzas también están involucradas, y las covarianzas pueden ser negativas. Existe una expresión que es casi igual que la expresión en la pregunta se pensaba que "debería" ser por la OP (y yo), y es la varianza de la predicción de error , denotan que , donde y 0 = β 0 +e0=y0−y^0 :y0=β0+β1x0+u0
La diferencia crítica entre la varianza del error de predicción y la varianza de la estimación de error (es decir, de la residual), es que el término de error de la observación predicho no se correlaciona con el estimador , ya que el valor se no utilizados en la construcción el estimador y el cálculo de las estimaciones, siendo un valor fuera de muestra.y0
El álgebra para ambos procede exactamente de la misma manera hasta un punto (usando 0 en lugar de i ), pero luego diverge. Específicamente:0 i
En el sencillo de regresión lineal , Var ( u i ) = σ 2 , la varianza del estimador β = ( β 0 , β 1 ) ' es todavíayi=β0+β1xi+ui Var(ui)=σ2 β^=(β^0,β^1)′
Tenemos
y entonces
Tenemos
Entonces
Lo que significa que
El residual-ésimo se define comoi
Los coeficientes reales se tratan como constantes, el regresor es fijo (o está condicionado a él) y tiene cero covarianza con el término de error, pero los estimadores están correlacionados con el término de error, porque los estimadores contienen la variable dependiente y la variable dependiente contiene el término de error. Entonces tenemos
Pack it up a bit to obtain
The term in the big parenthesis has exactly the same structure with the variance of the prediction error, with the only change being that instead ofxi we will have x0 (and the variance will be that of e0 and not of u^i ). The last covariance term is zero for the prediction error because y0 and hence u0 is not included in the estimators, but not zero for the estimation error because yi and hence ui is part of the sample and so it is included in the estimator. We have
the last substitution from howβ^0 is calculated. Continuing,
Inserting this into the expression for the variance of the residual, we obtain
So hats off to the text the OP is using.
(I have skipped some algebraic manipulations, no wonder OLS algebra is taught less and less these days...)
SOME INTUITION
So it appears that what works "against" us (larger variance) when predicting, works "for us" (lower variance) when estimating. This is a good starting point for one to ponder why an excellent fit may be a bad sign for the prediction abilities of the model (however counter-intuitive this may sound...).1/n . Why? because by estimating, we "close our eyes" to some error-variability existing in the sample,since we essentially estimating an expected value. Moreover, the larger the deviation of an observation of a regressor from the regressor's sample mean, the smaller the variance of the residual associated with this observation will be... the more deviant the observation, the less deviant its residual... It is variability of the regressors that works for us, by "taking the place" of the unknown error-variability.
The fact that we are estimating the expected value of the regressor, decreases the variance by
But that's good for estimation. For prediction, the same things turn against us: now, by not taking into account, however imperfectly, the variability iny0 (since we want to predict it), our imperfect estimators obtained from the sample show their weaknesses: we estimated the sample mean, we don't know the true expected value -the variance increases. We have an x0 that is far away from the sample mean as calculated from the other observations -too bad, our prediction error variance gets another boost, because the predicted y^0 will tend to go astray... in more scientific language "optimal predictors in the sense of reduced prediction error variance, represent a shrinkage towards the mean of the variable under prediction". We do not try to replicate the dependent variable's variability -we just try to stay "close to the average".
fuente
Sorry for the somewhat terse answer, perhaps overly-abstract and lacking a desirable amount of intuitive exposition, but I'll try to come back and add a few more details later. At least it's short.
GivenH=X(XTX)−1XT ,
Hence
In the case of simple linear regression ... this gives the answer in your question.
This answer also makes sense: sincey^i is positively correlated with yi , the variance of the difference should be smaller than the sum of the variances.
--
Edit: Explanation of why(I−H) is idempotent.
(i)H is idempotent:
(ii)(I−H)2=I2−IH−HI+H2=I−2H+H=I−H
fuente