¿Distribución del error de suma de cuadrados para regresión lineal?

Sé que la distribución de la varianza muestral Es por el hecho de que puede expresarse en forma de matriz, xAx ' (donde A: simétrica), y podría expresarse nuevamente en: x'QDQ'x (donde Q: ortonormal, D: matriz diagonal).

$$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$$ $$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$$ $(X-\bar{X})^2$$xAx'$$x'QDQ'x$

¿Qué pasa con $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$ , dada la suposición $(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$ ?

Calculo

$$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$$

Pero no tengo idea de cómo demostrarlo o mostrarlo.

¿Se distribuye exactamente como $\chi^2_{(n-2)}$ ?

Podemos probar esto para un caso más general de variables utilizando la "matriz de sombreros" y algunas de sus propiedades útiles. Estos resultados suelen ser mucho más difíciles de establecer en términos no matriciales debido al uso de la descomposición espectral.$p$

Ahora en la versión matricial de mínimos cuadrados, la matriz del sombrero es donde tiene filas y columnas (columna de unos para ). Asuma el rango completo de la columna por conveniencia; de lo contrario, podría reemplazar por el rango de la columna de a continuación. Podemos escribir los valores ajustados como o en notación matricial . Usando esto, podemos escribir la suma de cuadrados como:$H=X(X^TX)^{-1}X^T$$X$$n$$p+1$$\beta_0$$p+1$$X$$\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$$\hat{Y}=HY$

$$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$$ $$=\frac{Y^T(I_n-H)Y}{\sigma^2}$$

Donde es una matriz de identidad de orden . El último paso se deduce del hecho de que es una matriz idepotente, como$I_n$$n$$H$

$$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$$

Ahora, una propiedad clara de las matrices idepotentes es que todos sus valores propios deben ser iguales a cero o uno. Dejando que denote un vector propio normalizado de con valor propio , podemos probar esto de la siguiente manera:$e$$H$$l$

$$He=le\implies H(He)=H(le)$$ $$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$$ $$\implies le=l^2e\implies l=0\text{ or }1$$

(tenga en cuenta que no puede ser cero ya que debe satisfacer ) Ahora porque es idepotente, también lo es, porque$e$$e^Te=1$$H$$I_n-H$

$$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$$

También tenemos la propiedad de que la suma de los valores propios es igual a la traza de la matriz, y

$$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$$ $$=n-tr(I_{p+1})=n-p-1$$

Por lo tanto, debe tener valores propios iguales a y valores propios iguales a .$I-H$$n-p-1$$1$$p+1$$0$

Ahora podemos usar la descomposición espectral de donde y es ortogonal (porque es simétrica). Una propiedad adicional que es útil es que . Esto ayuda a reducir la matriz$I-H=ADA^T$$D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$$A$$I-H$$HX=X$$A$

$$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$$ $$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$$

y obtenemos:

$$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$$

Ahora, bajo el modelo tenemos y usando la teoría normal estándar tenemos que muestra que los componentes de son independientes. Ahora, usando el resultado útil, tenemos que para . La distribución de chi-cuadrado con grados de libertad para la suma de los errores al cuadrado sigue inmediatamente.$Y\sim N(X\beta,\sigma^2I)$$A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$$A^TY$$(A^TY)_i\sim N(0,\sigma^2)$$i=1,\dots,n-p-1$$n-p-1$