¿Por qué se distribuye RSS chi square times np?

28

Me gustaría entender por qué, bajo el modelo OLS, el RSS (suma residual de cuadrados) se distribuye ( es el número de parámetros en el modelo, el número de observaciones).

χ2(np)
pn

Pido disculpas por hacer una pregunta tan básica, pero parece que no puedo encontrar la respuesta en línea (o en mis libros de texto más orientados a las aplicaciones).

Tal Galili
fuente
3
Tenga en cuenta que las respuestas demuestran que la afirmación no es del todo correcta: la distribución de RSS es (no ) veces una donde es la verdadera varianza de los errores. σ2npχ2(np)σ2
whuber

Respuestas:

36

Considero el siguiente modelo lineal: .y=Xβ+ϵ

El vector de los residuos se estima por

ϵ^=yXβ^=(IX(XX)1X)y=Qy=Q(Xβ+ϵ)=Qϵ

donde .Q=IX(XX)1X

Observe que (la traza es invariante bajo permutación cíclica) y que . Los valores propios de son, por lo tanto, y (algunos detalles a continuación). Por lo tanto, existe una matriz unitaria tal que (las matrices son diagonalizables por matrices unitarias si y solo si son normales ) .tr(Q)=npQ=Q=Q2Q01V

VQV=Δ=diag(1,,1np times,0,,0p times)

Ahora, deje que .K=Vϵ^

Como , tenemos y, por lo tanto, . Asíϵ^N(0,σ2Q)KN(0,σ2Δ)Knp+1==Kn=0

K2σ2=K2σ2χnp2

con .K=(K1,,Knp)

Además, como es una matriz unitaria, también tenemosV

ϵ^2=K2=K2

Así

RSSσ2χnp2

Finalmente, observe que este resultado implica que

E(RSSnp)=σ2

Como , el polinomio mínimo de divide el polinomio . Entonces, los valores propios de están entre y . Como es también la suma de los valores propios multiplicados por su multiplicidad, necesariamente tenemos que es un valor propio con multiplicidad y cero es un valor propio con multiplicidad .Q2Q=0Qz2zQ01tr(Q)=np1npp

ocram
fuente
1
(+1) Buena respuesta. Se puede restringir la atención a ortogonal, en lugar de unitaria, ya que es real y simétrica. Además, ¿qué es ? No lo veo definido. Al reajustar ligeramente el argumento, también se puede evitar el uso de una normal degenerada, en caso de que cause cierta consternación a aquellos que no están familiarizados con él. VQSCR
cardenal
2
@Cardenal. Buen punto. SCR ('Somme des Carrés Résiduels' en francés) debería haber sido RSS.
ocram
Gracias por la respuesta detallada Ocram! Algunos pasos requerirán que busque más, pero ahora tengo un esquema en el que pensar: ¡gracias!
Tal Galili
@Glen_b: Oh, hice una edición hace un par de días para cambiar SCR a SRR. No recordaba que SCR se menciona en mi comentario. Perdón por la confusion.
ocram
@Glen_b: Se suponía que significaba RSS: -S Editado nuevamente. Thx
ocram
9

En mi humilde opinión, la notación matricial complica las cosas. El lenguaje puro del espacio vectorial es más limpio. El modelo se puede escribir donde tiene la distribución normal estándar en y se supone que pertenece a un subespacio vectorial .Y=Xβ+ϵY=μ+σGGRnμWRn

Ahora entra en juego el lenguaje de la geometría elemental. El estimador de mínimos cuadrados de no es más que : la proyección ortogonal de la observable en el espacio al que se supone que pertenece . El vector de los residuos es : proyección en el complemento ortogonal de en . La dimensión de es .μ^μPWYYWμPWYWWRnWdim(W)=ndim(W)

Finalmente, y tiene la distribución normal estándar en , por lo tanto, su norma al cuadrado tiene la con grados de libertad .

PWY=PW(μ+σG)=0+σPWG,
PWGWχ2dim(W)

Esta demostración usa solo un teorema, en realidad un teorema de definición:

Definición y teorema . Un vector aleatorio en tiene la distribución normal estándar en un espacio vectorial si toma sus valores en y sus coordenadas en una ( en total) base ortonormal de son distribuciones normales estándar unidimensionales independientesRnURnUU

(a partir de este teorema de definición, el teorema de Cochran es tan obvio que no vale la pena decirlo)

Stéphane Laurent
fuente