Cómo derivar el error estándar del coeficiente de regresión lineal

20

Para este modelo de regresión lineal univariante dado el conjunto de datos , los coeficientes estimados son Aquí está mi pregunta, de acuerdo con libro y Wikipedia , el error estándar de es ¿Cómo y por qué? D = { ( x 1 , y 1 ) , . . . , ( X n , y n ) } β 1 = Σ i x i y i - n ˉ x ˉ y

yi=β0+β1xi+ϵi
D={(x1,y1),...,(xn,yn)} β 0= ˉ y -
β^1=ixiyinx¯y¯nx¯2ixi2
β^0=y¯β^1x¯
β^1
sβ^1=iϵ^i2(n2)i(xix¯)2
aguacate
fuente
@ocram, gracias, pero no soy capaz de manejar cosas de matrices, lo intentaré.
aguacate
1
@ocram, ya entiendo cómo viene. Pero aún una pregunta: en mi publicación, el error estándar tiene , donde según su respuesta, no lo hace, ¿por qué? (n2)
aguacate

Respuestas:

15

3er comentario anterior: ya entiendo cómo viene. Pero aún una pregunta: en mi publicación, el error estándar tiene (n − 2), donde según su respuesta, no lo hace, ¿por qué?


En mi publicación , se encuentra que El denominador se puede escribir como Por lo tanto,

se^(b^)=nσ^2nxi2(xi)2.
ni(xix¯)2
se^(b^)=σ^2i(xix¯)2

Con es decir, el error cuadrático medio (MSE) en la tabla ANOVA, terminamos con su expresión para \ widehat {\ text {se}} (\ hat {b}) . El término n-2 explica la pérdida de 2 grados de libertad en la estimación de la intersección y la pendiente.^ SE ( b )n-2

σ^2=1n2iϵ^i2
se^(b^)n2
ocram
fuente
1
Creo que entiendo todo lo demás, espero la última parte. ¿Puede mostrar paso a paso por qué ? También sé que está relacionado con los grados de libertad, pero no entiendo las matemáticas. σ^2=1n2iϵ^i2
Mappi
2

Otra forma de pensar sobre el n-2 df es porque usamos 2 medios para estimar el coeficiente de la pendiente (la media de Y y X)

df de Wikipedia: "... En general, los grados de libertad de una estimación de un parámetro son iguales al número de puntajes independientes que entran en la estimación menos el número de parámetros utilizados como pasos intermedios en la estimación del parámetro mismo ".

Eivind
fuente
2
Esto no es realmente una derivación como tal, aunque es una intuición. Sin embargo, para algunas sutilezas relacionadas con esto, vea ¿Cómo entender los grados de libertad?
Silverfish