Regresión sin intercepción: derivando

8

En Una Introducción al Aprendizaje Estadístico (James et al.), En la sección 3.7 ejercicio 5, establece que la fórmula para suponiendo una regresión lineal sin una intersección es donde yβ^1

β^1=i=1nxiyii=1nxi2,
β^0=y¯β^1x¯β^1=SxySxx son las estimaciones habituales en OLS para la regresión lineal simple (Sxy=i=1n(xix¯)(yiy¯))

Este no es el ejercicio real ; Simplemente me pregunto cómo derivar la ecuación. Sin usar álgebra matricial , ¿cómo puedo derivarlo?

Mi intento: con β^0=0, tenemos β^1=y¯x¯=SxySxx.

Después de un poco de álgebra, se puede demostrar que Sxy=i=1nxi2nx¯y¯ y Sxx=i=1nxi2nx¯2. A partir de aquí, estoy atascado.

Clarinetista
fuente
1
La fórmula es inmediata a partir de la interpretación geométrica de mínimos cuadrados , utilizandoX/ /El |El |XEl |El | como un "emparejador" para y y reconociendo la fórmula para (β^1)X como siendo (y(X/ /El |El |XEl |El |))X/ /El |El |XEl |El |.
whuber
@whuber: en lugar de escribir X/ /El |El |XEl |El |, Yo escribiría X/ /X. Si eso no es lo suficientemente notorio para usted, considere la diferencia tipográfica entre El |El |XEl |El |El |El |yEl |El |,codificado como || x || || y ||, yXy, codificado como \ | x \ | \ | y \ |.
Michael Hardy

Respuestas:

15

Esto es directo de la definición de mínimos cuadrados ordinarios. Si no hay intercepción, uno está minimizandoR(β)=yo=1yo=norte(yyo-βXyo)2. Esto es suave en función deβ, por lo que todos los mínimos (o máximos) ocurren cuando la derivada es cero. Diferenciando con respecto aβ obtenemos -yo=1yo=norte2(yyo-βXyo)Xyo. Resolviendo paraβ da la formula.

meh
fuente