¿Por qué la regresión polinómica se considera un caso especial de regresión lineal múltiple?

38

Si la regresión polinómica modela relaciones no lineales, ¿cómo puede considerarse un caso especial de regresión lineal múltiple?

Wikipedia señala que "Aunque la regresión polinómica ajusta un modelo no lineal a los datos, como problema de estimación estadística es lineal, en el sentido de que la función de regresión es lineal en los parámetros desconocidos que se estiman de los datos ".E(y|x)

¿Cómo es lineal la regresión polinómica en los parámetros desconocidos si los parámetros son coeficientes para términos con orden 2?

gavinmh
fuente
44
Los parámetros a estimar son (multi-) lineales. Si estuvieras estimando los valores de los exponentes, el problema de la estimación no sería lineal; pero cuadrar un predictor fija ese exponente exactamente en 2.
Sycorax dice Reinstate Monica el
Entiendo que el comentario de @ user777, así como las respuestas a continuación, se aplican no solo a la regresión polinómica, sino también a cualquier regresión que use una biyección de las variables predictoras. por ejemplo, cualquier función reversible, como , , etc. (además de algunas otras funciones, obviamente, ya que las potencias 2 no son biyectivas). e xlosol(X)miX
naught101 01 de
Gracias a todos; Todas las respuestas y comentarios fueron útiles.
gavinmh

Respuestas:

53

Cuando se ajusta a un modelo de regresión como , el modelo y el estimador OLS no 'saben' que es simplemente el cuadrado de , solo 'piensa' que es otra variable. Por supuesto, existe cierta colinealidad, que se incorpora al ajuste (por ejemplo, los errores estándar son mayores de lo que podrían ser de otro modo), pero muchos pares de variables pueden ser algo colineales sin que una de ellas sea una función de la otra. xi 2 i xiy^yo=β^0 0+β^1Xyo+β^2Xyo2Xyo2Xyo

No reconocemos que en realidad hay dos variables independientes en el modelo, ya que sabemos que es en última instancia la misma variable que que transformamos y se incluyeron con el fin de capturar una relación curvilínea entre y . Ese conocimiento de la verdadera naturaleza de , junto con nuestra creencia de que existe una relación curvilínea entre e es lo que nos dificulta comprender la forma en que todavía es lineal desde la perspectiva del modelo. Además, visualizamos y x i x i y i x 2 i x i y i x i x 2 i x , yXyo2XyoXyoyyoXyo2XyoyyoXyoXyo2juntos observando la proyección marginal de la función 3D en el plano 2D . X,y

Si solo tiene y , puede intentar visualizarlos en el espacio 3D completo (aunque todavía es bastante difícil ver realmente qué está pasando). Si observara la función ajustada en el espacio 3D completo, vería que la función ajustada es un plano 2D y, además, que es un plano plano. Como digo, es difícil ver bien porque los datos solo existen a lo largo de una línea curva que atraviesa ese espacio 3D (ese hecho es la manifestación visual de su colinealidad). Podemos intentar hacer eso aquí. Imagine que este es el modelo ajustado: XyoXyo2Xyo,Xyo2

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

ingrese la descripción de la imagen aquí

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

ingrese la descripción de la imagen aquí

Puede ser más fácil de ver en estas imágenes, que son capturas de pantalla de una figura 3D girada con los mismos datos utilizando el rglpaquete.

ingrese la descripción de la imagen aquí

Cuando decimos que un modelo que es "lineal en los parámetros" realmente es lineal, esto no es solo un sofisma matemático. Con las variables , está ajustando un hiperplano -dimensional en un hiperespacio -dimensional (en nuestro ejemplo, un plano 2D en un espacio 3D). Ese hiperplano es realmente 'plano' / 'lineal'; No es solo una metáfora. pagspagspags+1

gung - Restablece a Monica
fuente
17

Entonces, un modelo lineal general es una función que es lineal en los parámetros desconocidos . Una regresión polinómica, por ejemplo es cuadrática como una función de pero lineal en los coeficientes de , y . De manera más general, un modelo lineal general se puede expresar como , donde son funciones arbitrarias de las entradas vectoriales - vea que puede incluir cualquier término de interacción (entre componentes de ) y similares.y=una+siX+doX2Xunasidoy=yo=0 0norteunayohyo(X)hyoXhyoX

abeja reina
fuente
14

yyo=si0 0+si1Xyonorte1++sipagsXyonortepags+ϵyo.

y=Xsi+ϵ;X=(1X1norte1X1nortepags1X2norte1X2nortepags1Xnortenorte1Xnortenortepags).
mookid
fuente