¿Por qué la regresión polinómica se considera un caso especial de regresión lineal múltiple?

Si la regresión polinómica modela relaciones no lineales, ¿cómo puede considerarse un caso especial de regresión lineal múltiple?

Wikipedia señala que "Aunque la regresión polinómica ajusta un modelo no lineal a los datos, como problema de estimación estadística es lineal, en el sentido de que la función de regresión es lineal en los parámetros desconocidos que se estiman de los datos ".$\mathbb{E}(y | x)$

¿Cómo es lineal la regresión polinómica en los parámetros desconocidos si los parámetros son coeficientes para términos con orden 2?$\ge$

Cuando se ajusta a un modelo de regresión como , el modelo y el estimador OLS no 'saben' que es simplemente el cuadrado de , solo 'piensa' que es otra variable. Por supuesto, existe cierta colinealidad, que se incorpora al ajuste (por ejemplo, los errores estándar son mayores de lo que podrían ser de otro modo), pero muchos pares de variables pueden ser algo colineales sin que una de ellas sea una función de la otra. xi 2 i x$\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$$x^2_i$$x_i$

No reconocemos que en realidad hay dos variables independientes en el modelo, ya que sabemos que es en última instancia la misma variable que que transformamos y se incluyeron con el fin de capturar una relación curvilínea entre y . Ese conocimiento de la verdadera naturaleza de , junto con nuestra creencia de que existe una relación curvilínea entre e es lo que nos dificulta comprender la forma en que todavía es lineal desde la perspectiva del modelo. Además, visualizamos y x i x i y i x 2 i x i y i x i x 2 i x , $x^2_i$$x_i$$x_i$$y_i$$x^2_i$$x_i$$y_i$$x_i$$x^2_i$juntos observando la proyección marginal de la función 3D en el plano 2D . $x, y$

Si solo tiene y , puede intentar visualizarlos en el espacio 3D completo (aunque todavía es bastante difícil ver realmente qué está pasando). Si observara la función ajustada en el espacio 3D completo, vería que la función ajustada es un plano 2D y, además, que es un plano plano. Como digo, es difícil ver bien porque los datos solo existen a lo largo de una línea curva que atraviesa ese espacio 3D (ese hecho es la manifestación visual de su colinealidad). Podemos intentar hacer eso aquí. Imagine que este es el modelo ajustado: $x_i$$x^2_i$$x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

Puede ser más fácil de ver en estas imágenes, que son capturas de pantalla de una figura 3D girada con los mismos datos utilizando el rglpaquete.

Cuando decimos que un modelo que es "lineal en los parámetros" realmente es lineal, esto no es solo un sofisma matemático. Con las variables , está ajustando un hiperplano -dimensional en un hiperespacio -dimensional (en nuestro ejemplo, un plano 2D en un espacio 3D). Ese hiperplano es realmente 'plano' / 'lineal'; No es solo una metáfora. $p$$p$$p\!+\!1$

Entonces, un modelo lineal general es una función que es lineal en los parámetros desconocidos . Una regresión polinómica, por ejemplo es cuadrática como una función de pero lineal en los coeficientes de , y . De manera más general, un modelo lineal general se puede expresar como , donde son funciones arbitrarias de las entradas vectoriales - vea que puede incluir cualquier término de interacción (entre componentes de ) y similares.$y = a + bx + cx^2$$x$$a$$b$$c$$y = \sum_{i=0}^N a_i h_i(x)$$h_i$$x$$h_i$$x$