¿Importa el orden de las variables explicativas al calcular sus coeficientes de regresión?

Al principio pensé que el orden no importaba, pero luego leí sobre el proceso de ortogonalización de gram-schmidt para calcular coeficientes de regresión múltiple, y ahora tengo dudas.

Según el proceso de gram-schmidt, cuanto más tarde se indexa una variable explicativa entre las otras variables, más pequeño es su vector residual porque los vectores residuales de las variables anteriores se restan de él. Como resultado, el coeficiente de regresión de la variable explicativa también es más pequeño.

Si eso es cierto, entonces el vector residual de la variable en cuestión sería más grande si se indexara antes, ya que se restarían menos vectores residuales. Esto significa que el coeficiente de regresión también sería mayor.

Ok, entonces me han pedido que aclare mi pregunta. Así que publiqué capturas de pantalla del texto que me confundieron en primer lugar. Ok, aquí va.

Entiendo que hay al menos dos opciones para calcular los coeficientes de regresión. La primera opción se denota (3.6) en la siguiente captura de pantalla.

Aquí está la segunda opción (tuve que usar varias capturas de pantalla).

A menos que esté malinterpretando algo (que definitivamente es posible), parece que el orden importa en la segunda opción. ¿Importa en la primera opción? ¿Por qué o por qué no? ¿O mi marco de referencia está tan desordenado que ni siquiera es una pregunta válida? Además, ¿está todo esto relacionado de alguna manera con la suma de cuadrados tipo I versus la suma de cuadrados tipo II?

Muchas gracias de antemano, estoy tan confundido!

Creo que la confusión puede estar surgiendo de algo un poco más simple, pero brinda una buena oportunidad para revisar algunos asuntos relacionados.

Tenga en cuenta que el texto es no afirmar que todos los coeficientes de regresión beta i se puede calcular a través de los sucesivos vectores residuales como β i ? = ⟨ Y , z i ⟩$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$ Sino que sólo laúltima uno, β p , se puede calcular de esta manera!

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

El esquema de ortogonalización sucesivo (una forma de ortogonalización de Gram-Schmidt) está (casi) produciendo un par de matrices y G de manera que X = Z $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$$\G$ donde Z es n × p con columnas ortonormales y G = ( g i j ) es p × p triangular superior. Digo "casi", ya que el algoritmo solo especifica Z hasta las normas de las columnas, que en general no serán una, pero se puede hacer que tengan la norma de la unidad normalizando las columnas y haciendo un ajuste simple correspondiente a la matriz de coordenadas G .

$$\m X = \Z \G \>,$$ $\Z$$n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

Suponiendo, por supuesto, que tiene rango p ≤ n , la única solución de mínimos cuadrados es el vector β que resuelve el sistema X T X β = X T $\m X \in \mathbb R^{n \times p}$$p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

Sustituyendo y utilizando Z T Z = I (por construcción), obtenemos G T G β = G T Z T $\m X = \Z \G$$\Z^T \Z = \m I$ Que es equivalente a G β = Z T

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

Ahora, concéntrate en la última fila del sistema lineal. El único elemento distinto de cero de en la última fila es g p p . Así, obtenemos que g p p β p = ⟨ y , z p$\G$$g_{pp}$

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ $g_{pp} = \|\z_p\|$$\z_i$

$\bhat_i$$(p-1)$

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

Descomposición general de QR

$\m X$

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$

$\m X$$\hat{\m y}$

$\beta_j$$\beta_p$

Ejercicio 3.4 en ESL

$X$

Solución

$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

$QR$$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ $\hat \beta_{p-1}$$\beta_j$

¿Por qué no probarlo y comparar? Ajuste un conjunto de coeficientes de regresión, luego cambie el orden y vuelva a ajustarlos para ver si difieren (aparte del posible error de redondeo).

Como @mpiktas señala, no está exactamente claro lo que está haciendo.

$B$$(x'x)B=(x'y)$$(x'x)$

$x_1$$x_2$$x_1$$y$$x_2$$y$$x_1$$x_2$$y$$x_1$$x_1$$x_2$