¿La regresión de ángulo mínimo mantiene las correlaciones monotónicamente decrecientes y atadas?

Estoy tratando de resolver un problema para la regresión de ángulo mínimo (LAR). Este es un problema 3.23 en la página 97 de Hastie et al., Elementos de aprendizaje estadístico, 2do. ed. (5ª impresión) .

Considere un problema de regresión con todas las variables y respuestas que tengan media cero y desviación estándar uno. Supongamos también que cada variable tiene una correlación absoluta idéntica con la respuesta:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Deje que sea ​​el coeficiente de mínimos cuadrados de en y deje que para .$\hat{\beta}$$\mathbf{y}$$\mathbf{X}$$\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$$\alpha\in[0,1]$

Se me pide que demuestre que y estoy teniendo problemas con eso. Tenga en cuenta que esto básicamente puede decir que las correlaciones de cada con los residuos permanecen iguales en magnitud a medida que avanzamos hacia .

$$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$$ $x_j$$u$

Tampoco sé cómo demostrar que las correlaciones son iguales a:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Cualquier sugerencia sería muy apreciada!

Este es el problema 3.23 en la página 97 de Hastie et al., Elementos de aprendizaje estadístico , 2do. ed. (5ª impresión) .

La clave de este problema es una buena comprensión de los mínimos cuadrados ordinarios (es decir, la regresión lineal), particularmente la ortogonalidad de los valores ajustados y los residuos.

Lema de ortogonalidad : Sea la matriz de diseño , el vector de respuesta y los parámetros (verdaderos). Suponiendo que es de rango completo (que lo haremos en todo momento), las estimaciones de OLS de son . Los valores ajustados son . Entonces . Es decir, los valores ajustados son ortogonales a los residuos. Esto se debe a que .$X$$n \times p$$y$$\beta$$X$$\beta$$\hat{\beta} = (X^T X)^{-1} X^T y$$\hat{y} = X (X^T X)^{-1} X^T y$$\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$$X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Ahora, vamos ser un vector columna de tal manera que es la ésima columna de . Las condiciones asumidas son:$x_j$$x_j$$j$$X$

• $\frac{1}{N} \langle x_j, x_j \rangle = 1$ para cada , ,$j$$\frac{1}{N} \langle y, y \rangle = 1$
• $\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ donde denota un vector de unos de longitud , y$1_p$$p$
• $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ para todo .$j$

Tenga en cuenta que, en particular , la última declaración del lema de ortogonalidad es idéntica a para todo .$\langle x_j, y - \hat{y} \rangle = 0$$j$

---

Las correlaciones están ligadas

Ahora, . Entonces, y el segundo término en el lado derecho es cero por el lema de ortogonalidad , entonces según lo deseado. El valor absoluto de las correlaciones son solo $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

$$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$$ $$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$$ $$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$$

Nota : El lado derecho anterior es independiente de y el numerador es la misma que la covarianza ya hemos asumido que todo el 's y así, en particular, sin sustracción de la media es necesario, se centran ( )$j$$x_j$$y$

¿Cuál es el punto de? A medida que aumenta, el vector de respuesta se modifica de manera que avanza lentamente hacia la solución de mínimos cuadrados ( ¡restringida! ) Obtenida al incorporar solo los primeros parámetros en el modelo. Esto modifica simultáneamente los parámetros estimados, ya que son productos internos simples de los predictores con el vector de respuesta (modificado). Sin embargo, la modificación toma una forma especial. Mantiene la (magnitud de) las correlaciones entre los predictores y la respuesta modificada igual durante todo el proceso (aunque el valor de la correlación está cambiando). ¡Piensa en lo que esto está haciendo geométricamente y entenderás el nombre del procedimiento!$\alpha$$p$

---

Forma explícita de la correlación (absoluta)

Centrémonos en el término en el denominador, ya que el numerador ya está en la forma requerida. Tenemos

$$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$$

Sustituyendo en y usando la linealidad del producto interno, obtenemos$u(\alpha) = \alpha \hat{y}$

$$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$$

Observa eso

• $\langle y, y \rangle = N$ por suposición,
• $\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , aplicando el lema de ortogonalidad (una vez más) al segundo término en el medio; y,
• $\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ por definición.

Al poner todo esto junto, notarás que tenemos

$$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$$

Para concluir, y está claro que está disminuyendo monotónicamente en y como .$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$$\hat{\rho}_j(\alpha)$$\alpha$$\hat{\rho}_j(\alpha) \downarrow 0$$\alpha \uparrow 1$

---

Epílogo : concéntrate en las ideas aquí. Realmente solo hay uno. El lema de la ortogonalidad hace casi todo el trabajo por nosotros. El resto es solo álgebra, notación y la capacidad de poner en práctica estos dos últimos.