Intuición detrás en forma cerrada de w en Regresión lineal

La forma cerrada de w en regresión lineal se puede escribir como

$\hat{w}=(X^TX)^{-1}X^Ty$

¿Cómo podemos explicar intuitivamente el papel de en esta ecuación?$(X^TX)^{-1}$

Encontré estas publicaciones particularmente útiles:

¿Cómo derivar el estimador de mínimos cuadrados para la regresión lineal múltiple?

Relación entre SVD y PCA. ¿Cómo usar SVD para realizar PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Si es una matriz entonces la matriz define una proyección sobre el espacio de la columna de . Intuitivamente, tiene un sistema de ecuaciones sobredeterminado, pero aún quiere usarlo para definir un mapa lineal que asignará las filas de a algo cercano a los valores , . Por lo tanto, nos conformamos con enviar a lo más cercano a que se puede expresar como una combinación lineal de sus características (las columnas de ). n × p X ( X T X ) - 1 X T X R p → R x i X y i i ∈ { 1 , … , n } X y $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$$X$$y$$X$

En cuanto a una interpretación de , todavía no tengo una respuesta sorprendente. Sé que puedes pensar que es básicamente la matriz de covarianza del conjunto de datos. ( X T X $(X^TX)^{-1}$$(X^TX)$

Punto de vista geométrico

Un punto de vista geométrico puede ser como la N-dimensional vectores y siendo puntos en n-dimensional espacio- . Donde también está en el subespacio abarcado por los vectores .X β V X β W x 1 , x 2 , ⋯ , x $y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

Dos tipos de coordenadas

Para este subespacio podemos imaginar dos tipos diferentes de coordenadas :$W$

• Los$\boldsymbol{\beta}$ son como coordenadas para un espacio de coordenadas regular. El vector en el espacio es la combinación lineal de los vectores$z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• El$\boldsymbol{\alpha}$ no son coordenadas en el sentido normal, pero lo hacen definir un punto en el subespacio . Cada relaciona con las proyecciones perpendiculares sobre los vectores . Si utilizamos los vectores unitarios (por simplicidad), las "coordenadas" para un vector se pueden expresar como:$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  y el conjunto de todas las coordenadas como:

Mapeo entre coordenadas y$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

para la expresión de "coordenadas" convierte en una conversión de coordenadas a "coordenadas"$\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

Podrías ver como expresión de cuánto se proyecta cada sobre el otro$(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

Entonces, la interpretación geométrica de puede verse como el mapa desde las "coordenadas" proyección vectorial a las coordenadas lineales .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

La expresión da las "coordenadas" de proyección de y convierte en .$\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

Nota : las "coordenadas" de proyección de son las mismas que las "coordenadas" de proyección de desde .$\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Suponiendo que esté familiarizado con la regresión lineal simple: y su solución : β = c o v [ x i , y i

Es fácil ver cómo corresponde al numerador anterior y asigna al denominador. Como estamos tratando con matrices, el orden importa. es la matriz KxK, y es el vector Kx1. Por lo tanto, el orden es:X ′ X X ′ X X ′ y ( X ′ X ) - 1 X ′$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$