Solución analítica para estimaciones de coeficientes de regresión lineal

Estoy tratando de entender la notación matricial y trabajando con vectores y matrices.

En este momento me gustaría entender cómo se calcula el vector de estimaciones de coeficientes en regresión múltiple.$\hat{\beta}$

La ecuación básica parece ser

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Ahora, ¿cómo resolvería un vector $\beta$ aquí?

Editar : Espera, estoy atascado. Estoy aquí ahora y no sé cómo continuar:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Con para todo lo que la intercepción:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

¿Me puede apuntar en la dirección correcta?

Tenemos

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Se puede mostrar escribiendo la ecuación explícitamente con componentes. Por ejemplo, escriba lugar de . Luego tome derivados con respecto a , , ..., y apile todo para obtener la respuesta. Para una ilustración rápida y fácil, puede comenzar con . β β 1 β 2 β p p = $(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

Con experiencia, uno desarrolla reglas generales, algunas de las cuales se dan, por ejemplo, en ese documento .

Editar para guiar la parte agregada de la pregunta

Con , tenemos$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

La derivada con respecto a es$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Del mismo modo, la derivada con respecto a es$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Por lo tanto, la derivada con respecto a es$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Ahora, observe que puede reescribir la última expresión como

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Por supuesto, todo se hace de la misma manera para una más grande .$p$

También puede usar fórmulas del libro de cocina Matrix . Tenemos

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Ahora tome derivados de cada término. Es posible que desee notar que . La derivada del término con respecto a es cero. El plazo restantey ′ y $\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

es de forma de función

$$f(x)=x'Ax+b'x,$$

en la fórmula (88) en el libro de la página 11, con , y . La derivada se da en la fórmula (89):A = X ′ X b = - 2 X ′$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

entonces

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Ahora desde obtenemos la solución deseada:$(X'X)'=X'X$

$$X'X\beta=X'y$$

Aquí hay una técnica para minimizar la suma de cuadrados en la regresión que en realidad tiene aplicaciones a configuraciones más generales y que encuentro útil.

Intentemos evitar el cálculo de matriz de vectores por completo.

Supongamos que estamos interesados ​​en minimizar donde , y . Suponemos por simplicidad que y .

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Para cualquier , obtenemos E=‖y-X β +X β -Xβ‖ 2 2 =‖y-X β ‖ 2 2 +$\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

Si podemos elegir (¡encontrar!) Un vector tal que el último término en el lado derecho sea cero para cada , entonces estaríamos , ya que eso implicaría que .$\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Pero, para todos si y solo si y esta última ecuación es verdadera si y solo si . Entonces, se minimiza tomando .$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

Si bien esto puede parecer un "truco" para evitar el cálculo, en realidad tiene una aplicación más amplia y hay algo de geometría interesante en juego.

Un ejemplo en el que esta técnica hace que una derivación sea mucho más simple que cualquier enfoque de cálculo matriz-vector es cuando generalizamos al caso de la matriz. Deje , y . Supongamos que deseamos minimizar sobre toda la matriz de parámetros . Aquí es una matriz de covarianza.$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

Un enfoque completamente análogo a lo anterior establece rápidamente que se alcanza el mínimo de tomando Es decir, en un entorno de regresión donde la respuesta es un vector con covarianza y las observaciones son independientes, la estimación de MCO se logra haciendo regresiones lineales separadas en los componentes de la respuesta.$\err$

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Una forma que puede ayudarlo a comprender es no usar álgebra matricial y diferenciar con respecto a cada componente, y luego "almacenar" los resultados en un vector de columna. Entonces tenemos:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Ahora tiene de estas ecuaciones, una para cada beta. Esta es una aplicación simple de la regla de la cadena:$p$

-2 N ∑ i

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Ahora podemos reescribir la suma dentro del paréntesis como Entonces obtienes:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Ahora tenemos de estas ecuaciones, y las "apilaremos" en un vector de columna. Observe cómo es el único término que depende de , por lo que podemos apilar esto en el vector y obtenemos:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Ahora podemos tomar la beta fuera de la suma (pero debemos permanecer en RHS de la suma), y luego tomar la inversión:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$