¿Aplicando la regresión de cresta para un sistema de ecuaciones subdeterminado?

Cuando , el problema de mínimos cuadrados que impone una restricción esférica en el valor de se puede escribir como para un sistema sobredeterminado. \ | \ cdot \ | _2 es la norma euclidiana de un vector.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

La solución correspondiente a $\beta$ viene dada por

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ que puede derivarse del método de multiplicadores de Lagrange ( $\lambda$ es el multiplicador): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Entiendo que hay una propiedad que

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ El lado derecho se parece al pseudoinverso de la matriz regresiva $X$ en el caso subdeterminado (con el parámetro de regularización agregado, $\lambda$ ). ¿Significa esto que la misma expresión se puede usar para aproximar $\beta$ para el caso subdeterminado? ¿Hay una derivación separada para la expresión correspondiente en el caso subdeterminado, ya que la restricción de restricción esférica es redundante con la función objetivo (norma mínima de $\beta$ ):

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Comenzando con la formulación del problema de regresión de cresta como

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

puedes escribir el problema como

$\min \| A\beta - b \|_{2}^{2}$

dónde

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

y

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

La matriz tiene rango completo debido a la parte. Por lo tanto, el problema de los mínimos cuadrados como una solución única$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Escribiendo esto en términos de e , y simplificando muchos ceros, obtenemos$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Nada en esta derivación depende de si tiene más filas o columnas, o incluso de si tiene rango completo. Esta fórmula es, por lo tanto, aplicable al caso indeterminado. $X$$X$

Es un hecho algebraico que para ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Por lo tanto, también tenemos la opción de usar

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Para responder a sus preguntas específicas:

1. Sí, ambas fórmulas funcionan tanto para el caso indeterminado como para el caso sobredeterminado. También trabajo si es menor que el mínimo del número de filas y columnas de . La segunda versión puede ser más eficiente para problemas indeterminados porque es más pequeño que en ese caso. $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. No conozco ninguna derivación de la versión alternativa de la fórmula que comience con algún otro problema de mínimos cuadrados amortiguados y use las ecuaciones normales. En cualquier caso, puede derivarlo de una manera directa usando un poco de álgebra.

Es posible que esté pensando en el problema de regresión de cresta en el formulario

$\min \| \beta \|_{2}^{2}$

sujeto a

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Sin embargo, esta versión del problema de regresión de crestas simplemente conduce al mismo problema de mínimos cuadrados amortiguadas .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$