¿Cómo derivar la solución de regresión de cresta?

Tengo algunos problemas con la derivación de la solución para la regresión de crestas.

Sé la solución de regresión sin el término de regularización:

Pero después de agregar el término L2 a la función de costo, ¿cómo es que la solución se convierte en$\lambda\|\beta\|_2^2$

Es suficiente modificar la función de pérdida agregando la penalización. En términos de matriz, la función de pérdida cuadrática inicial se convierte en

Construyamos sobre lo que sabemos, que es que cada vez que la matriz del modelo es , la respuesta -vector es , y el parámetro -vector es , la función objetivoX n y p $n\times p$$X$$n$$y$$p$$\beta$

(que es la suma de los cuadrados de los residuos) se minimiza cuando resuelve las ecuaciones normales$\beta$

La regresión de cresta agrega otro término a la función objetivo (generalmente después de estandarizar todas las variables para ponerlas en una base común), pidiendo minimizar

para alguna constante no negativa . Es la suma de cuadrados de los residuos más un múltiplo de la suma de cuadrados de los coeficientes mismos (lo que hace obvio que tiene un mínimo global). Como , tiene una raíz cuadrada positiva .$\lambda$$\lambda\ge 0$$\nu^2 = \lambda$

Considere la matriz aumentada con filas correspondientes a veces la matriz de identidad :$X$p × p $\nu$$p\times p$$I$

Cuando el vector se extiende de manera similar con ceros al final de , el producto matricial en la función objetivo agrega términos adicionales de la forma al objetivo original. Por lo tantop y ∗ p ( 0 - ν β i ) 2 = λ β 2 $y$$p$$y_{*}$$p$$(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

De la forma de la expresión de la mano izquierda, es inmediato que las ecuaciones normales son

Como unimos ceros al final de , el lado derecho es el mismo que . En el lado izquierdo se agrega a la . Por lo tanto, las nuevas ecuaciones normales se simplifican aX ′ y ν 2 I = λ I X ′$y$$X^\prime y$$\nu^2 I=\lambda I$$X^\prime X$

Además de ser conceptualmente económico, no se necesitan nuevas manipulaciones para obtener este resultado, también es computacionalmente económico: su software para hacer mínimos cuadrados ordinarios también hará una regresión de cresta sin ningún cambio. (Sin embargo, puede ser útil en grandes problemas usar un software diseñado para este propósito, ya que explotará la estructura especial de para obtener resultados de manera eficiente durante un intervalo densamente espaciado de , lo que le permitirá explorar cómo varían las respuestas con .) λ $X_{*}$$\lambda$$\lambda$

Otra belleza de esta forma de ver las cosas es cómo puede ayudarnos a comprender la regresión de crestas. Cuando realmente queremos entender la regresión, casi siempre ayuda pensar en ella geométricamente: las columnas de constituyen vectores en un espacio vectorial real de dimensión . Al unir a , prolongándolos de -vectores a -vectores, estamos incrustando en un espacio más grande al incluir "imaginario", direcciones mutuamente ortogonales. La primera columna dep n ν I X n n + p R n R n + p p X ν p p th ν ν p ν $X$$p$$n$$\nu I$$X$$n$$n+p$$\mathbb{R}^n$$\mathbb{R}^{n+p}$$p$$X$se le da un pequeño componente imaginario de tamaño , alargándolo y sacándolo del espacio generado por las columnas originales . La segunda, tercera, ..., columnas se alargan de manera similar y se mueven fuera del espacio original en la misma cantidad , pero todas en diferentes direcciones nuevas. En consecuencia, cualquier colinealidad presente en las columnas originales se resolverá inmediatamente . Además, cuanto mayor hace, más se acercan estos nuevos vectores al individual$\nu$$p$$p^\text{th}$$\nu$$\nu$$p$direcciones imaginarias: se vuelven cada vez más ortonormales. En consecuencia, la solución de las ecuaciones normales será posible de inmediato y rápidamente se volverá numéricamente estable a medida que aumente de .$\nu$$0$

Esta descripción del proceso sugiere algunos enfoques novedosos y creativos para abordar los problemas que Ridge Regression fue diseñado para manejar. Por ejemplo, utilizando cualquier medio (como la descomposición de la varianza descrita por Belsley, Kuh y Welsch en su libro de 1980 sobre Diagnóstico de regresión , Capítulo 3), puede identificar subgrupos de columnas casi colineales de , donde cada subgrupo Es casi ortogonal a cualquier otro. Solo necesita unir tantas filas a (y ceros a ) como haya elementos en el grupo más grande, dedicando una nueva dimensión "imaginaria" para desplazar cada elemento de un grupo lejos de sus hermanos: no necesita imaginario dimensiones para hacer esto.X y $X$$X$$y$$p$

La derivación incluye cálculo matricial, que puede ser bastante tedioso. Nos gustaría resolver el siguiente problema:

Ahora tenga en cuenta que y Juntos llegamos a la condición de primer orden aislamiento produce la solución: ∂λβT

Recientemente me he topado con la misma pregunta en el contexto de P-Splines y como el concepto es el mismo, quiero dar una respuesta más detallada sobre la derivación del estimador de cresta.

Comenzamos con una función de criterio penalizado que difiere de la función de criterio OLS clásica por su término de penalización en el último sumando:

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

dónde

• $p=$ la cantidad de covariables utilizadas en el modelo
• $x_i^T\beta =$ su predictor lineal estándar
• el primer sumando representa el MSE (divergencia al cuadrado de la predicción del valor real) que queremos minimizar como de costumbre
• el segundo sumando representa la penalización que aplicamos en los coeficientes. Aquí estamos en el contexto de Ridge que implica una Medida de distancia euclidiana y, por lo tanto, el grado de 2 en el término de penalización. En el caso de una penalización por lazo, aplicaríamos un grado de 1 y obtendríamos un estimador totalmente diferente.

Podemos reescribir este criterio en notación matricial y desglosarlo aún más:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ siendo la matriz de identidad$I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

Ahora buscamos la que minimiza nuestro criterio. Entre otros, utilizamos la regla de diferenciación de matrices que podemos aplique aquí como : $\beta$$\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$$(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

Hay algunas cosas importantes que faltan en las respuestas dadas.

1. $\beta$$\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$$\beta = (X^TX+ \lambda I )^{-1}X^T Y$$f_{ridge}(\beta, \lambda)$

2. $f_{ridge}(\beta, \lambda)$$f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$$||\beta||^2_2 \leq t$$f_{ridge}(\beta, \lambda)$$f_{OLS}(\beta)$$||\beta||^2_2$

$\beta$