Explicación lúcida de la "estabilidad numérica de la inversión de la matriz" en la regresión de crestas y su papel en la reducción del sobreajuste

Entiendo que podemos emplear la regularización en un problema de regresión de mínimos cuadrados como

$$\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right]$$

y que este problema tiene una solución de forma cerrada como:

$$\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}.$$

Vemos que en la segunda ecuación, la regularización es simplemente agregar $\lambda$ a la diagonal de $\boldsymbol{X}^T\boldsymbol{X}$ , lo que se hace para mejorar la estabilidad numérica de la inversión de la matriz.

Mi comprensión actual 'cruda' de la estabilidad numérica es que si una función se vuelve más 'numéricamente estable', entonces su salida se verá menos significativamente afectada por el ruido en sus entradas. Tengo dificultades para relacionar este concepto de estabilidad numérica mejorada con una imagen más amplia de cómo evita / reduce el problema del sobreajuste.

He intentado mirar Wikipedia y algunos otros sitios web de universidades, pero no profundizan en explicar por qué esto es así.

En el modelo lineal , suponiendo errores no correlacionados con media cero y con rango de columna completo, el estimador de mínimos cuadrados es un estimador imparcial para el parámetro . Sin embargo, este estimador puede tener una alta varianza. Por ejemplo, cuando dos de las columnas de están altamente correlacionadas.$Y=X\beta + \epsilon$$X$$(X^TX)^{-1}X^TY$$\beta$$X$

El parámetro de penalización hace que un estimador sesgado de , pero disminuye su varianza. Además, es la expectativa posterior de en una regresión bayesiana con un anterior en . En ese sentido, incluimos cierta información en el análisis que dice que los componentes de no deberían estar muy lejos de cero. Nuevamente, esto nos lleva a una estimación puntual sesgada de pero reduce la varianza de la estimación.$\lambda$$\hat{w}$$\beta$$\hat{w}$$\beta$$N(0,\frac{1}{\lambda}I)$$\beta$$\beta$$\beta$

En una configuración donde alta dimensión, digamos , el ajuste de mínimos cuadrados coincidirá con los datos casi a la perfección. Si bien es imparcial, esta estimación será muy sensible a las fluctuaciones de los datos porque en dimensiones tan altas, habrá muchos puntos con un alto apalancamiento. En tales situaciones, el signo de algunos componentes de puede determinarse mediante una sola observación. El término de penalización tiene el efecto de reducir estas estimaciones hacia cero, lo que puede reducir el MSE del estimador al reducir la varianza.$X$$N \approx p$$\hat{\beta}$

Editar: en mi respuesta inicial proporcioné un enlace a un documento relevante y en mi apuro lo eliminé. Aquí está: http://www.jarad.me/stat615/papers/Ridge_Regression_in_Practice.pdf

La estabilidad numérica y el sobreajuste están en cierto sentido relacionados pero son cuestiones diferentes.

El clásico problema OLS:

Considere el clásico problema de mínimos cuadrados:

$$\operatorname*{minimize}(\text{over $\mathbf{b}$}) \quad(\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b})$$

La solución es el clásico . Una idea es que según la ley de los grandes números:$\hat{\mathbf{b}} = (X'X)^{-1}(X'\mathbf{y})$

$$\lim_{n \rightarrow \infty} \frac{1}{n} X'X \rightarrow \mathrm{E}[\mathbf{x}\mathbf{x}'] \quad \quad \quad \lim_{n \rightarrow \infty} \frac{1}{n} X'\mathbf{y} \rightarrow \mathrm{E}[\mathbf{x}y]$$

Por lo tanto, la estimación de OLS también converge en . (En términos de álgebra lineal, esta es la proyección lineal de la variable aleatoria sobre el alcance lineal de las variables aleatorias .)$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{x}\mathbf{x}']^{-1}\mathrm{E}[\mathbf{x}y]$$y$$x_1, x_2, \ldots, x_k$

¿Problemas?

Mecánicamente, ¿qué puede salir mal? ¿Cuáles son los posibles problemas?

1. Para muestras pequeñas, nuestras estimaciones de muestra de y pueden ser pobres.$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$
2. Si las columnas de son colineales (ya sea debido a la colinealidad inherente o al pequeño tamaño de la muestra), ¡el problema tendrá un continuo de soluciones! La solución puede no ser única. $X$
   • Esto ocurre si tiene un rango deficiente.$\mathrm{E}[\mathbf{x}\mathbf{x}']$
   • Esto también ocurre si tiene un rango deficiente debido al pequeño tamaño de la muestra en relación con el número de problemas de regresores.$X'X$

El problema (1) puede conducir a un sobreajuste a medida que la estimación comience a reflejar patrones en la muestra que no existen en la población subyacente. La estimación puede reflejar patrones en y que en realidad no existen en y$\hat{\mathbf{b}}$$\frac{1}{n}X'X$$\frac{1}{n}X'\mathbf{y}$$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$

El problema (2) significa que una solución no es única. Imagine que estamos tratando de estimar el precio de los zapatos individuales, pero los pares de zapatos siempre se venden juntos. Este es un problema mal planteado, pero digamos que lo estamos haciendo de todos modos. Podemos creer que el precio del zapato izquierdo más el precio del zapato derecho es igual a $ 50, pero ¿cómo podemos obtener precios individuales? ¿Está bien establecer los precios del zapato izquierdo y el precio del zapato derecho ? ¿Cómo podemos elegir entre todas las posibilidades?$p_l = 45$$p_r = 5$

Introducir penalización :$L_2$

Ahora considere:

$$\operatorname*{minimize}(\text{over }\mathbf{b})\quad (\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b}) + \lambda\|\boldsymbol{b}\|^2$$

Esto puede ayudarnos con ambos tipos de problemas. La penalización empuja nuestra estimación de hacia cero. Esto funciona efectivamente como un Bayesiano antes de que la distribución sobre los valores del coeficiente se centre alrededor de . Eso ayuda con el sobreajuste. Nuestra estimación reflejará tanto los datos como nuestras creencias iniciales de que está cerca de cero.$L_2$$\mathbf{b}$$\mathbf{0}$$\mathbf{b}$

$L_2$ regularización de también siempre nos permite encontrar una solución única a problemas mal planteados. Si conocemos el precio de los zapatos izquierdo y derecho en total a , la solución que también minimiza el norma es elegir .$\$50$$L_2$$p_l = p_r = 25$

¿Es esto mágico? No. La regularización no es lo mismo que agregar datos que realmente nos permitirían responder la pregunta. regularización en cierto sentido adopta la opinión de que si carece de datos, elija estimaciones más cercanas a .$L_2$$0$