Ajuste regularizado a partir de datos resumidos: elección del parámetro

Siguiendo con mi pregunta anterior , la solución a las ecuaciones normales para la regresión de crestas viene dada por:

¿Podría ofrecer alguna guía para elegir el parámetro de regularización ? Además, dado que la diagonal de crece con el número de observaciones , ¿debería también ser una función de ?$\lambda$$X^TX$$m$$\lambda$$m$

Mi respuesta se basará en una buena revisión del problema por la regresión de Anders Bjorkstorm Ridge y los problemas inversos (recomendaría leer el artículo completo).

La Parte 4 de esta revisión está dedicada a la selección de un parámetro en la regresión de crestas que presenta varios enfoques clave:$\lambda$

1. el rastro de cresta corresponde al análisis gráfico de contra . Una trama típica representará un comportamiento inestable (para un verdadero problema mal publicado, debe asegurarse de que necesita esta regularización en cualquier caso) de diferentes estimaciones de para cerca de cero, y casi constante desde algún punto (aproximadamente tenemos que detectar la región de intersección de comportamiento constante para todos los parámetros). Sin embargo, la decisión sobre dónde comienza este comportamiento casi constante es algo subjetiva. Una buena noticia para este enfoque es que no requiere observar e .$\hat{\beta}_{i,\lambda}$$\lambda$$\hat{\beta}_{i,\lambda}$$\lambda$$X$$y$
2. $L$ curva traza la norma euclidiana del vector de parámetros estimadoscontra la norma residual. La forma suele estar cerca de la letra por lo que existe una esquina que determina a dónde pertenece el parámetro óptimo (uno puede elegir el punto en la curva donde este alcanza la curvatura máxima , pero es mejor buscar el artículo de Hansen para obtener más información) detalles).$|\hat{{\beta}}_\lambda|$$|y - X\hat{\beta}_\lambda|$$L$$L$
3. Para la validación cruzada, a menudo se elige un enfoque simple de "dejar uno afuera", buscando que maximice (o minimice) algún criterio de precisión de pronóstico (tiene una amplia gama de ellos, RMSE y MAPE son los dos para comenzar) con). Las dificultades con 2. y 3. son que tienes que observar e para implementarlas en la práctica.$\lambda$$X$$y$