¿Cuál es el significado de la ruta de regularización en LASSO o problemas de escasez relacionados?

8

Si seleccionamos diferentes valores del parámetro , podríamos obtener soluciones con diferentes niveles de dispersión. ¿Significa que la ruta de regularización es cómo seleccionar la coordenada que podría obtener una convergencia más rápida? Estoy un poco confundido, aunque he oído hablar de la escasez a menudo. Además, ¿podría dar una descripción simple sobre las soluciones existentes del problema?λLASSO

minería
fuente

Respuestas:

13

Supongamos que tiene un modelo con variables predictoras: . Establezca en un valor inicial y calcule sus coeficientes . Estos coeficientes pueden considerarse como un punto en el espacio -dimensional. *pagsX1,X2,...Xpagsλβ1,β2,...βpagspags

Repita el procedimiento para su próximo valor de y obtenga otro conjunto de estimaciones. Estos forman otro punto enλpags-dimensional espacio. Haz esto por todos tusλvalores, y obtendrá una secuencia de tales puntos. Esta secuencia es la ruta de regularización.


* También existe el término de intercepción β0 0 así que todo esto técnicamente tiene lugar en (pags+1)-dimensional, pero no importa eso. De todos modos, la mayoría de los programas de red / lazo elásticos estandarizarán las variables antes de ajustar el modelo, por lo queβ0 0 siempre será 0.

Hong Ooi
fuente
4

Se puede encontrar una explicación gráfica de la solución Lasso en las páginas 69-73 del texto "Elementos de aprendizaje estadístico" (versión en línea aquí ).

drollix
fuente
1
¡Gracias Señor! ¡Si! El Fig. 3.10es el camino de regularización del lazo.
minería