Modificación de lazo para LARS

12

Estoy tratando de entender cómo se puede modificar el algoritmo de Lars para generar Lasso. Si bien entiendo LARS, no puedo ver la modificación de Lasso del documento de Tibshirani et al. En particular, no veo por qué la condición del signo es que el signo de la coordenada distinta de cero debe coincidir con el signo de la correlación actual. ¿Puede alguien ayudarme con esto? Supongo que estoy buscando una prueba matemática usando la condición KKT en el problema de la norma L-1 original, es decir, el lazo. ¡Muchas gracias!

lasso novato
fuente

¿Te refieres a stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf de Efron et al . Esto lo demuestra en el Lema 8 de la sección 5. ¿O estoy malinterpretando su pregunta?

Peter Ellis

1

Tampoco estoy seguro de la pregunta, pero en realidad, el lazo es una simplificación del Lars: para Lasso, solo está buscando correlaciones positivas entre el residual actual y las funciones básicas restantes, ya que solo las correlaciones positivas conducen a resultados positivos. (~ no negativo) coeficientes.

Sr. White

2

Sea (tamaño ) un conjunto de entradas estandarizadas, respuestas centradas (tamaño ), pesos de regresión (tamaño ) y coeficiente de penalización de a . $X$ $n\times p$ $y$ $n \times 1$ $\beta$ $p \times 1$ $\lambda > 0$ $l_1$

\begin{aligned} β^{*} & = {argmin}_{β} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \end{aligned}

$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$

Resolver esto para todos los valores de produce la llamada ruta de regularización LASSO . $\lambda > 0$ $\beta^*(\lambda)$

Para un valor fijo del coeficiente de penalización (es decir, número fijo de predictores activos = paso fijo del algoritmo LARS), es posible mostrar que satisface (simplemente escriba la condición de estacionariedad KKT como en este respuesta ) $\lambda^*$ $\beta^*$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} (y - X β^{*}), \forall a \in A

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$

con representando el conjunto de predictores activos. $A$

Como debe ser positivo (es un coeficiente de penalización), está claro que el signo de (peso de cualquier predictor activo distinto de cero) debe ser el mismo que el de es decir, la correlación con el residuo de regresión actual. $\lambda^*$ $\beta_a^*$ $X_a^T (y - X\beta^*) = X_{a}^T r$

Cuádruple
fuente

1

@ Mr._White proporcionó una gran explicación intuitiva de la gran diferencia entre LARS y Lasso; el único punto que agregaría es que el lazo es (más o menos) como un enfoque de selección hacia atrás, eliminando un término en cada paso siempre que exista un término para cuál de esas correlaciones ("normalizadas" sobre ) existe. LARS mantiene todo allí, básicamente realizando el lazo en cada orden posible. Eso significa que en lazo, cada iteración depende de qué términos ya se han eliminado. $X \times X$

La implementación de Effron ilustra que las diferencias varían bien: lars.R en el paquete fuente para lars . Observe el paso de actualización de las matrices matrix y partir de la línea 180, y la eliminación de los términos para los cuales . Me imagino algunas situaciones extrañas que surgen de los espacios donde los términos están desequilibrados ( y están muy correlacionados pero no con otros, con pero no con otros, etc.) el orden de selección podría estar bastante sesgado. $X \times X$ $\zeta$ $\zeta_{min} < \zeta_{current}$ $A$ $x_1$ $x_2$ $x_2$ $x_3$

egbutter
fuente

Modificación de lazo para LARS

Respuestas: