Regresión de ángulo mínimo vs. lazo

La regresión de ángulo mínimo y el lazo tienden a producir rutas de regularización muy similares (idénticas excepto cuando un coeficiente cruza cero).

Ambos pueden ajustarse eficientemente mediante algoritmos prácticamente idénticos.

¿Hay alguna razón práctica para preferir un método sobre el otro?

Los teoremas de "no almuerzo gratis" sugieren que no hay distinciones a priori entre los algoritmos de inferencia estadística, es decir, si LARS o LASSO funcionan mejor depende de la naturaleza del conjunto de datos en particular. En la práctica, entonces, es mejor probar ambos y usar un estimador confiable del rendimiento de generalización para decidir cuál usar en la operación (o usar un conjunto). Como las diferencias entre LARS y LASSO son bastante leves, es probable que las diferencias en el rendimiento también sean bastante leves, ¡pero en general solo hay una manera de averiguarlo con seguridad!

Cuando se usa en modo por etapas, el algoritmo LARS es un método codicioso que no produce un estimador probablemente consistente (en otras palabras, no converge a un resultado estable cuando aumenta el número de muestras).

Por el contrario, el LASSO (y, por lo tanto, el algoritmo LARS cuando se usa en modo LASSO) resuelve un problema de ajuste de datos convexo. En particular, este problema (el estimador lineal penalizado L1) tiene muchas buenas propiedades probadas (consistencia, dispersión).

Por lo tanto, trataría de usar siempre el LARS en modo LASSO (o usar otro solucionador para LASSO), a menos que tenga muy buenas razones para preferir la etapa.

LASSO no es un algoritmo per se, sino un operador.

$\ell_1$

Otro es LARS, muy popular debido a su simplicidad, conexión con procedimientos de reenvío (aunque no demasiado codiciosos), prueba muy constructiva y fácil generalización.

Incluso en comparación con los solucionadores de programación cuadrática de vanguardia, LARS puede ser mucho más eficiente.

$l_1$$l_1$$l_2$

La intención de esta respuesta es de señalar que LARS hoy en día parece haber sido superseeded por coordenadas de descenso y estocástico de coordenadas en consideraciones de ascendencia métodos. Estos métodos se basan en algoritmos particularmente simples, mientras que al mismo tiempo el rendimiento parece ser más alto que el de LARS (a menudo uno o dos órdenes de magnitud más rápido). Para ejemplos ver este artículo de Friedman et al.

Entonces, si planea implementar LARS, no lo haga. Utilice el descenso coordinado que lleva unas horas.

$\lambda$

Aquí está mi opinión:

$C_p$

Además, LARS es computacionalmente rápido y confiable. El lazo es rápido, pero hay una pequeña diferencia entre el algoritmo que hace que el LARS gane el desafío de velocidad. Por otro lado, hay paquetes alternativos, por ejemplo, en R, llamados 'glmnet' que funcionan más confiables que el paquete lars (porque es más general).

En resumen, no hay nada significativo que pueda considerarse sobre lars y el lazo. Depende del contexto en el que va a utilizar el modelo.

Yo personalmente aconsejo usar glmnet en R en casos de alta y baja dimensión. o si está interesado en diferentes criterios, puede usar http://cran.r-project.org/web/packages/msgps/ package.

En algunos contextos, puede ser preferible una versión regularizada de la solución de mínimos cuadrados. El algoritmo LASSO (operador de selección y contracción menos absoluta), por ejemplo, encuentra una solución de mínimos cuadrados con la restricción de que | β | 1, la norma L1 del vector de parámetros, no es mayor que un valor dado. De manera equivalente, puede resolver una minimización sin restricciones de la penalización por mínimos cuadrados con α | β | 1 agregado, donde α es una constante (esta es la forma lagrangiana del problema restringido). Este problema puede resolverse usando programación cuadrática o métodos de optimización convexa más generales, así como mediante algoritmos específicos como el algoritmo de regresión de ángulo mínimo. La formulación regularizada L1 es útil en algunos contextos debido a su tendencia a preferir soluciones con menos valores de parámetros distintos de cero, reduciendo efectivamente el número de variables de las cuales depende la solución dada. [11] Por esta razón, el LASSO y sus variantes son fundamentales para el campo de la detección comprimida.