¿GLMNET o LARS para calcular las soluciones LASSO?

Me gustaría obtener los coeficientes para el problema LASSO

El problema es que las funciones glmnet y lars dan respuestas diferentes. Para la función glmnet pido los coeficientes de en lugar de solo λ , pero aún obtengo respuestas diferentes.$\lambda/||Y||$$\lambda$

¿Se espera esto? ¿Cuál es la relación entre los lars y glmnet λ ? Entiendo que glmnet es más rápido para los problemas de LASSO, pero me gustaría saber qué método es más poderoso.$\lambda$$\lambda$

deps_stats Me temo que el tamaño de mi conjunto de datos es tan grande que LARS no puede manejarlo, mientras que, por otro lado, glmnet puede manejar mi gran conjunto de datos.

mpiktas Quiero encontrar la solución de (Y-Xb) ^ 2 + L \ sum | b_j | pero cuando le pregunto a los dos algoritmos (lars y glmnet) sus coeficientes calculados para esa L en particular, obtengo respuestas diferentes ... y me pregunto si eso es correcto / esperado. o simplemente estoy usando una lambda incorrecta para las dos funciones.

En mi experiencia, LARS es más rápido para problemas pequeños, problemas muy escasos o problemas muy 'amplios' (muchas más funciones que muestras). De hecho, su costo computacional está limitado por la cantidad de características seleccionadas, si no calcula la ruta de regularización completa. Por otro lado, para grandes problemas, glmnet (optimización de descenso coordinado) es más rápido. Entre otras cosas, el descenso coordinado tiene un buen patrón de acceso a datos (amigable con la memoria) y puede beneficiarse de la redundancia en los datos en conjuntos de datos muy grandes, ya que converge con ajustes parciales. En particular, no sufre de conjuntos de datos altamente correlacionados.

La conclusión de que nosotros (los desarrolladores principales de scikit-learn ) también hemos llegado es que, si no tiene un conocimiento a priori sólido de sus datos, debería usar glmnet (u optimización de descenso coordinado) para hablar sobre un algoritmo que una implementación).

Se pueden comparar puntos de referencia interesantes en la tesis de Julien Mairal:

http://www.di.ens.fr/~mairal/resources/pdf/phd_thesis.pdf

Sección 1.4, en particular 1.4.5 (página 22)

Julien llega a conclusiones ligeramente diferentes, aunque su análisis del problema es similar. Sospecho que esto se debe a que estaba muy interesado en problemas muy amplios.

LASSO no es único en el caso de que múltiples características tengan una colinealidad perfecta. Aquí hay un experimento mental simple para probarlo.

$y$$x_1$$x_2$$y$$x_1$$x_2$$y$$x1$$x2$$\beta_1 = 1 - P$$\beta_2 = 0$$P$$\beta_1 = 0$$\beta_2 - 1 - P$

Lars y Glmnet ofrecen diferentes soluciones para el problema de Lasso, ya que utilizan funciones objetivas ligeramente diferentes y diferentes estandarizaciones de los datos. Puede encontrar el código de detalles para la reproducción en la pregunta relacionada ¿ Por qué Lars y Glmnet ofrecen diferentes soluciones para el problema de Lasso?