Preguntas etiquetadas con lasso

Estoy ejecutando un modelo de regresión con Lasso y Ridge (para predecir una variable de resultado discreta que va de 0 a 5). Antes de ejecutar el modelo, utilizo el SelectKBestmétodo de scikit-learnreducir el conjunto de características de 250 a 25 . Sin una selección inicial de características,...

Mientras tanto, estoy estudiando LASSO (operador de selección y contracción menos absoluta). Veo que el valor óptimo para el parámetro de regularización se puede elegir mediante validación cruzada. También veo en la regresión de crestas y en muchos métodos que aplican la regularización, podemos...

Ya tengo una idea sobre los pros y los contras de la regresión de crestas y el LASSO. Para el LASSO, el término de penalización L1 producirá un vector de coeficiente disperso, que puede verse como un método de selección de características. Sin embargo, existen algunas limitaciones para el LASSO....

Estoy tratando de hacer una selección de modelo en algunos predictores candidatos que usan LASSO con un resultado continuo. El objetivo es seleccionar el modelo óptimo con el mejor rendimiento de predicción, que generalmente se puede hacer mediante validación cruzada K-fold después de obtener una...

Estoy ajustando un modelo lineal en R usando glmnet. El modelo original (no regularizado) se ajustó utilizando lmy no tenía un término constante (es decir, tenía la forma lm(y~0+x1+x2,data)). glmnettoma una matriz de predictores y un vector de respuestas. He estado leyendo glmnetdocumentación y no...

He estado en algunas charlas de estadísticas recientemente sobre el Lazo (regularización) y un punto que sigue surgiendo es que realmente no entendemos por qué funciona el Lazo o por qué funciona tan bien. Me pregunto a qué se refiere esta declaración. Obviamente, entiendo por qué el Lazo funciona...

Estoy buscando una respuesta intuitiva por la que un modelo GLM LASSO selecciona un predictor específico de un grupo de altamente correlacionados, y por qué lo hace de manera diferente a la mejor selección de características de subconjunto. A partir de la geometría del LASSO que se muestra en la...

Mi comprensión de la regresión LASSO es que los coeficientes de regresión se seleccionan para resolver el problema de minimización: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En la práctica, esto se hace usando un multiplicador de...

Estaba leyendo este artículo relacionado con la red elástica. Dicen que usan una red elástica porque si solo usamos Lasso, tiende a seleccionar solo un predictor entre los predictores que están altamente correlacionados. Pero no es esto lo que queremos. Quiero decir que nos salva del problema de la...

Obtuve tres modelos reducidos de un modelo completo original usando selección hacia adelante eliminación hacia atrás Técnica de penalización L1 (LASSO) Para los modelos obtenidos usando la selección hacia adelante / eliminación hacia atrás, obtuve la estimación validada cruzada del error de...

Mi situación: pequeño tamaño de muestra: 116 variable de resultado binaria larga lista de variables explicativas: 44 las variables explicativas no vinieron de la parte superior de mi cabeza; su elección se basó en la literatura. La mayoría de los casos en la muestra y la mayoría de las variables...

Si tengo un diseño de matriz , donde n es el número de observaciones de dimensión d , lo que es la complejidad de la solución para β = argmin β 1X∈ Rn × dX∈Rnorte×reX\in\mathcal{R}^{n\times d}nortenortenreredcon LASSO, wrtny? Creo que la respuesta debería referirse a cómounaiteración de LASSO se...

Sé que esto enturbiaría la inferencia estadística, pero en realidad solo me preocupa acercarme lo más posible a un modelo preciso. Tengo una variable de resultado dicotómica, con un gran conjunto de predictores dicotómicos. Estoy pensando que me gustaría intentar usar LASSO para seleccionar qué...

En varias respuestas, he visto que los usuarios de CrossValidated sugieren que OP encuentre documentos iniciales sobre Lasso, Ridge y Elastic Net. Para la posteridad, ¿cuáles son los trabajos fundamentales en Lasso, Ridge y Elastic Net?

¿Cómo realizar una regresión de cresta no negativa? El lazo no negativo está disponible en scikit-learn, pero para cresta, no puedo imponer la no negatividad de las versiones beta, y de hecho, estoy obteniendo coeficientes negativos. ¿Alguien sabe a que se debe esto? Además, ¿puedo implementar la...

En mi clase de aprendizaje automático, aprendimos cómo la regresión LASSO es muy buena para realizar la selección de funciones, ya que utiliza la regularización .l1l1l_1 Mi pregunta: ¿las personas normalmente usan el modelo LASSO solo para hacer la selección de funciones (y luego proceden a volcar...

Me pregunto cómo abordar adecuadamente el entrenamiento y la prueba de un modelo LASSO usando glmnet en R. Específicamente, me pregunto cómo hacerlo si la falta de un conjunto de datos de prueba externo requiere el uso de validación cruzada (u otro enfoque similar) para probar mi modelo...

[Se hizo una pregunta similar aquí sin respuestas] He ajustado un modelo de regresión logística con regularización L1 (regresión logística Lasso) y me gustaría probar la significación de los coeficientes ajustados y obtener sus valores p. Sé que las pruebas de Wald (por ejemplo) son una opción...

Supongamos que tengo datos longitudinales de la forma (Tengo múltiples observaciones, esta es solo la forma de una sola). Estoy interesado en restricciones en . Una sin restricciones es equivalente a tomar Y_j = \ alpha_j + \ sum _ {\ ell = 1} ^ {j - 1} \ phi _ {\ ell j} Y_ {j- \ ell} + \...

Estoy trabajando en un modelo de costo predictivo donde la edad del paciente (una cantidad entera medida en años) es una de las variables predictoras. Es evidente una fuerte relación no lineal entre la edad y el riesgo de hospitalización: Estoy considerando una spline de suavizado de regresión...