He programado una regresión logística usando el algoritmo IRLS . Me gustaría aplicar una penalización LASSO para seleccionar automáticamente las funciones correctas. En cada iteración, se resuelve lo siguiente: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right)...
Estoy ajustando una regresión lineal regularizada L1 a un conjunto de datos muy grande (con n >> p.) Las variables se conocen de antemano, pero las observaciones llegan en pequeños fragmentos. Me gustaría mantener el ajuste del lazo después de cada trozo. Obviamente, puedo volver a ajustar...
¿Hay buenos documentos o libros que traten sobre el uso del descenso coordinado para L1 (lazo) y / o la regularización neta elástica para problemas de regresión
Estoy tratando de entender cómo se puede modificar el algoritmo de Lars para generar Lasso. Si bien entiendo LARS, no puedo ver la modificación de Lasso del documento de Tibshirani et al. En particular, no veo por qué la condición del signo es que el signo de la coordenada distinta de cero debe...
He leído en varios lugares que R Squared no es una medida ideal cuando un modelo se ajusta usando LASSO. Sin embargo, no tengo claro exactamente por qué es eso. Además, ¿podría recomendar la mejor
LASSO y LASSO adaptativo son dos cosas diferentes, ¿verdad? (Para mí, las penalizaciones se ven diferentes, pero solo estoy verificando si me pierdo algo). Cuando generalmente habla de red elástica, ¿es el caso especial LASSO o LASSO adaptativo? ¿Cuál hace el paquete glmnet, siempre que elija...
En la detección comprimida, existe una garantía de teorema de que tiene una solución dispersa única c (consulte el apéndice para obtener más detalles).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc ¿Existe un teorema similar para...
Actualmente estoy trabajando en la construcción de un modelo predictivo para un resultado binario en un conjunto de datos con ~ 300 variables y 800 observaciones. He leído mucho en este sitio sobre los problemas asociados con la regresión gradual y por qué no usarlo. He estado leyendo sobre la...
Para mi investigación actual, estoy usando el método Lasso a través del paquete glmnet en R en una variable dependiente binomial. En glmnet, el lambda óptimo se encuentra a través de la validación cruzada y los modelos resultantes se pueden comparar con varias medidas, por ejemplo, error de...
Esta publicación sigue a esta: ¿Por qué la estimación de cresta se vuelve mejor que OLS al agregar una constante a la diagonal? Aquí está mi pregunta: Hasta donde yo sé, la regularización de crestas utiliza una -norm (distancia euclidiana). Pero, ¿por qué usamos el cuadrado de esta norma? (una...
Estoy usando "glmnet" para la regresión de lazo en GWAS. Algunas variantes e individuos tienen valores perdidos y parece que glmnet no puede manejar los valores perdidos. ¿Hay alguna solución para esto? ¿O hay otro paquete que pueda manejar los valores faltantes en la regresión de lazo? Aquí...
Zou y col. "Sobre los" grados de libertad "del lazo" (2007) muestran que el número de coeficientes distintos de cero es una estimación imparcial y consistente de los grados de libertad del lazo. Me parece un poco contradictorio. Supongamos que tenemos un modelo de regresión (donde las variables...
Estoy tratando de resumir lo que entendí hasta ahora en el análisis multivariado penalizado con conjuntos de datos de alta dimensión, y todavía me cuesta obtener una definición adecuada de la penalización de umbral suave frente a la penalización Lasso (o ).L1L1L_1 Más precisamente, utilicé una...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado el año pasado . ¿Qué implementaciones de código abierto, en...
Cuando determino mi lambda mediante validación cruzada, todos los coeficientes se vuelven cero. Pero tengo algunos indicios de la literatura de que algunos de los predictores definitivamente deberían afectar el resultado. ¿Es una basura elegir arbitrariamente lambda para que haya tanta escasez como...
Después de leer el Capítulo 3 en los Elementos del aprendizaje estadístico (Hastie, Tibshrani y Friedman), me preguntaba si era posible implementar los famosos métodos de contracción citados en el título de esta pregunta dada una estructura de covarianza, es decir, minimizar el (quizás más general...
Me gustaría corregir manualmente un cierto coeficiente, digamos , luego ajustar los coeficientes a todos los demás predictores, mientras en el modelo.β 1 = 1.0β1=1.0β1=1.0\beta_1=1.0β1=1.0β1=1.0\beta_1=1.0 ¿Cómo puedo lograr esto usando R? En particular, me gustaría trabajar con LASSO ( glmnet) si...
Estoy ejecutando un modelo de regresión con Lasso y Ridge (para predecir una variable de resultado discreta que va de 0 a 5). Antes de ejecutar el modelo, utilizo el SelectKBestmétodo de scikit-learnreducir el conjunto de características de 250 a 25 . Sin una selección inicial de características,...
Si β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , puede ∥β∗∥2‖β∗‖2\|\beta^*\|_2 aumentar cuando λλ\lambda aumenta? Creo que esto es posible. Aunque ∥β∗∥1‖β∗‖1\|\beta^*\|_1 no aumenta cuando λλ\lambda aumenta (mi prueba ),...
Mientras tanto, estoy estudiando LASSO (operador de selección y contracción menos absoluta). Veo que el valor óptimo para el parámetro de regularización se puede elegir mediante validación cruzada. También veo en la regresión de crestas y en muchos métodos que aplican la regularización, podemos...