Los modelos penalizados se pueden usar para estimar modelos donde el número de parámetros es igual o incluso mayor que el tamaño de la muestra. Esta situación puede surgir en modelos log-lineales de grandes tablas dispersas de datos categóricos o de conteo. En estos entornos, a menudo también es...
Supongamos que tengo datos longitudinales de la forma (Tengo múltiples observaciones, esta es solo la forma de una sola). Estoy interesado en restricciones en . Una sin restricciones es equivalente a tomar Y_j = \ alpha_j + \ sum _ {\ ell = 1} ^ {j - 1} \ phi _ {\ ell j} Y_ {j- \ ell} + \...
Estoy trabajando en un modelo de costo predictivo donde la edad del paciente (una cantidad entera medida en años) es una de las variables predictoras. Es evidente una fuerte relación no lineal entre la edad y el riesgo de hospitalización: Estoy considerando una spline de suavizado de regresión...
Tengo una pregunta sobre cómo modelar texto sobre datos de conteo, en particular cómo podría usar la lassotécnica para reducir las características. Digamos que tengo N artículos en línea y el recuento de páginas vistas para cada artículo. Extraje 1 gramo y 2 gramos para cada artículo y quería...
LLLminβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1 \min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \; Pero a menudo, cuando vi el estimador Lasso, se puede escribir como β^n(λ)=argminβ{12n∥y−Xβ∥22+λ∥β∥1}β^n(λ)=argminβ{12n‖y−Xβ‖22+λ‖β‖1} \hat{\beta}_n(\lambda) = \displaystyle\arg \min_{\beta} \{\frac...
Obtuve de otras publicaciones que no se puede atribuir 'importancia' o 'importancia' a las variables predictoras que ingresan en un modelo de lazo porque calcular los valores p o las desviaciones estándar de esas variables todavía es un trabajo en progreso. Bajo ese razonamiento, ¿es correcto...
Estoy realizando un análisis en el que el objetivo principal es comprender los datos. El conjunto de datos es lo suficientemente grande para la validación cruzada (10k), y los predictores incluyen variables continuas y ficticias, y el resultado es continuo. El objetivo principal era ver si tiene...
\def\l{|\!|} Dada la regresión neta elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 ¿Cómo se puede elegir un rango apropiado de λλ\lambda para la validación...
La función R cv.glm (biblioteca: arranque) calcula el error estimado de predicción de validación cruzada K-fold para modelos lineales generalizados y devuelve delta. ¿Tiene sentido usar esta función para una regresión de lazo (biblioteca: glmnet) y, de ser así, ¿cómo se puede llevar a cabo? La...
Estaba pensando en resolver Lasso a través de métodos de subgrado de vainilla. Pero he leído personas que sugieren usar el descenso de gradiente proximal. ¿Alguien puede resaltar por qué se usa GD proximal en lugar de los métodos de subgradiente de vainilla para
En su artículo seminal 'Regresión de ángulo mínimo' , Efron et al describen una modificación simple del algoritmo LARS que permite calcular las rutas completas de regularización de LASSO. He implementado esta variante con éxito y, por lo general, trazo la ruta de salida en comparación con el...
Dado , ¿cuál es el comportamiento teórico de los coeficientes LASSO y por qué?x2=2x1x2=2x1x_2 = 2 x_1 ¿Uno de o reduciría a o ambos?x1x1x_1x2x2x_2000 require(glmnet) x1 = runif(100, 1, 2) x2 = 2*x1 x_train = cbind(x1, x2) y = 100*x1 + 100 + runif(1) ridge.mod = cv.glmnet(x_train, y, alpha =...
Estoy tratando de crear un modelo reducido para predecir muchas variables dependientes (DV) (~ 450) que están altamente correlacionadas. Mis variables independientes (IV) también son numerosas (~ 2000) y altamente correlacionadas. Si utilizo el lazo para seleccionar un modelo reducido para cada...
Soy consciente de que es una práctica común estandarizar las características para la regresión de cresta y lazo; sin embargo, ¿sería más práctico normalizar las características en una escala (0,1) como alternativa a la estandarización de la puntuación z para estos métodos de regresión?...
Tengo un conjunto de datos con aproximadamente 5,000 características / covariables a menudo correlacionadas y una respuesta binaria. Me dieron los datos, no los recolecté. Utilizo Lasso y el refuerzo de gradiente para construir modelos. Utilizo validación cruzada anidada iterada. Reporto los 40...
Si seleccionamos diferentes valores del parámetro , podríamos obtener soluciones con diferentes niveles de dispersión. ¿Significa que la ruta de regularización es cómo seleccionar la coordenada que podría obtener una convergencia más rápida? Estoy un poco confundido, aunque he oído hablar de la...
Me pregunto sobre la finura de rejilla óptima y cuál es la relación entre la finura de rejilla y el sobreajuste en métodos de regularización como LASSO, regresión de cresta o red elástica. Supongamos que quiero ajustar un modelo de regresión usando LASSO a una muestra de 500 observaciones...
El aprendizaje estadístico y sus resultados están actualmente presentes en las ciencias sociales. Hace un par de meses, Guido Imbens dijo: "LASSO es el nuevo OLS". Estudié Machine Learning un poco y sé que su objetivo principal es la predicción. También estoy de acuerdo con la distinción de Leo...
Estoy retrocediendo un predictor continuo en más de 60 variables (tanto continuas como categóricas) usando LASSO (glmnet). Al examinar el gráfico de traza variable, noto que a medida que aumenta el registro lambda, una de las variables clave tiene un coeficiente que en realidad aumenta. Luego,...
Entiendo que la detección comprimida encuentra la solución más escasa para donde , , y , .y=Axy=Axy = Axx∈RDx∈RDx \in \mathbb{R}^DA∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}y∈Rky∈Rky \in \mathbb{R}^{k}k<<Dk<<Dk