¿Alguien ha intentado verificar si ajustar un modelo Elastic Net con ElasticNetscikit-learn en Python y glmneten R en el mismo conjunto de datos produce resultados aritméticos idénticos? He estado experimentando con muchas combinaciones de los parámetros (dado que las dos funciones difieren en los...
Según las referencias Libro 1 , Libro 2 y papel . Se ha mencionado que existe una equivalencia entre la regresión regularizada (Ridge, LASSO y Elastic Net) y sus fórmulas de restricción. También he visto Cross Validated 1 y Cross Validated 2 , pero no puedo ver una respuesta clara que muestre esa...
Estaba leyendo este artículo relacionado con la red elástica. Dicen que usan una red elástica porque si solo usamos Lasso, tiende a seleccionar solo un predictor entre los predictores que están altamente correlacionados. Pero no es esto lo que queremos. Quiero decir que nos salva del problema de la...
Como dice el título, estoy tratando de replicar los resultados de glmnet linear usando el optimizador LBFGS de la biblioteca lbfgs. Este optimizador nos permite agregar un término regularizador L1 sin tener que preocuparnos por la diferenciabilidad, siempre que nuestra función objetivo (sin el...
En varias respuestas, he visto que los usuarios de CrossValidated sugieren que OP encuentre documentos iniciales sobre Lasso, Ridge y Elastic Net. Para la posteridad, ¿cuáles son los trabajos fundamentales en Lasso, Ridge y Elastic Net?
\def\l{|\!|} Dada la regresión neta elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 ¿Cómo se puede elegir un rango apropiado de λλ\lambda para la validación...
Los modelos penalizados se pueden usar para estimar modelos donde el número de parámetros es igual o incluso mayor que el tamaño de la muestra. Esta situación puede surgir en modelos log-lineales de grandes tablas dispersas de datos categóricos o de conteo. En estos entornos, a menudo también es...
Entonces, tengo 16 ensayos en los que estoy tratando de autenticar a una persona de un rasgo biométrico usando Hamming Distance. Mi umbral está establecido en 3.5. Mis datos están a continuación y solo la prueba 1 es un verdadero positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5...
Estoy confundido acerca de la forma correcta de escribir la red elástica. Después de leer algunos trabajos de investigación, parece haber tres formas 1) Exp{ -λ1El |βkEl | -λ2β2k}Exp{-λ1El |βkEl |-λ2βk2}\exp\{-\lambda_1|\beta_k|-\lambda_2\beta_k^2\} 2)Exp{ -(λ1El |βkEl | +λ2β2k)σ2√}Exp{-(λ1El...
¿Cuáles son las desventajas de usar una red elástica en comparación con el lazo? Sé que la red elástica es capaz de seleccionar grupos de variables cuando están altamente correlacionadas. No tiene el problema de seleccionar más de predictores cuando . Mientras que el lazo se satura cuando...
El lazo y la red elástica no pueden manejar variables con más de dos categorías y, por lo tanto, es necesaria una división de variables categóricas en dummies para la aplicación de estos métodos. Esto puede dar lugar a varios problemas y, por lo tanto, existen extensiones para el lazo al grupo o al...
He estado implementando la versión GLMNET de red elástica para regresión lineal con otro software que no sea R. Comparé mis resultados con la función R glmnet en modo lazo con datos de diabetes . La selección de variables está bien cuando se varía el valor del parámetro (lambda) pero obtengo...
Me pregunto sobre la finura de rejilla óptima y cuál es la relación entre la finura de rejilla y el sobreajuste en métodos de regularización como LASSO, regresión de cresta o red elástica. Supongamos que quiero ajustar un modelo de regresión usando LASSO a una muestra de 500 observaciones...