Un método de regularización para modelos de regresión que combina las penalizaciones de lazo y de regresión de cresta.
¿Se prefiere siempre la regularización de red elástica a Lasso & Ridge, ya que parece resolver los inconvenientes de estos métodos? ¿Cuál es la intuición y cuál es la matemática detrás de la red
¿Cómo se comparan los métodos de regularización de cresta, LASSO y elasticnet? ¿Cuáles son sus respectivas ventajas y desventajas? Cualquier buen documento técnico o apuntes de clase también serán apreciados.
Utilizo la función auto.arima () en el paquete de pronóstico para ajustar los modelos ARMAX con una variedad de covariables. Sin embargo, a menudo tengo una gran cantidad de variables para seleccionar y generalmente termino con un modelo final que funciona con un subconjunto de ellas. No me gustan...
Me gustaría usar GLM y Elastic Net para seleccionar esas características relevantes + construir un modelo de regresión lineal (es decir, predicción y comprensión, por lo que sería mejor quedarse con relativamente pocos parámetros). La salida es continua. Son genes por 50 casos. He estado leyendo...
El documento original de red elástica Zou & Hastie (2005) La regularización y la selección de variables a través de la red elástica introdujeron la función de pérdida neta elástica para la regresión lineal (aquí supongo que todas las variables están centradas y escaladas a la varianza...
Entiendo qué papel juega lambda en una regresión de red elástica. Y puedo entender por qué uno seleccionaría lambda.min, el valor de lambda que minimiza el error de validación cruzada. Mi pregunta es ¿En qué parte de la literatura estadística se recomienda usar lambda.1se, que es el valor de...
Algunas funciones de penalización y aproximaciones están bien estudiadas, como LASSO ( ) y Ridge ( ) y cómo se comparan en regresión.L 2L1L1L_1L2L2L_2 He estado leyendo sobre la penalización de Bridge, que es la penalización generalizada . Compare eso con el LASSO, que tiene \ gamma = 1 , y el...
Introducción: Tengo un conjunto de datos con un clásico "problema grande p, pequeño n". El número de muestras disponibles n = 150, mientras que el número de posibles predictores p = 400. El resultado es una variable continua. Quiero encontrar los descriptores más "importantes", es decir, aquellos...
Estoy realizando una regresión logística de red elástica en un conjunto de datos de atención médica usando el glmnetpaquete en R seleccionando valores lambda en una cuadrícula de de 0 a 1. Mi código abreviado está a continuación:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <-...
Estoy realmente interesado en el procedimiento de red elástica para la contracción / selección de predictores. Parece muy poderoso Pero desde el punto de vista científico, no sé qué hacer una vez que obtuve los coeficientes. ¿Qué pregunta estoy respondiendo? ¿Estas son las variables que más...
La pregunta ¿Qué concluir de este diagrama de lazo (glmnet) demuestra caminos de solución para el estimador de lazo que no son monótonos? Es decir, algunos de los cofficientes crecen en valor absoluto antes de reducirse. He aplicado estos modelos a varios tipos diferentes de conjuntos de datos y...
Tengo un conjunto de 150 características, y muchas de ellas están altamente correlacionadas entre sí. Mi objetivo es predecir el valor de una variable discreta, cuyo rango es 1-8 . Mi tamaño de muestra es 550 , y estoy usando una validación cruzada 10 veces . AFAIK, entre los métodos de...
Es bien sabido que la regresión lineal con una penalización de es equivalente a encontrar la estimación MAP dada una Gaussiana anterior sobre los coeficientes. Del mismo modo, usar una penalización es equivalente a usar una distribución de Laplace como la anterior.l2l2l^2l1l1l^1 No es raro usar...
Estoy tratando de identificar el mejor modelo para predecir los precios de los automóviles, utilizando los precios y las funciones disponibles en los sitios de anuncios clasificados de automóviles. Para esto utilicé un par de modelos de la biblioteca scikit-learn y modelos de redes neuronales de...
Conozco los beneficios de la regularización cuando construyo modelos predictivos (sesgo vs. varianza, evitando el sobreajuste). Pero me pregunto si es una buena idea hacer también la regularización (lazo, cresta, red elástica) cuando el propósito principal del modelo de regresión es la inferencia...
¿Cuáles son los pros y los contras de usar LARS [1] versus usar el descenso coordinado para ajustar la regresión lineal regularizada por L1? Estoy principalmente interesado en los aspectos de rendimiento (mis problemas tienden a tener Ncientos de miles y p<20). Sin embargo, cualquier otra...
Nota: esta pregunta es una nueva publicación, ya que mi pregunta anterior tuvo que ser eliminada por razones legales. Al comparar PROC MIXED de SAS con la función lmedel nlmepaquete en R, me topé con algunas diferencias bastante confusas. Más específicamente, los grados de libertad en las...
LASSO y LASSO adaptativo son dos cosas diferentes, ¿verdad? (Para mí, las penalizaciones se ven diferentes, pero solo estoy verificando si me pierdo algo). Cuando generalmente habla de red elástica, ¿es el caso especial LASSO o LASSO adaptativo? ¿Cuál hace el paquete glmnet, siempre que elija...
¿Hay buenos documentos o libros que traten sobre el uso del descenso coordinado para L1 (lazo) y / o la regularización neta elástica para problemas de regresión
¿Alguien ha intentado verificar si ajustar un modelo Elastic Net con ElasticNetscikit-learn en Python y glmneten R en el mismo conjunto de datos produce resultados aritméticos idénticos? He estado experimentando con muchas combinaciones de los parámetros (dado que las dos funciones difieren en los...