Un método de regularización para modelos de regresión que reduce los coeficientes hacia cero, haciendo que algunos de ellos sean iguales a cero. Por lo tanto, el lazo realiza la selección de características.
Digamos que quiero estimar una gran cantidad de parámetros, y quiero penalizar algunos de ellos porque creo que deberían tener poco efecto en comparación con los demás. ¿Cómo decido qué esquema de penalización utilizar? ¿Cuándo es más apropiada la regresión de cresta? ¿Cuándo debo usar el...
Estoy leyendo los libros sobre regresión lineal. Hay algunas oraciones sobre la norma L1 y L2. Los conozco, simplemente no entiendo por qué la norma L1 para modelos dispersos. ¿Puede alguien usar dar una explicación
¿En qué circunstancias se debe considerar el uso de métodos de regularización (cresta, lazo o regresión de ángulos mínimos) en lugar de OLS? En caso de que esto ayude a dirigir la discusión, mi interés principal es mejorar la precisión
Estoy buscando una definición no técnica del lazo y para qué se
Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...
He estado leyendo Elementos de aprendizaje estadístico , y me gustaría saber por qué el Lazo proporciona selección de variables y la regresión de crestas no. Ambos métodos minimizan la suma residual de cuadrados y tienen una restricción sobre los posibles valores de los parámetros . Para Lasso, la...
La temporada navideña me ha dado la oportunidad de acurrucarme junto al fuego con The Elements of Statistical Learning . Viniendo desde una perspectiva econométrica (frecuentista), tengo problemas para comprender los usos de los métodos de contracción, como la regresión de crestas, el lazo y la...
Estoy tratando de usar un modelo LASSO para la predicción, y necesito estimar los errores estándar. Seguramente alguien ya ha escrito un paquete para hacer esto. Pero hasta donde puedo ver, ninguno de los paquetes en CRAN que hacen predicciones usando un LASSO devolverá errores estándar para esas...
Por lo que sé, usar el lazo para la selección de variables maneja el problema de las entradas correlacionadas. Además, dado que es equivalente a la regresión de ángulo mínimo, no es lenta computacionalmente. Sin embargo, muchas personas (por ejemplo, personas que conozco haciendo bioestadística)...
Para resolver problemas de selección de modelo, varios métodos (LASSO, regresión de cresta, etc.) reducirán los coeficientes de las variables predictoras hacia cero. Estoy buscando una explicación intuitiva de por qué esto mejora la capacidad predictiva. Si el verdadero efecto de la variable fue...
Para el problema del lazo minβ(Y−Xβ)T(Y−Xβ)minβ(Y−Xβ)T(Y−Xβ)\min_\beta (Y-X\beta)^T(Y-X\beta) tal que ∥β∥1≤t‖β‖1≤t\|\beta\|_1 \leq t . A menudo veo el resultado de umbral suave βlassoj=sgn(βLSj)(|βLSj|−γ)+βjlasso=sgn(βjLS)(|βjLS|−γ)+ \beta_j^{\text{lasso}}=...
Estoy tratando con datos lineales con valores atípicos, algunos de los cuales están a más de 5 desviaciones estándar de la línea de regresión estimada. Estoy buscando una técnica de regresión lineal que reduzca la influencia de estos puntos. Hasta ahora, lo que hice fue estimar la línea de...
Me gustaría encontrar predictores para una variable dependiente continua de un conjunto de 30 variables independientes. Estoy usando la regresión Lasso como se implementa en el paquete glmnet en R. Aquí hay un código ficticio: # generate a dummy dataset with 30 predictors (10 useful & 20...
La regresión de ángulo mínimo y el lazo tienden a producir rutas de regularización muy similares (idénticas excepto cuando un coeficiente cruza cero). Ambos pueden ajustarse eficientemente mediante algoritmos prácticamente idénticos. ¿Hay alguna razón práctica para preferir un método sobre el...
Lo siento si esta pregunta es un poco básica. Estoy buscando utilizar la selección de variables LASSO para un modelo de regresión lineal múltiple en R. Tengo 15 predictores, uno de los cuales es categórico (¿eso causará un problema?). Después de configurar mi e utilizo los siguientes...
En la página 223 en Introducción al aprendizaje estadístico , los autores resumen las diferencias entre la regresión de cresta y el lazo. Proporcionan un ejemplo (Figura 6.9) de cuándo "el lazo tiende a superar la regresión de cresta en términos de sesgo, varianza y MSE". Entiendo por qué el lazo...
Quiero usar Lazo o regresión de cresta para un modelo con más de 50,000 variables. Quiero hacerlo usando el paquete de software en R. ¿Cómo puedo estimar el parámetro de contracción ( λλ\lambda )? Ediciones: Este es el punto al que me levanté: set.seed (123) Y <- runif (1000) Xv <-...
Tengo curiosidad por qué hay por lo general sólo y normas de regularización. ¿Hay pruebas de por qué son mejores?L
¿Se prefiere siempre la regularización de red elástica a Lasso & Ridge, ya que parece resolver los inconvenientes de estos métodos? ¿Cuál es la intuición y cuál es la matemática detrás de la red
¿Cómo se comparan los métodos de regularización de cresta, LASSO y elasticnet? ¿Cuáles son sus respectivas ventajas y desventajas? Cualquier buen documento técnico o apuntes de clase también serán apreciados.