Considere un problema de regresión OLS estándar : Tengo matrices y \ X y quiero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. La solución viene dada por \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf...
He leído los libros más populares sobre aprendizaje estadístico. 1- Los elementos del aprendizaje estadístico. 2- Una introducción al aprendizaje estadístico . Ambos mencionan que la regresión de crestas tiene dos fórmulas que son equivalentes. ¿Existe una prueba matemática comprensible de este...
He oído que la regresión de cresta se puede derivar como la media de una distribución posterior, si la anterior se elige adecuadamente. ¿Es la intuición de que las restricciones establecidas en los coeficientes de regresión por el anterior (por ejemplo, distribuciones normales estándar alrededor de...
En "Los elementos del aprendizaje estadístico" (2ª ed.), P63, los autores dan las siguientes dos formulaciones del problema de regresión de crestas: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} =...
Soy consciente del tipo de regularización LASSO, cresta y red elástica en modelos de regresión lineal. Pregunta: ¿Se puede aplicar este tipo (o similar) de estimación penalizada al modelado ARIMA (con una parte MA no vacía)? En la construcción de modelos ARIMA, parece habitual considerar un...
Ya hay una publicación en este sitio que habla sobre el mismo problema: ¿Por qué funciona la contracción? Pero, aunque las respuestas son populares, no creo que la esencia de la pregunta se aborde realmente. Está bastante claro que la introducción de algún sesgo en la estimación conlleva una...
Estoy tratando de ver si elegir la regresión de cresta , LASSO , la regresión de componentes principales (PCR) o los mínimos cuadrados parciales (PLS) en una situación en la que hay un gran número de variables / características ( ) y un menor número de muestras ( ), y mi objetivo es la...
Al ejecutar la regresión de cresta, ¿cómo interpreta los coeficientes que terminan siendo más grandes que sus coeficientes correspondientes bajo mínimos cuadrados (para ciertos valores de )? ¿No se supone que la regresión de cresta reduce los coeficientes monotónicamente?λλ\lambda En una nota...
Mi comprensión general es que AIC trata con el equilibrio entre la bondad de ajuste del modelo y la complejidad del modelo. Un yoC= 2 k - 2 l n ( L )UNyoC=2k-2lnorte(L)AIC =2k -2ln(L) kkk = número de parámetros en el modelo LLL = probabilidad El criterio de información bayesiano BIC está...
En la regresión de cresta, la función objetivo a minimizar es:RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. ¿Se puede optimizar esto utilizando el método multiplicador de Lagrange? ¿O es una diferenciación
Estoy usando el paquete 'lars' en R con el siguiente código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Quiero calcular el AICc de un modelo de regresión de cresta. El problema es el número de parámetros. Para la regresión lineal, la mayoría de las personas sugiere que el número de parámetros es igual al número de coeficientes estimados más sigma (la varianza del error). Cuando se trata de regresión...
Estoy aprendiendo sobre la regresión de crestas y sé que la regresión de crestas tiende a funcionar mejor en presencia de multicolinealidad. Me pregunto por qué esto es cierto. Una respuesta intuitiva o matemática sería satisfactoria (ambos tipos de respuestas serían aún más...
He leído que la regresión de crestas podría lograrse simplemente agregando filas de datos a la matriz de datos original, donde cada fila se construye usando 0 para las variables dependientes y la raíz cuadrada de o cero para las variables independientes. Luego se agrega una fila adicional para cada...
Esta publicación sigue a esta: ¿Por qué la estimación de cresta se vuelve mejor que OLS al agregar una constante a la diagonal? Aquí está mi pregunta: Hasta donde yo sé, la regularización de crestas utiliza una -norm (distancia euclidiana). Pero, ¿por qué usamos el cuadrado de esta norma? (una...
Estoy buscando literatura sobre regresión de cresta negativa . En resumen, es una generalización de la regresión lineal de crestas usando negativa en la fórmula del estimador:El caso positivo tiene una buena teoría: como una función de pérdida, como una restricción, como un Bayes anterior ... pero...
Apliqué algunos datos para encontrar la mejor solución de variables del modelo de regresión usando la regresión de cresta en R. He usado lm.ridgey glmnet(cuándo alpha=0), pero los resultados son muy diferentes, especialmente cuando lambda=0. Supongamos que ambos estimadores de parámetros tienen los...
Estoy trabajando en algún proyecto de modelado predictivo en estos días: tratando de aprender un modelo y hacer predicciones en tiempo real basadas en el modelo que aprendí sin conexión. Comencé a usar la regresión de cresta recientemente, porque leí que la regularización puede ayudar a reducir el...
Estoy ejecutando un modelo de regresión con Lasso y Ridge (para predecir una variable de resultado discreta que va de 0 a 5). Antes de ejecutar el modelo, utilizo el SelectKBestmétodo de scikit-learnreducir el conjunto de características de 250 a 25 . Sin una selección inicial de características,...
Ya tengo una idea sobre los pros y los contras de la regresión de crestas y el LASSO. Para el LASSO, el término de penalización L1 producirá un vector de coeficiente disperso, que puede verse como un método de selección de características. Sin embargo, existen algunas limitaciones para el LASSO....