Después de leer el Capítulo 3 en los Elementos del aprendizaje estadístico (Hastie, Tibshrani y Friedman), me preguntaba si era posible implementar los famosos métodos de contracción citados en el título de esta pregunta dada una estructura de covarianza, es decir, minimizar el (quizás más general...
Estoy ejecutando un modelo de regresión con Lasso y Ridge (para predecir una variable de resultado discreta que va de 0 a 5). Antes de ejecutar el modelo, utilizo el SelectKBestmétodo de scikit-learnreducir el conjunto de características de 250 a 25 . Sin una selección inicial de características,...
Apliqué algunos datos para encontrar la mejor solución de variables del modelo de regresión usando la regresión de cresta en R. He usado lm.ridgey glmnet(cuándo alpha=0), pero los resultados son muy diferentes, especialmente cuando lambda=0. Supongamos que ambos estimadores de parámetros tienen los...
Supongamos que tengo dos estimadores y que son estimadores consistentes del mismo parámetro y tal que con en el sentido psd. Por lo tanto, asintóticamente es más eficiente que . Estos dos estimadores se basan en diferentes funciones de
En varias respuestas, he visto que los usuarios de CrossValidated sugieren que OP encuentre documentos iniciales sobre Lasso, Ridge y Elastic Net. Para la posteridad, ¿cuáles son los trabajos fundamentales en Lasso, Ridge y Elastic Net?
He estado leyendo la descripción de la regresión de crestas en los modelos estadísticos lineales aplicados , 5ª edición, capítulo 11. La regresión de crestas se realiza con los datos de grasa corporal disponibles aquí . El libro de texto coincide con la salida en SAS, donde los coeficientes...
¿Cómo realizar una regresión de cresta no negativa? El lazo no negativo está disponible en scikit-learn, pero para cresta, no puedo imponer la no negatividad de las versiones beta, y de hecho, estoy obteniendo coeficientes negativos. ¿Alguien sabe a que se debe esto? Además, ¿puedo implementar la...
Entiendo que podemos emplear la regularización en un problema de regresión de mínimos cuadrados como w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2...
Parece que estoy malentendido una afirmación sobre los métodos de regresión lineal que he visto en varios lugares. Los parámetros del problema son: Entrada: NNN muestras de datos de cantidades de , cada una de las cuales consiste en una cantidad de "respuesta" y p cantidades de "predictor" x_...
La Regresión de cresta se puede expresar como donde es la etiqueta predicha , la matriz de identificación , el objeto para el que estamos tratando de encontrar una etiqueta y la matriz de objetos tal que:y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} +
Estoy trabajando en un modelo de costo predictivo donde la edad del paciente (una cantidad entera medida en años) es una de las variables predictoras. Es evidente una fuerte relación no lineal entre la edad y el riesgo de hospitalización: Estoy considerando una spline de suavizado de regresión...
Siguiendo con mi pregunta anterior , la solución a las ecuaciones normales para la regresión de crestas viene dada por: β^λ=(XTX+λI)−1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty ¿Podría ofrecer alguna guía para elegir el parámetro de regularización ? Además, dado que la...
Soy nuevo en la regresión de crestas. Cuando apliqué la regresión de cresta lineal, obtuve los siguientes resultados: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668...
En mínimos cuadrados ordinarios, regresando un vector objetivo yyy contra un conjunto de predictores XXX, la matriz del sombrero se calcula como H= X(XtX)- 1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t y la PRENSA (suma residual de cuadrados prevista) se calcula mediante SSPAGS=∑yo(miyo1 -hyo...
Cuando , el problema de mínimos cuadrados que impone una restricción esférica en el valor de se puede escribir como para un sistema sobredeterminado. \ | \ cdot \ | _2 es la norma euclidiana de un vector.y=Xβ+ey=Xβ+ey = X\beta +
Soy consciente de que es una práctica común estandarizar las características para la regresión de cresta y lazo; sin embargo, ¿sería más práctico normalizar las características en una escala (0,1) como alternativa a la estandarización de la puntuación z para estos métodos de regresión?...
Estoy trabajando en la validación cruzada de la predicción de mis datos con 200 sujetos y 1000 variables. Estoy interesado en la regresión de crestas ya que el número de variables (que quiero usar) es mayor que el número de muestra. Entonces quiero usar estimadores de contracción. Los siguientes...
\def\l{|\!|} Dada la regresión neta elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 ¿Cómo se puede elegir un rango apropiado de λλ\lambda para la validación...
¿Alguien sabe cómo calcular el intervalo de predicción para la regresión de cresta? ¿Y cuál es su relación con el intervalo de predicción de la regresión
Tengo dos implementaciones diferentes de ridgeen MATLAB. Uno es simplemente x =(UNA′A + I λ)- 1UNA′six=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (como se ve en la página de regresión de cresta de Wikipedia ), con siendo la matriz de identidad de...