Entonces me hicieron una pregunta sobre qué medidas centrales L1 (es decir, lazo) y L2 (es decir, regresión de cresta) estimaron. La respuesta es L1 = mediana y L2 = media. ¿Hay algún tipo de razonamiento intuitivo para esto? ¿O tiene que determinarse algebraicamente? Si es así, ¿cómo hago para...
Algunas funciones de penalización y aproximaciones están bien estudiadas, como LASSO ( ) y Ridge ( ) y cómo se comparan en regresión.L 2L1L1L_1L2L2L_2 He estado leyendo sobre la penalización de Bridge, que es la penalización generalizada . Compare eso con el LASSO, que tiene \ gamma = 1 , y el...
Considere la regresión de cresta con una restricción adicional que requiere que tenga una unidad de suma de cuadrados (equivalente, varianza de unidad); si es necesario, se puede suponer que tiene una unidad de suma de cuadrados: Yy^y^\hat{\mathbf y}yy\mathbf
Considere el modelo estándar para regresión múltiple donde , por lo que la normalidad, la homocedasticidad y la falta de correlación de errores se mantienen.ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2yonorte)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Supongamos...
Para un modelo lineal , el término de contracción siempre es .y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP(β)P(β)P(\beta) ¿Cuál es la razón por la que no término de sesgo (intercepción) ? ¿Deberíamos reducir el término de sesgo en los modelos de redes
Supongamos que estoy tratando de estimar una gran cantidad de parámetros a partir de algunos datos de alta dimensión, utilizando algún tipo de estimaciones regularizadas. El regularizador introduce cierto sesgo en las estimaciones, pero aún puede ser una buena compensación porque la reducción en la...
Estoy usando el paquete R penalizado para obtener estimaciones reducidas de coeficientes para un conjunto de datos donde tengo muchos predictores y poco conocimiento de cuáles son importantes. Después de haber elegido los parámetros de ajuste L1 y L2 y estoy satisfecho con mis coeficientes, ¿hay...
He entendido cómo la regresión de crestas reduce los coeficientes hacia cero geométricamente. Además, sé cómo demostrar eso en el "Caso Ortonormal" especial, pero estoy confundido sobre cómo funciona en el caso general a través de "Descomposición
Recuerdo haber leído en algún lugar de la web una conexión entre la regresión de cresta (con regularización) y la regresión de PCA: mientras usaba regresión con hiperparámetro , si , entonces la regresión es equivalente a eliminar el Variable de PC con el valor propio más pequeño.ℓ 2 λ λ →...
Estoy usando la regresión de cresta en datos altamente multicolineales. Usando OLS obtengo grandes errores estándar en los coeficientes debido a la multicolinealidad. Sé que la regresión de crestas es una forma de lidiar con este problema, pero en todas las implementaciones de regresión de crestas...
¿Cuál es la diferencia entre la regresión Primal , Dual y Kernel Ridge? Las personas están usando los tres, y debido a la notación diferente que todos usan en diferentes fuentes es difícil para mí seguir. Entonces, ¿alguien puede decirme en palabras simples cuál es la diferencia entre estos tres?...
Durante un experimento para la clasificación de texto, encontré que el clasificador de cresta genera resultados que constantemente superan las pruebas entre los clasificadores que se mencionan y aplican con mayor frecuencia para las tareas de minería de texto, como SVM, NB, kNN, etc. Sin embargo,...
La pregunta ¿Qué concluir de este diagrama de lazo (glmnet) demuestra caminos de solución para el estimador de lazo que no son monótonos? Es decir, algunos de los cofficientes crecen en valor absoluto antes de reducirse. He aplicado estos modelos a varios tipos diferentes de conjuntos de datos y...
Conozco los beneficios de la regularización cuando construyo modelos predictivos (sesgo vs. varianza, evitando el sobreajuste). Pero me pregunto si es una buena idea hacer también la regularización (lazo, cresta, red elástica) cuando el propósito principal del modelo de regresión es la inferencia...
Tengo un conjunto de 150 características, y muchas de ellas están altamente correlacionadas entre sí. Mi objetivo es predecir el valor de una variable discreta, cuyo rango es 1-8 . Mi tamaño de muestra es 550 , y estoy usando una validación cruzada 10 veces . AFAIK, entre los métodos de...
Se estima que los estimadores de regresión penalizados como LASSO y ridge corresponden a estimadores bayesianos con ciertos antecedentes. Supongo (como no sé lo suficiente sobre las estadísticas bayesianas) que para un parámetro de ajuste fijo, existe un previo concreto correspondiente. Ahora un...
Estoy implementando la Regresión de Ridge en un módulo Python / C, y me he encontrado con este "pequeño" problema. La idea es que quiero muestrear los grados efectivos de libertad más o menos equidistantes (como el gráfico de la página 65 en los "Elementos de aprendizaje estadístico" ), es decir,...
Cuando se explica la regresión de LASSO, a menudo se usa el diagrama de un diamante y un círculo. Se dice que debido a que la forma de la restricción en LASSO es un diamante, la solución de mínimos cuadrados obtenida podría tocar la esquina del diamante de modo que conduzca a una contracción de...
Considere un problema de regresión OLS estándar : Tengo matrices y \ X y quiero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. La solución viene dada por \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf...
La regresión de cresta estima los parámetros ββ\boldsymbol \beta en un modelo lineal by dondeß λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , λy=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \betaβ^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}...