La regularización en regresión (lineal, logística ...) es la forma más popular de reducir el sobreajuste. Cuando el objetivo es la precisión de la predicción (no explicar), ¿hay alguna buena alternativa a la regularización, especialmente adecuada para grandes conjuntos de datos (mi / billones de...
Estoy usando la regresión de cresta en datos altamente multicolineales. Usando OLS obtengo grandes errores estándar en los coeficientes debido a la multicolinealidad. Sé que la regresión de crestas es una forma de lidiar con este problema, pero en todas las implementaciones de regresión de crestas...
Usando el coeficiente de correlación de Pearson, tengo varias variables que están altamente correlacionadas ( y para 2 pares de variables que están en mi modelo).ρ=0.978ρ=0.978\rho = 0.978ρ=0.989ρ=0.989\rho = 0.989 La razón por la cual algunas de las variables están altamente correlacionadas es...
En un escenario de regresión LASSO donde y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , y las estimaciones de LASSO están dadas por el siguiente problema de optimización minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 ¿Hay supuestos de distribución con respecto al...
Tomemos el siguiente ejemplo: set.seed(342) x1 <- runif(100) x2 <- runif(100) y <- x1+x2 + 2*x1*x2 + rnorm(100) fit <- lm(y~x1*x2) Esto crea un modelo de y basado en x1 y x2, utilizando una regresión OLS. Si deseamos predecir y para un x_vec dado, simplemente podríamos usar la fórmula...
Contexto: De una pregunta sobre Mathematics Stack Exchange (¿Puedo construir un programa) , alguien tiene un conjunto de puntos y , y quiere ajustarle una curva, lineal, exponencial o logarítmica. El método habitual es comenzar eligiendo uno de estos (que especifica el modelo) y luego hacer los...
Tengo algunos datos que están altamente correlacionados. Si ejecuto una regresión lineal, obtengo una línea de regresión con una pendiente cercana a uno (= 0.93). Lo que me gustaría hacer es probar si esta pendiente es significativamente diferente de 1.0. Mi expectativa es que no lo es. En otras...
Tengo un punto (x, y) que necesito un regresor lineal para pasar dado un conjunto de datos (X, Y). ¿Cómo implemento esto en
Espero que alguien pueda ayudarme a aclarar un punto de confusión para mí. Digamos que quiero probar si 2 conjuntos de coeficientes de regresión son significativamente diferentes entre sí, con la siguiente configuración: yi=α+βxi+ϵiyi=α+βxi+ϵiy_i = \alpha + \beta x_i + \epsilon_i , con 5...
Durante un experimento para la clasificación de texto, encontré que el clasificador de cresta genera resultados que constantemente superan las pruebas entre los clasificadores que se mencionan y aplican con mayor frecuencia para las tareas de minería de texto, como SVM, NB, kNN, etc. Sin embargo,...
Estoy sufriendo un apagón. Se me presentó la siguiente imagen para mostrar el equilibrio de sesgo-varianza en el contexto de la regresión lineal: Puedo ver que ninguno de los dos modelos encaja bien: el "simple" no aprecia la complejidad de la relación XY y el "complejo" simplemente se...
Tengamos un modelo lineal, por ejemplo, ANOVA simple: # data generation set.seed(1.234) Ng <- c(41, 37, 42) data <- rnorm(sum(Ng), mean = rep(c(-1, 0, 1), Ng), sd = 1) fact <- as.factor(rep(LETTERS[1:3], Ng)) m1 = lm(data ~ 0 + fact) summary(m1) El resultado es el...
Si en una regresión lineal tengo una variable categórica ... ¿cómo sé la importancia estática de la variable categórica? Digamos que el factor tiene 10 niveles ... habrá 10 valores t resultantes diferentes, bajo el paraguas de una variable de factor ...X1X1X_1X1X1X_1 ¿Me parece que la...
Encontré una referencia en un artículo que dice así: Según Tabachnick y Fidell (1996), las variables independientes con una correlación bivariada de más de .70 no deberían incluirse en el análisis de regresión múltiple. Problema: utilicé en un diseño de regresión múltiple 3 variables...
Parecen muy parecidos. ¿Son lo mismo pero solo se conocen como nombres
Quiero realizar una regresión lineal muy simple en R. La fórmula es tan simple como . Sin embargo, me gustaría que la pendiente ( ) esté dentro de un intervalo, digamos, entre 1.4 y 1.6.y= a x + by=unX+siy = ax + bununa ¿Cómo se puede hacer
Casi todo lo que leo sobre regresión lineal y GLM se reduce a esto: donde es una función no creciente o no decreciente de y es el parámetro que usted estimar y probar hipótesis sobre. Hay docenas de funciones de enlace y transformaciones de y para hacer una función lineal de .f ( x , β ) y x y f (...
¿Cuál es la diferencia entre hacer una regresión lineal con una función de base radial gaussiana (RBF) y hacer una regresión lineal con un núcleo
¿Cuál es la diferencia entre la regresión Primal , Dual y Kernel Ridge? Las personas están usando los tres, y debido a la notación diferente que todos usan en diferentes fuentes es difícil para mí seguir. Entonces, ¿alguien puede decirme en palabras simples cuál es la diferencia entre estos tres?...
Una vez escuché eso la transformación logarítmica es la más popular para distribuciones sesgadas a la derecha en regresión lineal o regresión cuantil Me gustaría saber si hay alguna razón subyacente a esta declaración. ¿Por qué la transformación logarítmica es adecuada para una distribución...