Fondo Supongamos que tenemos un modelo de mínimos cuadrados ordinarios donde tenemos coeficientes en nuestro modelo de regresión, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} donde es un vector de coeficientes , es la matriz de diseño definida
Estoy tratando de usar scikit-learn para la regresión polinómica. Por lo que leí, la regresión polinómica es un caso especial de regresión lineal. Esperaba que tal vez uno de los modelos lineales generalizados de scikit pueda parametrizarse para ajustarse a polinomios de orden superior, pero no veo...
He estado haciendo una competencia de aprendizaje automático en la que usan RMSLE (error logarítmico medio cuadrático medio) para evaluar el rendimiento que predice el precio de venta de una categoría de equipo. El problema es que no estoy seguro de cómo interpretar el éxito de mi resultado...
Estoy haciendo el curso Stanford de Machine Learning en Coursera. En el capítulo sobre Regresión logística, la función de costo es esta: Entonces, se deriva aquí: Intenté obtener la derivada de la función de costo, pero obtuve algo completamente diferente. ¿Cómo se obtiene la...
Cuando predice un valor ajustado de un modelo de regresión logística, ¿cómo se calculan los errores estándar? Me refiero a los valores ajustados , no a los coeficientes (que implica la matriz de información de Fishers). Solo descubrí cómo obtener los números con R(por ejemplo, aquí en r-help o...
Siempre uso lm()en R para realizar una regresión lineal de en . Esa función devuelve un coeficiente tal queyyyXxxββ\betay= βx .y=βx.y = \beta x. Hoy aprendí sobre mínimos cuadrados totales y esa princomp()función (análisis de componentes principales, PCA) se puede utilizar para realizarla. Debería...
Tengo un conjunto de datos con 9 variables independientes continuas. Estoy tratando de seleccionar entre estas variables para ajustar un modelo a una sola variable de porcentaje (dependiente) Score. Desafortunadamente, sé que habrá una colinealidad seria entre varias de las variables. Intenté usar...
Tengo una pregunta relacionada con la regresión múltiple y la interacción, inspirada en este hilo CV: ¿ Término de interacción usando el análisis de regresión jerárquica de variables centradas? ¿Qué variables debemos centrar? Al verificar un efecto de moderación, centro mis variables...
βlasso=argminβ∥y−Xβ∥22+α∥β∥1βlasso=argminβ‖y−Xβ‖22+α‖β‖1\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1βlassoj=sgn(βLSj)(|βLSj|−α)+βjlasso=sgn(βjLS)(|βjLS|−α)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+...
Consideremos, por ejemplo, un modelo de regresión lineal. Escuché que, en la minería de datos, después de realizar una selección gradual basada en el criterio AIC, es engañoso mirar los valores p para probar la hipótesis nula de que cada coeficiente de regresión verdadero es cero. Escuché que uno...
Me gustaría entender por qué, bajo el modelo OLS, el RSS (suma residual de cuadrados) se distribuye ( es el número de parámetros en el modelo, el número de observaciones).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Pido disculpas por hacer una pregunta tan básica, pero parece que no puedo encontrar la...
Como ejemplo, considere el ChickWeightconjunto de datos en R. La varianza obviamente crece con el tiempo, así que si uso una regresión lineal simple como: m <- lm(weight ~ Time*Diet, data=ChickWeight) Mis preguntas: ¿Qué aspectos del modelo serán cuestionables? ¿Se limitan los problemas a...
Acabo de leer este maravilloso libro: Análisis estadístico multivariado aplicado por Johnson y Wichern . La ironía es que todavía no puedo entender la motivación para usar modelos multivariados (regresión) en lugar de modelos univariados (regresión) separados. Revisé las publicaciones...
Acabo de encontrar este artículo , que describe cómo calcular la repetibilidad (también conocida como confiabilidad, también conocida como correlación intraclase) de una medición a través del modelado de efectos mixtos. El código R sería: #fit the model fit =
¿Cómo se elige un modelo entre los diferentes modelos elegidos por diferentes métodos (por ejemplo, selección hacia atrás o hacia adelante)? Además, ¿qué es un modelo
Estoy usando glmnet para calcular las estimaciones de regresión de crestas. Obtuve algunos resultados que me hicieron sospechar que glmnet realmente está haciendo lo que creo que hace. Para verificar esto, escribí un script R simple donde comparo el resultado de la regresión de cresta realizada por...
Al ajustar un modelo de regresión, qué sucede si no se cumplen los supuestos de los resultados, específicamente: ¿Qué sucede si los residuos no son homoscedásticos? Si los residuos muestran un patrón creciente o decreciente en la gráfica Residual vs. ¿Qué sucede si los residuos no se distribuyen...
Encontré una fórmula para pseudo en el libro Extending the Linear Model with R, Julian J. Faraway (p. 59).R2R2R^2 1 - Desviación residualDesviación nula1-Desviación residualDesviación nula1-\frac{\text{ResidualDeviance}}{\text{NullDeviance}} . ¿Es esta una fórmula común para pseudo para...
Todas mis variables son continuas. No hay niveles ¿Es posible incluso tener interacción entre las
Estaba leyendo el siguiente enlace sobre regresión no lineal SAS no lineal . Mi comprensión al leer la primera sección "Regresión no lineal versus regresión lineal" fue que la siguiente ecuación es en realidad una regresión lineal, ¿es eso correcto? Si es así, ¿por qué? y= b1X3+ b2X2+ b3x +...