ANOVA vs regresión lineal múltiple? Entiendo que ambos métodos parecen usar el mismo modelo estadístico. Sin embargo, ¿bajo qué circunstancias debo usar qué método? ¿Cuáles son las ventajas y desventajas de estos métodos en comparación? ¿Por qué ANOVA se usa con tanta frecuencia en estudios...
La pregunta es muy simple: ¿por qué, cuando tratamos de ajustar un modelo a nuestros datos, lineales o no lineales, generalmente tratamos de minimizar la suma de los cuadrados de errores para obtener nuestro estimador para el parámetro del modelo? ¿Por qué no elegir alguna otra función objetivo...
Cuando hacemos regresiones múltiples y decimos que estamos viendo el cambio promedio en la variable para un cambio en una variable , manteniendo todas las demás variables constantes, ¿en qué valores mantenemos constantes las otras variables? Su media? ¿Cero? ¿Algún valor?yyyxXx Me inclino a pensar...
Además de algunas circunstancias únicas en las que debemos comprender absolutamente la relación media condicional, ¿cuáles son las situaciones en las que un investigador debería elegir OLS en lugar de la Regresión Cuantil? No quiero que la respuesta sea "si no sirve de nada entender las relaciones...
Hay una imagen en la página 204, capítulo 4 de "reconocimiento de patrones y aprendizaje automático" de Bishop donde no entiendo por qué la solución de Mínimo cuadrado da malos resultados aquí: El párrafo anterior trataba sobre el hecho de que las soluciones de mínimos cuadrados carecen de...
Considere la regresión de cresta con una restricción adicional que requiere que tenga una unidad de suma de cuadrados (equivalente, varianza de unidad); si es necesario, se puede suponer que tiene una unidad de suma de cuadrados: Yy^y^\hat{\mathbf y}yy\mathbf
Comienzo con mi regresión OLS: donde D es una variable ficticia, las estimaciones se vuelven diferentes de cero con un valor p bajo. Luego realizo una prueba Ramsey RESET y descubro que tengo alguna especificación incorrecta de la ecuación, por lo tanto, incluyo x al cuadrado: y = β 0 + β 1 x 1...
Recientemente, descubrí que en la literatura de econometría aplicada, cuando se trata de problemas de selección de características, no es raro realizar LASSO seguido de una regresión de OLS utilizando las variables seleccionadas. Me preguntaba cómo podemos calificar la validez de tal...
Sé cómo calcular matemáticamente PCA y SVD, y sé que ambos se pueden aplicar a la regresión de mínimos cuadrados lineales. La principal ventaja de SVD matemáticamente parece ser que se puede aplicar a matrices no cuadradas. Ambos se centran en la descomposición de la matrizAdemás de la ventaja de...
Leí esta declaración en un antiguo examen verdadero / falso: Podemos obtener múltiples soluciones óptimas locales si resolvemos un problema de regresión lineal minimizando la suma de los errores al cuadrado utilizando el gradiente de descenso. Solución: falso Mi pregunta es, ¿qué parte de...
La impresión que obtuve, en base a varios documentos, libros y artículos que he leído, es que la forma recomendada de ajustar una distribución de probabilidad en un conjunto de datos es mediante el uso de la estimación de máxima verosimilitud (MLE). Sin embargo, como físico, una forma más intuitiva...
Estoy tratando de ajustar una regresión para explicar el número de homicidios en cada distrito de una ciudad. Aunque sé que mis datos siguen una distribución de Poisson, intenté ajustar un OLS como este: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Luego, también probé...
Si es rango completo, existe el inverso de y obtenemos la estimación de mínimos cuadrados: yX T X β = ( X T X ) - 1 X Y Var ( β ) = σ 2 ( X T X ) - 1XXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) =...
De una Introducción al aprendizaje estadístico de James et al., La estimación de validación cruzada de dejar uno fuera (LOOCV) se define por CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i dondeMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i =...
Tengo una pregunta sobre el sesgo variable omitido en la regresión logística y lineal. Digamos que omito algunas variables de un modelo de regresión lineal. Imagine que esas variables omitidas no están correlacionadas con las variables que incluí en mi modelo. Esas variables omitidas no sesgan...
Vi esta lista aquí y no podía creer que hubiera tantas formas de resolver mínimos cuadrados. Las "ecuaciones normales" en la Wikipedia parecían ser una forma bastante α^β^=y¯−β^x¯,=∑ni=1(xi−x¯)(yi−y¯)∑ni=1(xi−x¯)2α^=y¯−β^x¯,β^=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2 {\displaystyle {\begin{aligned}{\hat...
Me preguntaba si hay una relación entre y una prueba F.R2R2R^2 Por lo general, y mide la fuerza del relación lineal en la regresión.R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} Una prueba F solo prueba una...
Considere un problema de regresión OLS estándar : Tengo matrices y \ X y quiero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. La solución viene dada por \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf...
Este enlace de wikipedia enumera una serie de técnicas para detectar la heterocedasticidad residual de OLS. Me gustaría saber qué técnica práctica es más eficiente en la detección de regiones afectadas por la heterocedasticidad. Por ejemplo, aquí la región central en la trama 'Residuals vs Fitted'...
No estoy seguro si normalizar es la palabra correcta para usar aquí, pero haré todo lo posible para ilustrar lo que estoy tratando de preguntar. El estimador utilizado aquí es de mínimos cuadrados. Supongamos que tiene , puede centrarlo alrededor de la media por donde y x_1' = x- \ bar x ,...