Se refiere a una técnica de estimación general que selecciona el valor del parámetro para minimizar la diferencia al cuadrado entre dos cantidades, como el valor observado de una variable y el valor esperado de esa observación condicionado al valor del parámetro. Los modelos lineales gaussianos se ajustan por mínimos cuadrados y los mínimos cuadrados es la idea subyacente al uso del error cuadrático medio (MSE) como una forma de evaluar un estimador.
¿En qué circunstancias se debe considerar el uso de métodos de regularización (cresta, lazo o regresión de ángulos mínimos) en lugar de OLS? En caso de que esto ayude a dirigir la discusión, mi interés principal es mejorar la precisión
Para un estudio de simulación tengo para generar variables aleatorias que muestran un (población) de correlación prefined a una variable existente .YYY Miré en los Rpaquetes copulay CDVineque pueden producir distribuciones aleatorias multivariadas con una estructura de dependencia dada. Sin...
Entiendo que la estimación de regresión de cresta es la que minimiza la suma residual del cuadrado y una penalización en el tamaño deβββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y =...
¿Por qué usar Root Mean Squared Error (RMSE) en lugar de Mean Absolute Error (MAE) ?? Hola He estado investigando el error generado en un cálculo: inicialmente calculé el error como un error cuadrático normalizado medio raíz. Mirando un poco más de cerca, veo que los efectos de cuadrar el error...
Hay varios hilos en este sitio que discuten cómo determinar si los residuos de OLS se distribuyen asintóticamente normalmente. Otra forma de evaluar la normalidad de los residuos con el código R se proporciona en este excelente respuesta . Esta es otra discusión sobre la diferencia práctica entre...
Fuentes aparentemente de buena reputación afirman que la variable dependiente debe distribuirse normalmente: Suposiciones del modelo: YYY se distribuye normalmente, los errores se distribuyen normalmente, ei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2) , e independiente, y XXX es fijo, y la varianza...
Usualmente escucho sobre "mínimos cuadrados ordinarios". ¿Es ese el algoritmo más utilizado para la regresión lineal? ¿Hay razones para usar una
¿Cuál es la principal diferencia entre la estimación de máxima verosimilitud (MLE) frente a la estimación de mínimos cuadrados (LSE)? ¿Por qué no podemos usar MLE para predecir valores de en regresión lineal y viceversa?yyy Cualquier ayuda sobre este tema será muy
Tengo algunos problemas con la derivación de la solución para la regresión de crestas. Sé la solución de regresión sin el término de regularización: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Pero después de agregar el término L2 a la función de costo, ¿cómo es que la solución se...
¿Por qué la función sigmoide estándar de facto, , es tan popular en las redes neuronales (no profundas) y la regresión logística?11+e−x11+e−x\frac{1}{1+e^{-x}} ¿Por qué no utilizamos muchas de las otras funciones derivables, con un tiempo de cálculo más rápido o una disminución más lenta (por lo...
Cuando llevamos a cabo una regresión lineal para adaptarse a un grupo de puntos de datos ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) , el enfoque clásico minimiza el error al cuadrado. Durante mucho tiempo me ha intrigado una pregunta que minimizará el error al cuadrado producirá el mismo...
Estoy intentando ejecutar una regresión de OLS: DV: cambio de peso durante un año (peso inicial - peso final) IV: Si haces ejercicio o no. Sin embargo, parece razonable que las personas más pesadas pierdan más peso por unidad de ejercicio que las personas más delgadas. Por lo tanto, quería...
¿Alguien puede recomendar una buena exposición de la teoría detrás de la regresión de mínimos cuadrados parciales (disponible en línea) para alguien que entiende SVD y PCA? He visto muchas fuentes en línea y no he encontrado nada que tuviera la combinación correcta de rigor y accesibilidad. He...
Siempre uso lm()en R para realizar una regresión lineal de en . Esa función devuelve un coeficiente tal queyyyXxxββ\betay= βx .y=βx.y = \beta x. Hoy aprendí sobre mínimos cuadrados totales y esa princomp()función (análisis de componentes principales, PCA) se puede utilizar para realizarla. Debería...
Fondo Supongamos que tenemos un modelo de mínimos cuadrados ordinarios donde tenemos coeficientes en nuestro modelo de regresión, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} donde es un vector de coeficientes , es la matriz de diseño definida
Acabo de encontrar este artículo , que describe cómo calcular la repetibilidad (también conocida como confiabilidad, también conocida como correlación intraclase) de una medición a través del modelado de efectos mixtos. El código R sería: #fit the model fit =
Me gustaría entender por qué, bajo el modelo OLS, el RSS (suma residual de cuadrados) se distribuye ( es el número de parámetros en el modelo, el número de observaciones).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Pido disculpas por hacer una pregunta tan básica, pero parece que no puedo encontrar la...
Soy nuevo en Machine Learning y estoy tratando de aprenderlo por mi cuenta. Recientemente estaba leyendo algunas notas de clase y tenía una pregunta básica. La diapositiva 13 dice que "La estimación de mínimos cuadrados es igual a la estimación de máxima verosimilitud bajo un modelo gaussiano"....
¿Cómo se relacionan PCA, LDA, CCA y PLS? Todos parecen "espectrales" y algebraicos lineales y muy bien entendidos (digamos más de 50 años de teoría construida alrededor de ellos). Se usan para cosas muy diferentes (PCA para la reducción de la dimensionalidad, LDA para la clasificación, PLS para la...
Si la mejor aproximación lineal (usando mínimos cuadrados) de mis puntos de datos es la línea , ¿cómo puedo calcular el error de aproximación? Si desviación estándar de las diferencias entre observaciones y predicciones , ¿puedo decir luego que un valor real (pero no observado) pertenece al...