OLS vs. probabilidad máxima bajo distribución normal en regresión lineal

8

Encontré que para un modelo de regresión lineal simple, tanto el MCO como el método de máxima verosimilitud (suponiendo una distribución Normal) dan el mismo resultado (valores de parámetros). A partir de esto, ¿podemos decir que los MCO también hacen suposiciones implícitas sobre la distribución Normal o viceversa? No me interesa saber por qué ambos producen el mismo valor, pero ¿cuál supone menos estrictamente acerca de los datos?

Neeraj
fuente

Respuestas:

6

OLS no hace una suposición de normalidad para los errores del modelo. OLS se puede usar bajo diferentes supuestos de distribución y el estimador seguirá teniendo sentido como el estimador imparcial lineal de varianza mínima.

La máxima verosimilitud (ML) también puede acomodar diferentes distribuciones, pero la distribución debe elegirse con anticipación. Si la distribución real parece ser diferente de la distribución supuesta, el estimador ML ya no tendrá sentido como el estimador que maximiza la densidad de probabilidad conjunta de los datos.

Por lo tanto, podemos decir que, en una aplicación particular, ML hace una suposición más estricta sobre los errores del modelo que OLS.

Richard Hardy
fuente
Gracias @RihchardHardy ..... ¿podría explicar qué significa "OLS puede usarse bajo diferentes supuestos de distribución"? Debido a que, según mi conocimiento, OLS no asume nada sobre los datos, solo minimiza la suma del cuadrado de los residuos.
Neeraj
Tienes razón. Eso pretendía significar "Independientemente de qué suposición de distribución, si es que está haciendo, OLS estará bien".
Richard Hardy
@gracias RichardHardy. Significa que la probabilidad máxima es tan buena como la suposición de distribución. ¿Pero significa que para el modelo de regresión lineal OLS siempre es mejor que ML?
Neeraj
1
Lo que es mejor depende de su función objetivo (o función de pérdida). 1. Si desea maximizar la densidad de probabilidad conjunta de errores, su elección es la probabilidad máxima (pero debe verificar qué tan bien coinciden los residuos del modelo con el supuesto de distribución). Además, la probabilidad máxima aún puede funcionar incluso si la distribución del error no coincide; La palabra clave aquí es cuasi máxima probabilidad. 2. Si desea minimizar la suma de los residuos al cuadrado, elija OLS.
Richard Hardy
1
Creo que es una cuestión de interpretación. OLS y MLE tienen objetivos diferentes. Sin embargo, por cierto, OLS y MLE son iguales bajo distribución normal. ¿Se puede interpretar esto como OLS sin saberlo usando el supuesto de nomalidad? Quizás, pero no lo diría de esa manera. OLS no se basa en él ni tiene el objetivo de maximizar la probabilidad. Yo lo llamaría una coincidencia. En general, puede hacer una nueva pregunta en lugar de plantearla en los comentarios. Idealmente, los comentarios deben estar fuertemente relacionados con el OP o la respuesta, mientras que una discusión más amplia puede merecer nuevas preguntas y nuevas respuestas.
Richard Hardy