Estimación de regresión lineal con OLS vs. ML

8

Suponga que voy a estimar una regresión lineal donde supongo uN(0,σ2). ¿Cuál es el beneficio de OLS frente a la estimación de ML? Sé que necesitamos saber una distribución deu cuando usamos métodos ML, pero como supongo uN(0,σ2)Si uso ML u OLS, este punto parece ser irrelevante. Por lo tanto, la única ventaja de OLS debería estar en las características asintóticas deβestimadores ¿O tenemos otras ventajas del método OLS?

MarkDollar
fuente

Respuestas:

14

Usando las notaciones habituales, la probabilidad logarítmica del método ML es

l(β0,β1;y1,,yn)=i=1n{12log(2πσ2)(yi(β0+β1xi))22σ2}.

Tiene que ser maximizado con respecto a β0 y β1.

Pero, es fácil ver que esto es equivalente a minimizar

i=1n(yi(β0+β1xi))2.

Por lo tanto, tanto ML como OLS conducen a la misma solución.

Se proporcionan más detalles en estas bonitas notas de clase .

ocram
fuente
Gracias por tu respuesta ocram. Está claro que ambos métodos conducen a la misma solución. Pero el OLS debería ser más poderoso ya que los estimadores son más eficientes que los estimadores de ML, ¿no? Me pregunto acerca de las diferencias y las ventajas de ambos métodos en el contexto al asumiruN(0,σ2)y estoy interesado en las características de los estimadores. Los valores paraβson idénticos, pero tengo en cuenta que las características asintóticas de los estimadores MCO son preferibles. dicho en términos generales: si ML y OLS dan los mismos resultados y características de los estimadores, ¿por qué deberíamos usar OLS?
MarkDollar
10
El estimador de máxima verosimilitud es OLS. Como son exactamente iguales, tendrán las mismas propiedades asintóticas.
Simon Byrne
4

Se está centrando en la parte incorrecta del concepto en su pregunta. La belleza de los mínimos cuadrados es que ofrece una respuesta fácil y agradable sin tener en cuenta la distribución, y si la distribución verdadera es normal, entonces también es la respuesta de probabilidad máxima (creo que este es el argumento de Gauss-Markov). Cuando tiene una distribución diferente a la normal, ML y OLS darán respuestas diferentes (pero si la distribución verdadera es cercana a la normal, las respuestas serán similares).

Greg Snow
fuente
0

La única diferencia para las muestras finitas es que el estimador ML para la varianza residual está sesgado. No tiene en cuenta el número de regresores utilizados en el modelo.

Druss2k
fuente