MLE vs mínimos cuadrados en las distribuciones de probabilidad de ajuste

18

La impresión que obtuve, en base a varios documentos, libros y artículos que he leído, es que la forma recomendada de ajustar una distribución de probabilidad en un conjunto de datos es mediante el uso de la estimación de máxima verosimilitud (MLE). Sin embargo, como físico, una forma más intuitiva es ajustar el pdf del modelo al pdf empírico de los datos utilizando mínimos cuadrados. ¿Por qué entonces MLE es mejor que los mínimos cuadrados en las distribuciones de probabilidad de ajuste? ¿Podría alguien señalarme un artículo / libro científico que responda a esta pregunta?

Mi presentimiento es porque MLE no asume un modelo de ruido y el "ruido" en el pdf empírico es heterocedástico y no es normal.

Christian Alis
fuente

Respuestas:

2

Una forma útil de pensar en esto es notar que hay casos en los que los mínimos cuadrados y el MLE son iguales, por ejemplo, estimar los parámetros donde el elemento aleatorio tiene una distribución normal. De hecho, en lugar de (como especula) que el MLE no asume un modelo de ruido, lo que está sucediendo es que sí asume que hay ruido aleatorio, pero toma una visión más sofisticada de cómo se forma eso en lugar de asumirlo. Tiene una distribución normal.

Cualquier libro de texto sobre inferencia estadística se ocupará de las buenas propiedades de los MLE con respecto a la eficiencia y la coherencia (pero no necesariamente sesgo). Los MLE también tienen la buena propiedad de ser asintóticamente normales bajo un conjunto razonable de condiciones.

Peter Ellis
fuente
lo que quiero decir con "no supone un modelo de ruido aleatorio" es que no supone que el ruido tenga una distribución definida, por ejemplo, normal. ¿Podría señalar un libro que discuta la estimación de parámetros ajustando PDF usando mínimos cuadrados? Los libros que encontré hablan solo de MLE (y, a veces, método de momentos).
Christian Alis
Para adaptarse a MLE, aún debe asumir una distribución definida, pero tiene una opción más amplia que la normal. Solo para elegir el primer libro a mano que discute los dos, tengo la Inferencia estadística de Garthwaite, Jolliffe y Jones (un libro de texto uni de segundo año bastante estándar) que analiza los mínimos cuadrados, así como el método de los momentos y el método del mínimo Chi cuadrado como alternativas. a MLEs.
Peter Ellis