¿Cómo tiene la estimación de máxima verosimilitud una distribución normal aproximada?

He estado leyendo sobre MLE como un método para generar una distribución ajustada.

Me encontré con una declaración que decía que las estimaciones de probabilidad máxima "tienen distribuciones normales aproximadas".

¿Significa esto que si aplico MLE varias veces sobre mis datos y la familia de distribuciones a las que estoy tratando de ajustar, los modelos que obtengo se distribuirán normalmente? ¿Cómo exactamente una secuencia de distribuciones tiene una distribución?

Los estimadores son estadísticas, y las estadísticas tienen distribuciones de muestreo (es decir, estamos hablando de la situación en la que sigue tomando muestras del mismo tamaño y observando la distribución de las estimaciones que obtiene, una para cada muestra).

La cita se refiere a la distribución de los MLE a medida que los tamaños de muestra se aproximan al infinito.

Entonces, consideremos un ejemplo explícito, el parámetro de una distribución exponencial (usando la parametrización de escala, no la parametrización de velocidad).

En este caso . El teorema nos da que a medida que el tamaño de la muestra hace más y más grande, la distribución de (una estandarizada apropiadamente) (en datos exponenciales) se volverá más normal.$\hat \mu = \bar x$$n$$\bar X$

Si tomamos muestras repetidas, cada una de tamaño 1, la densidad resultante de las medias muestrales se da en la gráfica superior izquierda. Si tomamos muestras repetidas, cada una de tamaño 2, la densidad resultante de las medias muestrales se da en la gráfica superior derecha; para el momento n = 25, en la parte inferior derecha, la distribución de las medias muestrales ya ha comenzado a parecer mucho más normal.

(En este caso, ya anticiparíamos que es así debido a la CLT. Pero la distribución de también debe aproximarse a la normalidad porque es ML para el parámetro de velocidad ... y no puede obtener eso del CLT, al menos no directamente *, ya que ya no estamos hablando de medios estandarizados, de eso se trata el CLT)$1/\bar X$$\lambda=1/\mu$

Ahora considere el parámetro de forma de una distribución gamma con media de escala conocida (aquí usando una parametrización de media y forma en lugar de escala y forma).

El estimador no tiene forma cerrada en este caso, y el CLT no se aplica a él (de nuevo, al menos no directamente *), pero sin embargo, el argumento máximo de la función de probabilidad es MLE. A medida que tome muestras cada vez más grandes, la distribución de muestreo de la estimación del parámetro de forma se volverá más normal.

Estas son estimaciones de densidad de kernel a partir de 10000 conjuntos de estimaciones de ML del parámetro de forma de una gamma (2,2), para los tamaños de muestra indicados (los dos primeros conjuntos de resultados fueron extremadamente pesados; se han truncado un poco, por lo que puede ver la forma cerca del modo). En este caso, la forma cerca del modo solo está cambiando lentamente hasta el momento, pero la cola extrema se ha acortado drásticamente. Puede ser que tome un de varios cientos a empezar a buscar normal.$n$

-

* Como se mencionó, el CLT no se aplica directamente (claramente, ya que en general no estamos tratando con los medios). Sin embargo, puede hacer un argumento asintótico donde expanda algo en en una serie, haga un argumento adecuado relacionado con términos de orden superior e invoque una forma de CLT para obtener una versión estandarizada de acerca a la normalidad (en condiciones adecuadas ...).$\hat{\theta}$$\hat{\theta}$

Tenga en cuenta también que el efecto que vemos cuando miramos muestras pequeñas (pequeñas en comparación con el infinito, al menos), esa progresión regular hacia la normalidad en una variedad de situaciones, como vemos motivados por las parcelas anteriores, sugeriría que si consideramos el cdf de una estadística estandarizada, puede haber una versión de algo así como una desigualdad de Berry Esseen basada en un enfoque similar a la forma de usar un argumento CLT con MLE que proporcionaría límites sobre qué tan lentamente la distribución de muestreo puede acercarse a la normalidad. No he visto algo así, pero no me sorprendería descubrir que se ha hecho.