¿Qué distribuciones tienen soluciones de forma cerrada para la estimación de máxima verosimilitud?

21

¿Qué distribuciones tienen soluciones de forma cerrada para las estimaciones de máxima verosimilitud de los parámetros de una muestra de observaciones independientes?

distributions mathematical-statistics maximum-likelihood Coronel Panic
fuente

25

Sin ninguna pérdida apreciable de generalidad, podemos suponer que la densidad de probabilidad (o masa) para cualquier observación (de observaciones) es estrictamente positiva, lo que nos permite escribirla como exponencial $f(x_i)$ $x_i$ $n$

F (X_{yo}) = Exp (sol (X_{yo}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

para un vector de parámetros . $\theta = (\theta_j)$

Al igualar el gradiente de la función de probabilidad logarítmica a cero (que encuentra puntos estacionarios de la probabilidad, entre los cuales estarán todos los máximos globales interiores si existe), proporciona un conjunto de ecuaciones de la forma

\sum_{yo} \frac{re sol (X_{yo}, θ)}{re θ_{j}} = 0 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

uno para cada . Para que cualquiera de estos tenga una solución lista, nos gustaría poder separar los términos de los términos . (Todo surge de esta idea clave, motivada por el Principio de la holgazanería matemática : hacer el menor trabajo posible; pensar con anticipación antes de la computación; abordar primero las versiones fáciles de problemas difíciles). La forma más general de hacerlo es que las ecuaciones tomen la forma $j$ $x_i$ $\theta$

\sum_{yo} (η_{j} (θ) τ_{j} (X_{yo}) - α_{j} (θ)) = η_{j} (θ) \sum_{yo} τ_{j} (X_{yo}) - norte α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

para funciones conocidas , y , para entonces la solución se obtiene resolviendo las ecuaciones simultáneas $\eta_j$ $\tau_j$ $\alpha_j$

\frac{norte α_{j} (θ)}{η_{j} (θ)} = \sum_{yo} τ_{j} (X_{yo})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

para . En general, estos serán difíciles de resolver, pero siempre que el conjunto de valores de $\theta$ proporciona información completa sobre, podríamos simplemente usar este vectoren lugar desí mismo (generalizando de alguna manera la idea de una solución de "forma cerrada", pero de una manera altamente productiva). En tal caso, la integración con respecto aproduce $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

sol (X, θ) = τ_{j} (X) \int^{θ} η_{j} (θ) re θ_{j} - \int^{θ} α_{j} (θ) re θ_{j} + si (X, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(donde representa todos los componentes de excepto ). Debido a que el lado izquierdo es funcionalmente independiente de , debemos tener que para alguna función fija ; que no debe depender de en absoluto; y son derivadas de alguna función y son derivadas de alguna otra función $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ , ambos funcionalmente independientes de los datos. De dónde $A(\theta)$

sol (X, θ) = H (θ) T (X) - UNA (θ) + si (X) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

Las densidades que se pueden escribir de esta forma forman la conocida familia Koopman-Pitman-Darmois , o exponencial . Comprende familias paramétricas importantes, tanto continuas como discretas, que incluyen Gamma, Normal, Chi-cuadrado, Poisson, Multinomial y muchas otras .

whuber
fuente

Y para aquellos que no tienen formas cerradas, podríamos usar el algoritmo EM. Por ejemplo, considere el modelo de poisson inflado a cero: stats.stackexchange.com/questions/32133/…

Damien

0

No sé si podría enumerarlos a todos. Lo exponencial, lo normal y el binomio vienen a la mente y todos caen en la clase de familias exponenciales. La familia exponencial tiene su estadística suficiente en el exponente y el mle es a menudo una buena función de esta estadística suficiente.

Michael R. Chernick
fuente

8

Esta pregunta es increíblemente amplia, pero parece que el OP puede estar preguntando qué caracteriza a una distribución que tiene una solución de forma cerrada para el MLE en lugar de pedir una lista exhaustiva. En cualquier caso, una lista exhaustiva ni siquiera es posible.

Macro

2

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

Thnaks Neil por señalar eso. Supongo que no todas las distribuciones familiares exponenciales tienen soluciones de forma cerrada.

Michael R. Chernick

¿Qué distribuciones tienen soluciones de forma cerrada para la estimación de máxima verosimilitud?

Respuestas: