¿MLE requiere datos de iid? ¿O solo parámetros independientes?

La estimación de parámetros usando la estimación de máxima verosimilitud (MLE) implica evaluar la función de verosimilitud, que mapea la probabilidad de que la muestra (X) ocurra con los valores (x) en el espacio de parámetros (θ) dada una familia de distribución (P (X = x | θ ) sobre los posibles valores de θ (nota: ¿estoy en lo cierto?) Todos los ejemplos que he visto implican calcular P (X = x | θ) tomando el producto de F (X) donde F es la distribución con el local El valor para θ y X es la muestra (un vector).

Dado que solo estamos multiplicando los datos, ¿se sigue que los datos sean independientes? Por ejemplo, ¿no podríamos usar MLE para ajustar datos de series temporales? ¿O los parámetros solo tienen que ser independientes?

La función de probabilidad se define como la probabilidad de un evento (conjunto de datos ) como una función de los parámetros del modelox$E$${\bf x}$$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Por lo tanto, no se asume la independencia de las observaciones. En el enfoque clásico no existe una definición para la independencia de los parámetros, ya que no son variables aleatorias; Algunos conceptos relacionados pueden ser identificabilidad , ortogonalidad de parámetros e independencia de los estimadores de máxima verosimilitud (que son variables aleatorias).

Algunos ejemplos,

(1) Caso discreto . es una muestra de observaciones discretas (independientes) con , luegoP ( observación  x j ; θ ) > ${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

Particularmente, si , con conocido, tenemos que$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2) Aproximación continua . Sea una muestra de una variable aleatoria continua , con distribución y densidad , con error de medición , es decir, observa los conjuntos . LuegoX F f ε ( x j - ε , x j + ε ${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

Cuando es pequeño, se puede aproximar (usando el Teorema del valor medio) por$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Para un ejemplo con el caso normal, eche un vistazo a esto .

(3) Dependiente y modelo de Markov . Suponga que es un conjunto de observaciones posiblemente dependientes y que sea ​​la densidad conjunta de , entoncesf ${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Si además se satisface la propiedad de Markov , entonces

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Mira también esto .

(+1) Muy buena pregunta.

Una cosa menor, MLE significa estimación de máxima probabilidad (no múltiple), lo que significa que solo maximizas la probabilidad. Esto no especifica que la probabilidad tiene que ser producida por el muestreo IID.

Si la dependencia del muestreo puede escribirse en el modelo estadístico, simplemente escriba la probabilidad en consecuencia y maximícela como de costumbre.

El único caso que vale la pena mencionar cuando no se asume la dependencia es el del muestreo gaussiano multivariado (en el análisis de series de tiempo, por ejemplo). La dependencia entre dos variables gaussianas puede ser modelada por su término de covarianza, que usted incorpora en la probabilidad.

Para dar un ejemplo simplista, suponga que extrae una muestra de tamaño partir de variables gaussianas correlacionadas con la misma media y varianza. Escribirías la probabilidad como$2$

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

donde es$z$

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

Este no es el producto de las probabilidades individuales. Aún así, maximizaría esto con parámetros para obtener su MLE.$(\mu, \sigma, \rho)$

Por supuesto, los modelos ARMA gaussianos poseen una probabilidad, ya que su función de covarianza se puede derivar explícitamente. Esto es básicamente una extensión de la respuesta de gui11ame a más de 2 observaciones. Google mínimo produce documentos como este donde la probabilidad se da en forma general.

Otra clase, hasta cierto punto, más intrigante de ejemplos es la que ofrecen los modelos de efectos aleatorios multinivel . Si tiene datos de la forma donde los índices j están anidados en i (piense en los estudiantes j en las aulas i , por ejemplo, para una aplicación clásica de modelos multinivel) , entonces, suponiendo ϵ i j ⊥ u i , la probabilidad es ln L ∼ ∑

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ $j$$i$$j$$i$$\epsilon_{ij} \perp u_i$ y es una suma sobre las contribuciones de probabilidad definidas a nivel de grupos, no observaciones individuales. (Por supuesto, en el caso gaussiano, puede impulsar las integrales para producir una solución analítica similar a ANOVA. Sin embargo, si ha dicho un modelo logit para su respuesta y i j , entonces no hay forma de salir de la integración numérica. ) $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ $y_{ij}$