Teoremas generales de consistencia y normalidad asintótica de máxima verosimilitud

10

Estoy interesado en una buena referencia para resultados relacionados con propiedades asintóticas de estimadores de máxima verosimilitud. Considere un modelo donde es una densidad -dimensional, y es el MLE basado en una muestra de donde es el valor "verdadero" de . Hay dos irregularidades que me interesan.f n ( x | θ ) n θ n X 1 , ... , X n f n ( | θ 0{fn(θ):θΘ,nN}fn(xθ)nθ^nX1,,Xnθ 0 θfn(θ0)θ0θ

  1. Los datos no son iid y, como resultado, la información de Fisher sobre acumula a una velocidad menor que . θ nX1,,Xnθn
  2. Θ es un conjunto acotado, y con probabilidad positiva encuentra en el límite. El límite corresponde a un modelo "más simple", por lo que hay un interés particular en si encuentra o no en el límite.θ 0θ^nθ0

Mis preguntas particulares son

  1. Dejar que denote la información de Fisher observada correspondiente a , y supongamos que encuentra en el interior de . ¿En qué condiciones es asintóticamente normal como ? En particular, ¿son las condiciones de regularidad similares a las habituales, siendo la modificación relevante en algún sentido?θ θ 0 Θ [ J n ( θ n ) ] 1 / 2 ( θ n - θ 0 ) n J n (Jn(θ)θθ0Θ

    [Jn(θ^n)]1/2(θ^nθ0)
    nJn(θ^n)
  2. Supongamos, en cambio, que está en el límite, y nuevamente recuerde que sucede con probabilidad positiva - para concreción, en un modelo de efectos mixtos podemos tener . ¿En qué condiciones (casi seguro o con probabilidad) y bajo qué condiciones finalmente (esto probablemente falla para el modelo de efectos mixtos, pero corresponde a las propiedades "oracle" para el LASSO y los estimadores relacionados, entonces quizás sea demasiado pedir resultados generales)θ n = θ 0 Y i j = μ + β i + ε i j σ 2 β = 0 θ nθ 0 θ n = θ 0θ0θ^n=θ0Yij=μ+βi+ϵijσ^β2=0θ^nθ0θ^n=θ0

Una vez más, un simple puntero a un texto con resultados en este nivel de generalidad sería muy apreciado.

chico
fuente

Respuestas:

7

Referencias desde las que puede comenzar:

Para el caso donde el parámetro verdadero se encuentra en el límite :
Moran (1971) "Estimación de máxima verosimilitud en condiciones no estándar"

Steven G. Self y Kung-Yee Liang (1987) "Propiedades asintóticas de los estimadores de máxima verosimilitud y las pruebas de razón de verosimilitud en condiciones no estándar"

Ziding Feng y Charles E. McCulloch (1990) "Inferencia estadística usando la estimación de máxima verosimilitud y la razón de verosimilitud generalizada cuando el parámetro verdadero está en el límite del espacio del parámetro"

Para vehículos no idénticos pero independientes :
Bruce Hoadley (1971) "Propiedades asintóticas de los estimadores de máxima verosimilitud para el caso independiente no distribuido idénticamente"

Para RV dependientes:
Martin J. Crowder (1976) "Estimación de máxima verosimilitud para observaciones dependientes"

también

Huber, PJ (1967). "El comportamiento de las estimaciones de máxima verosimilitud en condiciones no estándar" . En Actas del quinto simposio de Berkeley sobre estadística matemática y probabilidad (Vol. 1, No. 1, pp. 221-233).

Actualización 17-03-2017: como se sugiere en un comentario, se puede hacer referencia al siguiente documento aquí

Andrews, DW (1987). Consistencia en modelos econométricos no lineales: una ley uniforme genérica de grandes números. Econometrica: Journal of the Econometric Society, 1465-1471.

Alecos Papadopoulos
fuente
Eche un vistazo a la discusión aquí: andrewgelman.com/2012/07/05/…
kjetil b halvorsen
1
(+1) He tenido un buen uso de estas referencias. Puede ser útil incluir también Andrews, 1987 ( jstor.org/stable/1913568 ). En particular, "... señala que un LLN uniforme de uso frecuente, debido a Hoadley (1971, Teorema A.5), solo se aplica a variables aleatorias limitadas".
ekvall