Ejemplo de un estimador inconsistente de máxima verosimilitud

13

Estoy leyendo un comentario en un artículo, y el autor afirma que a veces, aunque los estimadores (encontrados por ML o cuasilikelihood máxima) pueden no ser consistentes, el poder de una prueba de razón de probabilidad o razón de cuasi-probabilidad aún puede converger a 1 ya que el número de datos observados tiende al infinito (consistencia de prueba). ¿Cómo y cuándo sucede esto? ¿Conoces alguna bibliografía?

Un anciano en el mar.
fuente
¿Qué son LR y QLR?
gung - Restablecer Monica
Prueba de razón de verosimilitud y razón de cuasilimabilidad;)
Un anciano en el mar.
La potencia debería ir a 1 en todas partes excepto en un punto. Lo que no tendrá es la tasa de error nominal tipo 1.
Glen_b -Reinstate Monica
@Glen_b, ¿podría dar más detalles sobre su comentario? Gracias;)
Un anciano en el mar.
@Glen_b, desafortunadamente no, y wiki no parece tener una entrada ...
Un anciano en el mar.

Respuestas:

10

[Creo que este podría ser un ejemplo del tipo de situación en discusión en su pregunta.]

Existen numerosos ejemplos de estimadores inconsistentes de ML. La inconsistencia se ve comúnmente con una variedad de problemas de mezcla ligeramente complicados y problemas de censura.

[La consistencia de una prueba es básicamente solo que el poder de la prueba para una hipótesis falsa (fija) aumenta a uno cuando .]n

Radford Neal da un ejemplo en su entrada de blog del 2008-08-09 Estimación inconsistente de máxima verosimilitud: un ejemplo "ordinario" . Implica la estimación del parámetro en:θ

X | θ    (1/2)N(0,1) + (1/2)N(θ,exp(1/θ2)2)

(Neal usa donde tengo θ ) donde la estimación de ML de θ tenderá a 0 como ntθθ0 (y, de hecho, la probabilidad puede ser mucho mayor en un pico cercano a 0 que en el valor verdadero para tamaños de muestra bastante modestos). Sin embargo, es cierto que hay un pico cerca del valor verdadero θ , es más pequeño que el cercano a 0.nθ

Imagine ahora dos casos relacionados con esta situación:

a) realizar una prueba de razón de probabilidad de contra la alternativa H 1 :H0:θ=θ0 ;H1:θ<θ0

b) realizar una prueba de razón de probabilidad de contra la alternativa H 1 :H0:θ=θ0 .H1:θθ0

En el caso (a), imagine que el verdadero (de modo que la alternativa es verdadera y 0 es el otro lado del verdadero θ ). Entonces, a pesar del hecho de que la probabilidad muy cercana a 0 excederá eso en θ , la probabilidad en θ sin embargo excede la probabilidad en θ 0 incluso en muestras pequeñas, y la relación continuará creciendo a medida que n θ<θ00θθθθ0n , en tales una manera de hacer que la probabilidad de rechazo en una prueba de razón de probabilidad vaya a 1.

De hecho, incluso en el caso (b), siempre que sea ​​fijo y delimitado desde 0 , también debería darse el caso de que la razón de probabilidad crecerá de tal manera que la probabilidad de rechazo en una prueba de razón de probabilidad también enfoque 1.θ00

Por lo tanto, este parece ser un ejemplo de estimación inconsistente de ML, donde la potencia de un LRT debería ir a 1 (excepto cuando ).θ0=0

[Tenga en cuenta que realmente no hay nada de esto que aún no esté en la respuesta de Whuber, lo que creo que es un ejemplo de claridad, y es mucho más simple para comprender la diferencia entre la consistencia de la prueba y la consistencia de un estimador. El hecho de que el estimador inconsistente en el ejemplo específico no fuera ML no importa realmente en cuanto a comprender esa diferencia, y traer un estimador inconsistente que sea específicamente ML, como he tratado de hacer aquí, realmente no altera el explicación de cualquier manera sustantiva. El único punto real del ejemplo aquí es que creo que aborda su preocupación sobre el uso de un estimador de ML.]

Glen_b -Reinstate a Monica
fuente
Gracias Glen por tu respuesta. Aún tengo una pregunta. La cuestión es que, por lo general, en la prueba de que la distribución limitante de la LRT es chi-cuadrado, se supone que los estimadores de ML son consistentes. En su caso, ¿cómo justificaría que una razón de probabilidad creciente hará que la probabilidad de rechazo llegue a 1, cuando se desconoce la distribución límite? ¿O se sabe?
Un viejo en el mar.
Todo lo que necesita para que la estadística de prueba de razón de probabilidad crezca sin límite es que la probabilidad en el valor en el numerador crezca más rápidamente que la del denominador. Según la discusión vinculada, entendí que Neal estaba dando a entender que sí, pero no he hecho una verificación real de los detalles. Sin embargo, no creo que haya una buena razón para afirmar que la prueba tendría la distribución de chi-cuadrado; mi suposición de la poca información que diste en la pregunta era que la prueba descrita se estaba haciendo como si era asintótica chi-cuadrado, pero ... (CTD)θ
Glen_b -Reinstate Mónica
(ctd) ... tendrías que preguntarle al autor del comentario que describiste si eso era lo que querían decir.
Glen_b -Reinstate Monica
En realidad, lo que dije no es del todo correcto, ya que es posible que el numerador crezca más rápido que el denominador, pero la relación no crece sin límite (en el sentido de que la relación de los dos podría crecer pero estar limitada). Debería haber dicho algo como "lo suficientemente rápido".
Glen_b -Reinstate Monica
8

(Xn)(μ,1)distribución. Considere el estimador

T(x1,,xn)=1+x¯=1+1ni=1nxn.

The distribution of T(X1,,Xn)=1+X¯ is Normal(μ+1,1/n). It converges to μ+1μ, showing it is inconsistent.

In comparing a null hypothesis μ=μ0 to a simple alternative, say μ=μA, the log likelihood ratio will be exactly the same as the LLR based on X¯ instead of T. (In effect, T is useful for comparing the null hypothesis μ+1=μ0+1 to the alternative hypothesis μ+1=μA+1.) Since the test based on the mean has power converging to 1 for any test size α>0 and any effect size, the power of the test using T itself also converges to 1.

whuber
fuente
thank your for your interest in this question. How can we in a more general setting, be sure of the consistency of the test? I was looking for a more general answer, and not a specific case. And also some bibliography if available. Thanks ;)
An old man in the sea.
Además, tal vez me equivoque, pero el estimador T no parece ser el estimador ML. La pregunta es "¿cuándo tenemos la consistencia de la prueba, cuando los estimadores de ML o los estimadores de cuasilikelielibility no son consistentes?"
Un viejo en el mar.
I edited the question, since it might not had clearly what I wanted. Sorry ;)
An old man in the sea.