¿Cuál es la diferencia entre un estimador consistente y un estimador imparcial?

125

Estoy realmente sorprendido de que nadie parece haber preguntado esto ya ...

Cuando se discuten los estimadores, dos términos utilizados con frecuencia son "consistente" e "imparcial". Mi pregunta es simple: ¿cuál es la diferencia?

Las definiciones técnicas precisas de estos términos son bastante complicadas y es difícil tener una idea intuitiva de lo que significan . Puedo imaginar un buen estimador y un mal estimador, pero tengo problemas para ver cómo cualquier estimador podría satisfacer una condición y no la otra.

Orquídea matemática
fuente
13
¿Has mirado la primera figura en el artículo de Wikipedia sobre estimadores consistentes , que explica específicamente esta distinción?
whuber
44
He leído los artículos por coherencia y sesgo, pero todavía no entiendo la distinción. (La cifra a la que hace referencia afirma que el estimador es consistente pero sesgado, pero no explica por qué .)
MathematicalOrchid
1
¿Con qué parte de la explicación necesitas ayuda? El subtítulo señala que cada uno de los estimadores en la secuencia está sesgado y también explica por qué la secuencia es consistente. ¿Necesita una explicación de cómo el sesgo en estos estimadores es evidente a partir de la figura?
whuber
55
+1 El hilo de comentarios que sigue a una de estas respuestas es muy esclarecedor, tanto por lo que revela sobre el tema como por ser un ejemplo interesante de cómo una comunidad en línea puede trabajar para exponer y rectificar conceptos erróneos.
whuber
Relacionado: stats.stackexchange.com/questions/173152/…
kjetil b halvorsen

Respuestas:

126

Para definir los dos términos sin usar demasiado lenguaje técnico:

  • Un estimador es consistente si, a medida que aumenta el tamaño de la muestra, las estimaciones (producidas por el estimador) "convergen" con el valor verdadero del parámetro que se estima. Para ser un poco más precisos, la consistencia significa que, a medida que aumenta el tamaño de la muestra, la distribución muestral del estimador se concentra cada vez más en el verdadero valor del parámetro.

  • Un estimador es imparcial si, en promedio, alcanza el valor del parámetro verdadero. Es decir, la media de la distribución de muestreo del estimador es igual al valor del parámetro verdadero.

  • Los dos no son equivalentes: la imparcialidad es una declaración sobre el valor esperado de la distribución muestral del estimador. La consistencia es una declaración sobre "hacia dónde va la distribución de muestreo del estimador" a medida que aumenta el tamaño de la muestra.

Ciertamente es posible que se satisfaga una condición pero no la otra; daré dos ejemplos. Para ambos ejemplos considerar una muestra de de una población N ( μ , σ 2 ) .X1,...,Xnortenorte(μ,σ2)

  • Imparcial pero no consistente: suponga que está estimando . Entonces X 1 es un estimador imparcial de μ ya que E ( X 1 ) = μ . Pero, X 1 no es consistente ya que su distribución no se concentra más alrededor de μ a medida que aumenta el tamaño de la muestra: ¡siempre es N ( μ , σ 2 ) !μX1μmi(X1)=μX1μnorte(μ,σ2)

  • Consistente pero no imparcial: suponga que está estimando . El estimador de probabilidad máxima es σ 2 = 1σ2donde ¯ X es la media muestral. Es un hecho queE( σ 2)=n-1

    σ^2=1ni=1n(XiX¯)2
    X¯ herefore, σ 2que se puede derivar usando la informaciónaquí. Por lo tanto σ 2es empujado para cualquier tamaño de la muestra finita. También podemos derivar fácilmente quevunr( σ 2)=2σ4(n-1)
    E(σ^2)=n1nσ2
    σ^2σ^2 A partir de estos hechos podemos ver de manera informal que la distribución de σ 2es cada vez más concentrada enσ2a medida que aumenta el tamaño de la muestra ya que la media está convergiendo asigma2y la varianza converge a0. (Nota:Esto constituye una prueba de coherencia, utilizando el mismo argumento que el utilizado en la respuestaaquí)
    vunar(σ^2)=2σ4 4(norte-1)norte2
    σ^2σ2σ20 0
Macro
fuente
99
(+1) Sin embargo, no todos los MLE son consistentes: el resultado general es que existe una subsecuencia consistente en la secuencia de MLE. Para una coherencia adecuada, se necesitan algunos requisitos adicionales, por ejemplo, identificabilidad. Se encuentran ejemplos de MLE que no son consistentes en ciertos modelos de errores en variables (donde el "máximo" resulta ser un punto de referencia).
MånsT
2
Bueno, los ELE MLE que mencioné quizás no sean buenos ejemplos, ya que la función de probabilidad es ilimitada y no existe un máximo. Sin embargo, son buenos ejemplos de cómo el enfoque de ML puede fallar :) Lamento no poder dar un enlace relevante en este momento, estoy de vacaciones.
MånsT
Gracias @ MånsT. Las condiciones necesarias se detallaron en el enlace, pero eso no estaba claro en la redacción.
Macro
2
σ2
2
mi(σ^2)σ2vunar(σ^2)0 0σ^2
24

La consistencia de un estimador significa que a medida que el tamaño de la muestra aumenta, la estimación se acerca cada vez más al valor real del parámetro. La imparcialidad es una propiedad de muestra finita que no se ve afectada por el aumento del tamaño de la muestra. Una estimación es imparcial si su valor esperado es igual al valor del parámetro verdadero. Esto será cierto para todos los tamaños de muestra y es exacto, mientras que la consistencia es asintótica y solo es aproximadamente igual y no exacta.

norte

Actualización después de la discusión en los comentarios con @cardinal y @Macro: Como se describe a continuación, aparentemente hay casos patológicos en los que la varianza no tiene que ir a 0 para que el estimador sea muy consistente y el sesgo ni siquiera tiene que ir a 0 tampoco.

Michael Chernick
fuente
99
0 0(X1,...,Xnorte)Normal(μ,1)μ0 01/ /X¯1/ /μvar(1/ /X¯)=norte
66
Michael, el cuerpo de tu respuesta es bastante bueno; Creo que la confusión fue introducida por su primer comentario, que lleva con dos declaraciones que son claramente falsas y posibles puntos de confusión. (De hecho, muchos estudiantes se alejan de una clase introductoria de estadística de posgrado con precisamente estos conceptos erróneos debido a una mala delineación entre los diferentes modos de convergencia y su significado. Su último comentario podría considerarse un poco duro.)
cardenal
99
Desafortunadamente, las dos primeras oraciones en su primer comentario y todo el segundo comentario son falsas. Pero, me temo que no es fructífero intentar convencerlo aún más de estos hechos.
cardenal
11
θ^norte=X¯norte+ZnorteZnorteX¯norteZnorte=±unanorte1/ /norte2una>0 0θ^norteuna2θ^norteμ
-5

Consistencia: muy bien explicado antes [a medida que aumenta el tamaño de la muestra, las estimaciones (producidas por el estimador) "convergen" con el valor verdadero del parámetro que se estima]

Imparcialidad: satisface los supuestos de 1-5 MLR conocidos como el teorema de Gauss-Markov

  1. linealidad
  2. muestreo aleatorio
  3. expectativa de error medio condicional cero
  4. sin colinealidad perfecta
  5. homoscedasticidad

Entonces se dice que el estimador es AZUL (el mejor estimador imparcial lineal

Nikolina Langura
fuente