¿Por qué el teorema de Rao-Blackwell requiere ?

10

El teorema de Rao-Blackwell afirma

Sea un estimador de \ theta con \ Bbb E (\ hat {\ theta} ^ 2) <\ infty para todos \ theta . Suponga que T es suficiente para \ theta , y deje que \ theta ^ * = \ Bbb E (\ hat {\ theta} | T) Entonces para todos \ theta , \ Bbb E (\ theta ^ * - \ theta) ^ 2 \ leq \ Bbb E (\ hat {\ theta} - \ theta) ^ 2 La desigualdad es estricta a menos que \ hat {\ theta} sea ​​una función de Tθ^E ( θ 2 ) < θ T θ θ * = E ( θ | T ) θ E ( θ * - θ ) 2E ( θ - θ ) 2 θθE(θ^2)<θTθθ=E(θ^|T)θ

E(θθ)2E(θ^θ)2
θ^T

Si entiendo este teorema correctamente, esto indica que, si tengo una estadística T suficiente Tpara θ , entonces el valor condicional esperado de θ^ dado T es la solución a ( θ - θ ) 2minθ^E(θ^θ)2

Mis preguntas

  1. ¿Estoy en lo cierto que θ minimiza ( θ - θ ) 2E(θ^θ)2 ?
  2. ¿Por qué el teorema de Rao-Blackwell requiere E(θ^2)< ?
  3. ¿Por qué es estricta la desigualdad a menos que θ^ sea ​​una función de T ?
Stan Shunpike
fuente
¿Qué se requiere para encontrar ? ( θ - θ ) 2minθ^E(θ^θ)2
Stan Shunpike

Respuestas:

7
  1. No, es un mejor estimador que pero no necesariamente el mejor (¡lo que sea que eso signifique!)* θθθ^
  2. Si el estimador no tiene variación, entonces su riesgo es infinito y no hay garantía de que tenga un riesgo finito (a pesar de que esto puede suceder como lo señala Horst Grünbusch en sus comentarios).θ
  3. Bajo la varianza finita para , la desigualdad es estricta debido a la descomposición de la varianza como la suma de la varianza condicional esperada más la varianza de la expectativa condicional A menos que la varianza condicional esperada sea cero, lo que equivale a en función de solamente.θ^) θ T
    var(θ^)=ET[var(θ^|T)]+varT(E[θ^|T])=ET[var(θ|T)]+varT(θ)
    θ^T
Xi'an
fuente
1
ad 2: ¿Por qué es imposible que ? Considere como estimador de , donde y un rv distribuido Cauchy no relacionado. θ = X + C μ X ~ N ( μ , sigma 2 ) CE(θ^2|T)<E(θ^2)=θ^=X+CμXN(μ,σ2)C
Horst Grünbusch
1
@ HorstGrünbusch ¿Por qué la pieza de Cauchy desaparecería cuando condicionaras ? Además, no es un estimador imparcial. θTθ^
dsaxton
1
@ HorstGrünbusch Me parece que su ni siquiera tiene una expectativa condicional (ya que no tiene una expectativa), por lo tanto, no estaría definido. |TCtheta*θ^TCθ
Juho Kokkala
2
Bien, todo lo que quería era sin varianza, no sin expectativas. ;) Ahora tome , es decir Student-t-distribuido con 2 grados de libertad y y independiente de . Estadístico suficiente es claramente . Entonces , peroC t 2 E ( C ) = 0 C X X E ( X + C | X ) = E ( X | X ) + E ( C | X ) = X + E ( C ) = X = V a r ( C ) + V a r ( X ) =CCt2E(C)=0CXXE(X+C|X)=E(X|X)+E(C|X)=X+E(C)=X=Var(C)+Var(X)=Var(X+C)>Var(X+C|X)=σ2
Horst Grünbusch
Así que creo que está mal que un estimador Rao-Blackwell tenga necesariamente una varianza infinita si el estimador original tiene una varianza infinita. (Sin embargo, incluso si ambas variaciones fueran necesariamente infinitas aún se mantendrían).
Horst Grünbusch
6
  1. Tenga en cuenta que ser una estadística suficiente no es única. Trivialmente, todos los datos son suficientes, pero condicionar un estimador sobre ellos no cambia nada. Por lo tanto, una estadística suficiente por sí sola no es suficiente (¡juego de palabras!) Para tener un error cuadrático medio mínimo. Vea el teorema de Lehmann-Scheffé, que usa el teorema de Rao-Blackwell en la demostración, para una suficiencia suficiente (de hecho, es suficiente y completa).

  2. Si ambos son infinitos, la desigualdad débil siempre es cierta. Pero luego, como contraejemplo, puede construir una estadística suficiente que no sea una función de pero que tenga una varianza infinita (de modo que solo se mantenga ).T

Tomemos, por ejemplo, , una variable aleatoria t_2 con y , y como otra variable aleatoria independiente . El parámetro a estimar es . El estimador original es . Una estadística suficiente es, por supuesto, . Tanto el estimador Rao-Blackwell como tienen una varianza infinita. Entonces la desigualdad se mantendría débilmente. Por otro lado, no es una mera función det 2 E ( C 1 ) = μ V un r ( C 1 ) = C 2 ~ t 2 μ theta = C 1 + C 2 C 1 E ( theta | C 1 ) = C 1 θ C 1 + C 2 C 1C1t2+μt2E(C1)=μVar(C1)=C2t2μθ^=C1+C2C1E(θ^|C1)=C1θ^C1+C2C1: Implica la otra variable aleatoria, por lo que sería una contradicción con la última oración sobre la que hizo su tercera pregunta. De hecho, algunos libros de texto admiten una varianza infinita para el estimador original, pero a su vez no pueden indicar cuándo mantiene.<

  1. Si es una función de , puede probar con el teorema de factorización que ya es suficiente para . Así que nuevamente terminamos sin mejorar nada. Aparte de este caso, la desigualdad es estricta, y esa es la afirmación no trivial del teorema. T θ θθ^Tθ^θ
Horst Grünbusch
fuente