¿Por qué la matriz de información de Fisher es semidefinida positiva?

18

Deje . La matriz de información de Fisher se define como:θRnorte

yo(θ)yo,j=-mi[2Iniciar sesión(F(XEl |θ))θyoθjEl |θ]

¿Cómo puedo demostrar que la matriz de información de Fisher es semidefinida positiva?

madprob
fuente
77
¿No es el valor esperado de un producto externo del puntaje consigo mismo?
Neil G

Respuestas:

19

Mira esto: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

De la definición, tenemos

yoyoj=miθ[(yoIniciar sesiónFXΘ(Xθ))(jIniciar sesiónFXΘ(Xθ))],
para , en el que . Su expresión para deriva de esta en condiciones de regularidad.yo,j=1,...,kyo=/ /θyoyoyoj

Para un vector no nulo , se deduce de la linealidad de la expectativa que tu=(tu1,...,tuk)Rnorte

yo,j=1ktuyoyoyojtuj=yo,j=1k(tuyomiθ[(yoIniciar sesiónFXΘ(Xθ))(jIniciar sesiónFXΘ(Xθ))]tuj)=miθ[(yo=1ktuyoyoIniciar sesiónFXΘ(Xθ))(j=1ktujjIniciar sesiónFXΘ(Xθ))]=miθ[(yo=1ktuyoyoIniciar sesiónFXΘ(Xθ))2]0 0.

Si esta notación inteligente de componentes es demasiado fea, tenga en cuenta que la matriz de información de Fisher puede escribirse como , en la que el vector de puntuaciones se define como H=(yoyoj)H=miθ[SS]S

S=(1Iniciar sesiónFXΘ(Xθ),...,kIniciar sesiónFXΘ(Xθ)).

Por lo tanto, tenemos una línea

tuHtu=tumiθ[SS]tu=miθ[tuSStu]=miθ[El |El |StuEl |El |2]0.

zen
fuente
3
(+1) Buena respuesta y bienvenido de nuevo, Zen. Me preocupaba que pudiéramos haberte perdido permanentemente dada la duración de tu pausa. ¡Eso habría sido una verdadera lástima!
cardenal
5

ADVERTENCIA: no es una respuesta general!

Si corresponde a una familia exponencial de rango completo, entonces la arpillera negativa del log-verosimilitud es la matriz de covarianza de la estadística suficiente. Las matrices de covarianza son siempre semi-definidas positivas. Dado que la información de Fisher es una combinación convexa de matrices semi-definidas positivas, también debe ser semi-definida positiva.F(XEl |θ)

gusl
fuente