Relación entre la matriz de Hesse y la matriz de covarianza

Mientras estudio la Estimación de máxima verosimilitud, para hacer inferencia en la Estimación de máxima verosimilitud, necesitamos conocer la varianza. Para descubrir la varianza, necesito conocer el límite inferior de Cramer's Rao, que se parece a una matriz de Hesse con una segunda derivación en la curvatura. Estoy un poco confundido para definir la relación entre la matriz de covarianza y la matriz de arpillera. Espero escuchar algunas explicaciones sobre la pregunta. Un simple ejemplo será apreciado.

Primero debe consultar esta pregunta básica sobre la matriz de información de Fisher y la relación con los errores estándar y de Hesse

Supongamos que tenemos un modelo estadístico (familia de distribuciones) . En el caso más general tenemos d i m ( Θ ) = d , por lo que esta familia está parametrizada por θ = ( θ 1 , ... , θ d ) T . Bajo ciertas condiciones de regularidad, tenemos$\{f_{\theta}: \theta \in \Theta\}$$dim(\Theta) = d$$\theta = (\theta_1, \dots, \theta_d)^T$

$$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$$

$I_{i,j}$$\theta$$X$

$$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$$

$\theta$

$\psi(\theta)$$T(X) = (T_1(X), \dots, T_d(X))$

$$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$$

$T(X)$$cov_{\theta}(T(X))$

$$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$$

$A \ge B$$A - B$$\frac{\partial\psi(\theta)}{\partial\theta}$$J_{i,j}(\psi)$$\theta$$\psi(\theta) = \theta$

$$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$$

Pero, ¿qué nos dice realmente? Por ejemplo, recuerde que

$$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$$

$A$

$$\forall_i\ A_{i,i} \ge 0$$

$B(\theta)$

$$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$$

Entonces, CRLB no nos dice la varianza de nuestro estimador, pero si nuestro estimador es óptimo , es decir, si tiene la covarianza más baja entre todos los estimadores no sesgados.