¿Qué es la identificabilidad del modelo?

Sé que con un modelo que no es identificable, se puede decir que los datos son generados por múltiples asignaciones diferentes a los parámetros del modelo. Sé que a veces es posible restringir los parámetros para que todos sean identificables, como en el ejemplo de Cassella & Berger, segunda edición, sección 11.2.

Dado un modelo particular, ¿cómo puedo evaluar si es identificable o no?

Para la identificabilidad , estamos hablando de un parámetro $\theta$ (que podría ser un vector), que se extiende sobre un espacio de parámetros $\Theta$ , y una familia de distribuciones (por simplicidad, piense en PDF) indexados por $\theta$ que generalmente escribimos algo como . Por ejemplo, θ podría ser θ = β y$\{ f_{\theta}|\, \theta \in \Theta\}$$\theta$$\theta = \beta$$f$ podría ser

lo que significaría queΘ=(0,∞). Para que el modelo sea identificable, la transformación que asignaθafθdebe seruno a uno. Dado un modelo en su regazo, la forma más directa de verificar esto es comenzar con la ecuaciónfθ 1 =fθ 2 , (esta igualdad debería ser válida para (casi) todo elapoyo

$$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$$ $\Theta = (0,\infty)$$\theta$$f_{\theta}$$f_{\theta_{1}} = f_{\theta_{2}}$ en el$x$ ) e intentar usar álgebra (o algún otro argumento) para mostrar que tal ecuación implica que, de hecho, .$\theta_{1} = \theta_{2}$

Si tiene éxito con este plan, entonces su modelo es identificable; sigue con tu negocio. Si no lo hace, entonces su modelo no es identificable o necesita encontrar otro argumento. La intuición es la misma, independientemente: en un modelo identificable es imposible que dos parámetros distintos (que podrían ser vectores) den lugar a la misma función de probabilidad.

Esto tiene sentido, porque si, para datos fijos, dos parámetros únicos dan lugar a la misma probabilidad, entonces sería imposible distinguir entre los dos parámetros candidatos basándose solo en los datos. Sería imposible identificar el parámetro verdadero, en ese caso.

Para el ejemplo anterior, la ecuación es $f_{\theta_{1}} = f_{\theta_{2}}$ para (casi) todosx>0. Si tomamos registros de ambos lados obtenemos

$$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$$ $x > 0$ parax>0, lo que implica la función lineal -( $$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$$ $x > 0$ $$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$$ es (casi) idénticamente cero. La única línea que hace tal cosa es la que tiene pendiente 0 e intersección y cero. Ojalá puedas ver el resto.

Por cierto, si puede observar mirando su modelo que no es identificable (a veces sí puede), entonces es común introducir restricciones adicionales para hacerlo identificable (como usted mencionó). Esto es similar a reconocer que la función no es uno a uno para y en [ - 1 , 1 ] , pero es uno a uno si restringimos y para que se encuentre dentro [ 0 , 1 ] . En modelos más complicados, las ecuaciones son más difíciles pero la idea es la misma.$f(y) = y^{2}$$y$$[-1,1]$$y$$[0,1]$

$\Sigma$$\Sigma$$\Sigma$

$\Sigma$ incluso para modelos ligeramente complicados.

Si está haciendo un problema de máxima probabilidad, entonces sabe que la matriz de covarianza asintótica de sus estimaciones es igual a la inversa de la información de los pescadores evaluada en el MLE. Por lo tanto, verificar la matriz de información del pescador para la singularidad (aproximada) también es una forma razonable de evaluar la identificabilidad. Esto también funciona cuando la información teórica del pescador es difícil de calcular porque a menudo es posible aproximar numéricamente con mucha precisión un estimador consistente de la matriz de información del pescador, por ejemplo, estimando el producto externo esperado de la función de puntuación por el producto externo promedio observado .

$\Sigma$