Interpretación de números AIC y BIC

23

Estoy buscando ejemplos de cómo interpretar las estimaciones de AIC (criterio de información de Akaike) y BIC (criterio de información bayesiano).

¿Se puede interpretar la diferencia negativa entre BIC como las probabilidades posteriores de un modelo sobre el otro? ¿Cómo puedo poner esto en palabras? Por ejemplo, el BIC = -2 puede implicar que las probabilidades del mejor modelo sobre el otro modelo son aproximadamente ?e2=7.4

Cualquier consejo básico es apreciado por este neófito.

Juan
fuente
Eche un vistazo al capítulo 2. La Sección 2.6, que está parcialmente disponible en los libros de Google, podría ayudarlo en particular. books.google.se/… (Ref: Selección de modelo e inferencia multimodelo por Kenneth P. Burnham y David R. Anderson. Springer Verlag)
boscovich

Respuestas:

6

para el modelo i de unconjunto de modelos apriorise puede llamar a Δ i = A I C i - m i n A I C donde el mejor modelo del conjunto de modelos tendrá Δ = 0 . Podemos usar losvalores de Δ i para estimar la fuerza de la evidencia ( w i ) para todos los modelos en el conjunto de modelos donde: w i = e ( - 0.5 Δ i )AICiΔi=AICiminAICΔ=0Δiwi Esto es a menudo referido como el "peso de la evidencia" para el modeloidado ela priorimodelo conjunto. A medida queΔiaumenta,widisminuye, lo que sugiere que el modeloies menos plausible. Estosvaloreswipueden interpretarse como la probabilidad de que el modeloisea ​​el mejor modelo dado elconjunto de modelos apriori. También podríamos calcular la probabilidad relativa del modeloiversus el modelojcomo

wi=e(0.5Δi)r=1Re(0.5Δi).
iΔiwiiwiiij . Por ejemplo, si w i = 0,8 y w j = 0,1 entonces podríamos decir modelo i es 8 veces más probable que el modelo j .wi/wjwi=0.8wj=0.1ij

Tenga en cuenta que cuando el modelo 1 es el mejor modelo (el más pequeño A I C ). Burnham y Anderson (2002) denominan esto como la razón de evidencia. Esta tabla muestra cómo cambia la relación de evidencia con respecto al mejor modelo.w1/w2=e0.5Δ2AIC

Information Loss (Delta)    Evidence Ratio
0                           1.0
2                           2.7
4                           7.4
8                           54.6
10                          148.4
12                          403.4
15                          1808.0

Referencia

Burnham, KP y DR Anderson. 2002. Selección de modelos e inferencia multimodelo: un enfoque práctico teórico de la información. Segunda edicion. Springer, Nueva York, Estados Unidos.

Anderson, DR 2008. Inferencia basada en modelos en las ciencias de la vida: una introducción a la evidencia. Springer, Nueva York, Estados Unidos.

RioRaider
fuente
rR
Hay modelos R en el conjunto de modelos.
RioRaider
3

No creo que haya una interpretación simple de AIC o BIC como esa. Ambas son cantidades que toman la probabilidad logarítmica y le aplican una penalización por la cantidad de parámetros que se estiman. Akaike explica las sanciones específicas para AIC en sus documentos a partir de 1974. BIC fue seleccionado por Gideon Schwarz en su artículo de 1978 y está motivado por un argumento bayesiano.

Michael R. Chernick
fuente
2
Sin embargo, la penalización se puede interpretar como un modelo favorable anterior de un tamaño particular. Si adoptas eso antes (que tiene algunas justificaciones teóricas de la información), entonces puedes calcular un odds ratio posterior directamente a partir de los valores de IC. Además, @RioRaider menciona los pesos de Akaike, que le dan la probabilidad de que un modelo dado sea el mejor modelo del conjunto en términos de divergencia KL. ( ref. ver p. 800).
David J. Harris el
1

Probablemente use el BIC como resultado de la aproximación al factor Bayes. Por lo tanto, no considera (más o menos) una distribución previa. BIC en una etapa de selección de modelo es útil cuando compara los modelos. Para comprender completamente BIC, el factor Bayes, recomiendo leer un artículo (sección 4): http://www.stat.washington.edu/raftery/Research/PDF/socmeth1995.pdf para complementar el conocimiento con: http: // www .stat.washington.edu / raftery / Research / PDF / kass1995.pdf

Robert
fuente