Contabilización de parámetros discretos o binarios en el criterio de información bayesiano

9

BIC penaliza en función del número de parámetros. ¿Qué pasa si algunos de los parámetros son algún tipo de variables indicadoras binarias? ¿Cuentan como parámetros completos? Pero puedo combinar parámetros binarios en una variable discreta que toma valores en . ¿Deben contarse como parámetros o un parámetro?metro{0 0,1,...,2metro-1}metro

bayesian model-selection bic parameterization highBandWidth
fuente

Respuestas:

3

Es en parte debido a esta imprecisión en el "número de parámetros" en BIC que DIC (el criterio de información de desviación ) introdujo un número efectivo de parámetros como donde D ( θ ) = - 2 log f ( x | θ ) y DIC ( x )

pagre(X)=mi[re(θ)El |X]-re(mi[θEl |X])
re(θ)=-2Iniciar sesión⁡F(XEl |θ)
Tenga en cuenta que p D ( x ) depende de los datos. (Como se discutióallí, ¡DIC también tiene sus propios problemas!)
DIC(X)=pagre(X)+mi[re(θ)El |X]
pagre(X)
Xi'an
fuente
mi[losolPAG(yEl |METROoremil)]=Iniciar sesión⁡(∫PAG(yEl |θ)PAGmetrooremil(θ)reθ)
1
Sí, BIC es una aproximación de la probabilidad marginal. Sin embargo, es solo una aproximación que converge a la "verdad" cuando el tamaño de la muestra crece hasta el infinito. Por lo tanto, no es directamente bayesiano (¡no usa el anterior, por un lado!) Y no tiene ninguna relación con MCMC (donde la aproximación es de tipo Monte Carlo: si aumento el número de simulaciones, la aproximación mejora). DIC se considera más bayesiano por muchos (incluidos B. Carlin y D. Spiegelhatler)
Xi'an
Supongo que mi pregunta era, ¿el DIC es una aproximación de la probabilidad del modelo marginal también? Creo que debería leerlo yo mismo, pero como lo estábamos discutiendo, pensé que explicar esto haría que la respuesta fuera más completa. ¡Gracias!
highBandWidth