Tamaño de muestra efectivo para la inferencia posterior del muestreo de MCMC

La pregunta que hace es diferente de "diagnóstico de convergencia". Digamos que ha ejecutado todos los diagnósticos de convergencia (elija su (s) favorito (s)), y ahora está listo para comenzar a tomar muestras desde la parte posterior.

Hay dos opciones en términos de tamaño de muestra efectivo (ESS): puede elegir un ESS univariado o un ESS multivariado. Un ESS univariante proporcionará un tamaño de muestra efectivo para cada parámetro por separado, y los métodos conservadores dictan que elija la estimación más pequeña. Este método ignora todas las correlaciones cruzadas entre los componentes. Esto es probablemente lo que la mayoría de la gente ha estado usando durante un tiempo.

Recientemente, se introdujo una definición multivariada de ESS. El ESS multivariante devuelve un número para el tamaño de muestra efectivo para las cantidades que desea estimar; y lo hace contabilizando todas las correlaciones cruzadas en el proceso. Personalmente, prefiero ESS multivariante. Suponga que está interesado en el vector de medias de la distribución posterior. El mESS se define de la siguiente manera $p$ aquí

mESS = n {(\frac{| Λ |}{| Σ |})}^{1 / p} .

$\text{mESS} = n \left(\dfrac{|\Lambda|}{|\Sigma|}\right)^{1/p}.$

es la estructura de covarianza de la parte posterior (también la covarianza asintótica en el CLT si tenía muestras independientes) $\Lambda$
es la matriz de covarianza asintótica en la cadena CLT de Markov (diferente de ya que las muestras están correlacionadas. $\Sigma$ $\Lambda$
es el número de cantidades que se estiman (o en este caso, la dimensión de la parte posterior. $p$
Es el determinante. $|\cdot|$

mESS se puede estimar utilizando la matriz de covarianza de muestra para estimar y el lote significa matriz de covarianza para estimar . Esto ha sido codificado en la función en el paquete R mcmcse . $\Lambda$ $\Sigma$ multiESS

Este artículo reciente proporciona un límite inferior teóricamente válido del número de muestras efectivas requeridas. Antes de la simulación, debes decidir

$\epsilon$ $\epsilon$
$\alpha$
$p$

mESS \geq \frac{2^{2 / p} π}{(p Γ (p / 2))^{2 / p}} \frac{χ_{1 - α, p}^{2}}{ϵ^{2}},

$\text{mESS} \geq \dfrac{2^{2/p} \pi}{(p \Gamma(p/2))^{2/p}} \dfrac{\chi^2_{1-\alpha, p}}{\epsilon^2},$

$\Gamma(\cdot)$ minESS

$p = 20$ $95\%$ $\epsilon = .05$

> minESS(p = 20, alpha = .05, eps = .05)
[1] 8716

Esto es cierto para cualquier problema (en condiciones de regularidad). La forma en que este método se adapta de un problema a otro es que mezclar lentamente las cadenas de Markov toma más tiempo para alcanzar ese límite inferior, ya que el MESS será más pequeño. Así que ahora puede verificar un par de veces usando multiESSsi su cadena de Markov ha alcanzado ese límite; si no, ve y toma más muestras.

Greenparker
fuente

(+1) Excelente respuesta. ¿Sabes si la función multiESSha sido codificada para otros idiomas, como MATLAB? (¿o sería difícil reimplementar?)

lacerbi

Σ

$\Sigma$

Σ

$\Sigma$

@lacerbi Me alegra que hayas podido codificarlo en Matlab. Si es posible, responda a este comentario cuando esté listo, para que pueda usarlo. Gracias

Greenparker

Mi implementación MATLAB de multiESS está disponible aquí . Es una versión que funciona, aunque necesitaría más pruebas (no estoy familiarizado con R, de lo contrario lo compararía con la implementación de R).

lacerbi

Tamaño de muestra efectivo para la inferencia posterior del muestreo de MCMC

Respuestas: