¿Puedo submuestrear un gran conjunto de datos en cada iteración de MCMC?

Problema: quiero realizar un muestreo de Gibbs para inferir algo posterior sobre un gran conjunto de datos. Desafortunadamente, mi modelo no es muy simple y, por lo tanto, el muestreo es demasiado lento. Consideraría enfoques variacionales o paralelos, pero antes de llegar tan lejos ...

Pregunta: Me gustaría saber si podría muestrear aleatoriamente (con reemplazo) de mi conjunto de datos en cada iteración de Gibbs, de modo que tenga menos instancias de las cuales aprender en cada paso.

Mi intuición es que incluso si cambio las muestras, no estaría cambiando la densidad de probabilidad y, por lo tanto, la muestra de Gibbs no debería notar el truco. Estoy en lo cierto? ¿Hay algunas referencias de personas que hayan hecho esto?

Acerca de las estrategias de submuestreo: solo por ejemplo, considere tener dos observaciones y X 2 ∼ N ( μ 2 , σ 2 2 ) y considere poner algunas prioridades en la media y la varianza. Deje θ = ( μ 1 , μ 2 , σ 2 1 , σ 2 2 ) , el posterior que queremos evaluar es f $X_1 \sim N(\mu_1, \sigma_1^2)$$X_2 \sim N(\mu_2,\sigma_2^2)$$\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$ COnsider ahora una variable binomial δ ∼ B ( 0.5 ) . Si δ = 0 elegimos X 1 , si δ = 1 elegimos X 2 , el nuevo posterior es f ( θ , δ

$$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$$ $\delta \sim B(0.5)$$\delta=0$$X_1$$\delta =1$$X_2$ donde f ( X 1 , X 2 | δ , θ ) = f ( X 1 | θ ) δ f ( X 2 | θ ) 1 - δ y $$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$$ $f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$ . Ahora bien, si quieres probar δ con un paso de Gibbs tiene para calcular f ( X 1 | theta ) y f ( X 2 | theta ) porque P ( δ = 1 ) = f ( X 1 | theta $f(\delta) = 0.5$$\delta$$f(X_1|\theta)$$f(X_2|\theta)$ . Si de lo contrario utiliza el Metropolis Hastings entonces proponer un nuevo estadoδ*y hay que calcular solamente una entref(X1|theta)yf(X2|theta), el asociado a los estados propuestos, pero hay que calcular uno entref(X1|theta)yf($P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$$\delta^*$$f(X_1|\theta)$$f(X_2|\theta)$$f(X_1|\theta)$ incluso para el último estado aceptado de δ . Entonces no estoy seguro de que la metrópoli le dé alguna ventaja. Además, aquí estamos considerando un proceso bivariado, pero con un proceso multivariado, el muestreo de los δ s puede ser muy complicado con la metrópoli.$f(X_2|\theta)$$\delta$$\delta$