¿Cómo derivar el muestreo de Gibbs?

De hecho, estoy dudando en preguntar esto, porque me temo que me remitirán a otras preguntas o a Wikipedia sobre el muestreo de Gibbs, pero no tengo la sensación de que describan lo que está a la mano.

Dada una probabilidad condicional : p ( x | y ) y = y 0 y = y 1 x = x 0 $p(x|y)$

$$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$$

Y una probabilidad condicional : p ( y | x ) y = y 0 y = y 1 x = x 0 $p(y|x)$

$$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$$

Podemos llegar únicamente a la probabilidad conjunta :$f_{unique}=p(x,y)$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$$

$8$$4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Tanto como:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

$c_0=\tfrac{3}{4}b_0$$\tfrac{2}{3}c_0=a_1$$\tfrac{2}{4}b_0=a_1$$\tfrac{2}{6}(1-b_0)=a_1$$b_0=\tfrac{2}{5}$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$$

Entonces, ahora vamos al caso continuo. Es imaginable ir a intervalos y mantener intacta la estructura anterior (con más ecuaciones que incógnitas). Sin embargo, ¿qué sucede cuando vamos a (punto) instancias de variables aleatorias? ¿Cómo funciona el muestreo?

$$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$$

$p(x,y)$$a_0 + a_1 + a_2 + a_3=1$$\int_X \int_Y p(x,y) dy dx = 1$$\int_Y p(y|x)dy=1$. ¿Podemos anotar las restricciones y derivar el muestreo de Gibbs a partir de los primeros principios?

Por lo tanto, no estoy interesado en cómo realizar el muestreo de Gibbs, que es simple, pero estoy interesado en cómo derivarlo y, preferiblemente, en cómo demostrar que funciona (probablemente bajo ciertas condiciones).

$$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$$ $\mathbf{x}'$

$p$ irreducible y aperiódica , entonces la cadena de Markov convergerá a esa distribución (Tierney, 1994) .

$(x_0, y_0) \sim p(x_0, y_0)$$x_1 \sim p(x_1 \mid y_0)$

$$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$$

Es decir, actualizar $x$

$p(\mathbf{x}) > 0$