¿Cuándo los campos aleatorios de Markov

En su libro de texto, Modelos gráficos, familias exponenciales e inferencia variacional , M. Jordan y M. Wainwright discuten la conexión entre las familias exponenciales y los campos aleatorios de Markov (modelos gráficos no dirigidos).

Estoy tratando de entender mejor la relación entre ellos con las siguientes preguntas:

• ¿Todos los MRF son miembros de las familias exponenciales?
• ¿Pueden todos los miembros de las familias exponenciales ser representados como MRF?
• Si MRFs Familias exponenciales, ¿cuáles son algunos buenos ejemplos de distribuciones de un tipo no incluidas en el otro ?$\neq$

Por lo que entiendo en su libro de texto (Capítulo 3), Jordan y Wainwright presentan el siguiente argumento:

1. Digamos que tenemos una variable aleatoria escalar X que sigue alguna distribución , y dibuje iid observaciones , y queremos identificar .n X 1 , … X n$p$$n$$X^1, \ldots X^n$$p$

2. las expectativas empíricas de ciertas funciones$\phi_\alpha%$

   α∈$\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ para todos$\alpha \in \mathcal{I}$

   donde cada en algún conjunto indexa una funciónI ϕ α : X → $\alpha$$\mathcal{I}$$\phi_\alpha: \mathcal{X} \rightarrow R$

3. Entonces, si forzamos los siguientes dos conjuntos de cantidades para que sean consistentes, es decir, para que coincidan (para identificar ):$p$

   • Las expectativas de las estadísticas suficientes de la distribuciónϕ $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$$\phi$$p$

   • Las expectativas bajo la distribución empírica.

tenemos un problema subdeterminado , en el sentido de que hay muchas distribuciones que son consistentes con las observaciones. Por lo tanto, necesitamos un principio para elegir entre ellos (para identificar ).$p$$p$

Si usamos el principio de máxima entropía para eliminar esta indeterminación, podemos obtener una sola :$p$

$\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ sujeto a para todos$E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$$\alpha \in \mathcal{I}$

donde esta toma la forma exp donde representa una parametrización de la distribución en forma de familia exponencial.$p^*$$p_\theta(x) \propto$${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$$\theta \in R^d$

En otras palabras, si nosotros

1. Hacer que las expectativas de las distribuciones sean consistentes con las expectativas bajo la distribución empírica
2. Use el principio de máxima entropía para deshacerse de la indeterminación

$\rightarrow$ Terminamos con una distribución de la familia exponencial.

Sin embargo, esto se parece más a un argumento para introducir familias exponenciales y (por lo que puedo entender) no describe la relación entre MRF y exp. familias ¿Me estoy perdiendo algo?

Tiene toda la razón: el argumento que presentó relaciona la familia exponencial con el principio de máxima entropía, pero no tiene nada que ver con los MRF.

Para abordar sus tres preguntas iniciales:

¿Pueden todos los miembros de las familias exponenciales ser representados como MRF?

¿Todos los MRF son miembros de las familias exponenciales?

$are$

$\neq$

Las distribuciones de mezclas son ejemplos comunes de distribuciones familiares no exponenciales. Considere el modelo lineal de espacio de estado gaussiano (como un modelo oculto de Markov, pero con estados ocultos continuos y distribuciones gaussianas de transición y emisión). Si reemplaza el núcleo de transición con una mezcla de gaussianos, la distribución resultante ya no está en la familia exponencial (pero aún conserva la rica estructura de independencia condicional característica de los modelos gráficos prácticos).

[1] http://en.wikipedia.org/wiki/Markov_random_field