Algoritmo de maximización de la motivación de la expectativa

En el enfoque del algoritmo EM, utilizamos la desigualdad de Jensen para llegar a

$$\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz$$

y defina por$\theta^{(k+1)}$

$$\theta^{(k+1)}=\arg \max_{\theta}\int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz$$

Todo lo que leo EM simplemente lo deja caer, pero siempre me he sentido incómodo al no tener una explicación de por qué el algoritmo EM surge de forma natural. Entiendo que la probabilidad de $\log$ generalmente se trata para lidiar con la suma en lugar de la multiplicación, pero la aparición de $\log$ en la definición de $\theta^{(k+1)}$ parece desmotivada. ¿Por qué debería uno considerar $\log$ y no otras funciones monótonas? Por varias razones, sospecho que el "significado" o la "motivación" detrás de la maximización de las expectativas tiene algún tipo de explicación en términos de teoría de la información y estadísticas suficientes. Si hubiera tal explicación, eso sería mucho más satisfactorio que un simple algoritmo abstracto.

El algoritmo EM tiene diferentes interpretaciones y puede surgir en diferentes formas en diferentes aplicaciones.

Todo comienza con la función de probabilidad , o de manera equivalente, la función de probabilidad de nos gustaría maximizar. (Generalmente usamos logaritmo ya que simplifica el cálculo: es estrictamente monótono, cóncavo y .) En un mundo ideal, el valor de depende solo del parámetro del modelo , para que podamos buscar a través del espacio de y encontrar uno que maximice .log p ( x | θ ) log ( a b ) = log a + log b p θ θ $p(x \vert \theta)$$\log p(x \vert \theta)$$\log(ab) = \log a + \log b$$p$ $\theta$$\theta$$p$

Sin embargo, en muchas aplicaciones interesantes del mundo real, las cosas son más complicadas porque no se observan todas las variables. Sí, podríamos observar directamente , pero algunas otras variables no son observadas. Debido a las variables que faltan , estamos en una especie de situación de gallina y huevo: sin no podemos estimar el parámetro y sin no podemos inferir cuál puede ser el valor de .z z z θ θ $x$$z$ $z$$z$$\theta$$\theta$$z$

Es donde entra en juego el algoritmo EM. Comenzamos con una suposición inicial de los parámetros del modelo y derivamos los valores esperados de las variables que faltan (es decir, el paso E). Cuando tenemos los valores de , podemos maximizar la probabilidad de wrt los parámetros (es decir, el paso M, correspondiente a la ecuación en la declaración del problema). Con this podemos derivar los nuevos valores esperados de (otro paso E), y así sucesivamente. En otras palabras, en cada paso asumimos uno de los dos, yz z θ arg max θ z z $\theta$$z$$z$$\theta$$\arg \max$$\theta$$z$$z$$\theta$, es conocida. Repetimos este proceso iterativo hasta que ya no se pueda aumentar la probabilidad.

Este es el algoritmo EM en pocas palabras. Es bien sabido que la probabilidad nunca disminuirá durante este proceso iterativo de EM. Pero tenga en cuenta que el algoritmo EM no garantiza un óptimo global. Es decir, podría terminar con un óptimo local de la función de probabilidad.

La aparición de en la ecuación de es inevitable, porque aquí la función que desea maximizar se escribe como una probabilidad logarítmica.θ ( k + 1 $\log$$\theta^{(k+1)}$

Probabilidad versus probabilidad logarítmica

Como ya se ha dicho, el se introduce con la máxima probabilidad simplemente porque generalmente es más fácil optimizar sumas que los productos. La razón por la que no consideramos otras funciones monótonas es que el logaritmo es la función única con la propiedad de convertir productos en sumas.$\log$

Otra forma de motivar el logaritmo es la siguiente: en lugar de maximizar la probabilidad de los datos según nuestro modelo, podríamos tratar de minimizar la divergencia de Kullback-Leibler entre la distribución de datos, y distribución del modelo, ,p ( x ∣ θ $p_\text{data}(x)$$p(x \mid \theta)$

$$D_\text{KL}[p_\text{data}(x) \mid\mid p(x \mid \theta)] = \int p_\text{data}(x) \log \frac{p_\text{data}(x)}{p(x \mid \theta)} \, dx = const - \int p_\text{data}(x)\log p(x \mid \theta) \, dx.$$

El primer término en el lado derecho es constante en los parámetros. Si tenemos muestras de la distribución de datos (nuestros puntos de datos), podemos aproximar el segundo término con la probabilidad de registro promedio de los datos,$N$

$$\int p_\text{data}(x)\log p(x \mid \theta) \, dx \approx \frac{1}{N} \sum_n \log p(x_n \mid \theta).$$

Una vista alternativa de EM

No estoy seguro de que este sea el tipo de explicación que está buscando, pero la siguiente visión de la maximización de expectativas es mucho más esclarecedora que su motivación a través de la desigualdad de Jensen (puede encontrar una descripción detallada en Neal y Hinton (1998) o en el libro PRML de Chris Bishop, Capítulo 9.3).

No es difícil demostrar que

$$\log p(x \mid \theta) = \int q(z \mid x) \log \frac{p(x, z \mid \theta)}{q(z \mid x)} \, dz + D_\text{KL}[q(z \mid x) \mid\mid p(z \mid x, \theta)]$$

para cualquier . Si llamamos al primer término en el lado derecho , esto implica queF ( q , θ $q(z \mid x)$$F(q, \theta)$

$$F(q, \theta) = \int q(z \mid x) \log \frac{p(x, z \mid \theta)}{q(z \mid x)} \, dz = \log p(x \mid \theta) - D_\text{KL}[q(z \mid x) \mid\mid p(z \mid x, \theta)].$$

Debido a que la divergencia KL es siempre positiva , es un límite inferior en la probabilidad logarítmica de cada fijo . Ahora, EM puede verse como maximizando alternativamente con respecto a y . En particular, mediante el establecimiento de en el E-paso, se minimiza la divergencia KL en el lado derecho y así maximizar .q F q θ q ( z ∣ x ) = p ( z ∣ x , θ ) $F(q, \theta)$$q$$F$$q$$\theta$$q(z \mid x) = p(z \mid x, \theta)$$F$

El artículo que encontré aclarando con respecto a la maximización de expectativas es Bayesian K-Means como un algoritmo de " maximización -expectativa" (pdf) por Welling y Kurihara.

Supongamos que tenemos un modelo probabilístico con observaciones, variables aleatorias ocultas y un total de parámetros . Se nos da un conjunto de datos y estamos obligados (por poderes superiores) a establecer .x z θ D p ( z , θ | D $p(x,z,\theta)$$x$$z$$\theta$$D$$p(z,\theta|D)$

1. muestreo de Gibbs

Podemos aproximar por muestreo. El muestreo de Gibbs da alternando:p ( z , θ | D $p(z,\theta|D)$$p(z,\theta|D)$

$$\theta \sim p(\theta|z,D) \\ z \sim p(z|\theta,D)$$

2. Bayes variacionales

En cambio, podemos intentar establecer una distribución y y minimizar la diferencia con la distribución que buscamos después de . La diferencia entre las distribuciones tiene un nombre elegante y conveniente, la divergencia KL. Para minimizar actualizamos:q ( z ) p ( θ , z | D ) K L [ q ( θ ) q ( z ) | El | p ( θ , z | D ) $q(\theta)$$q(z)$$p(\theta,z|D)$$KL[q(\theta)q(z)||p(\theta,z|D)]$

$$q(\theta) \propto \exp (E [\log p(\theta,z,D) ]_{q(z)} ) \\ q(z) \propto \exp (E [\log p(\theta,z,D) ]_{q(\theta)} )$$

3. Expectativa-Maximización

Proponer distribuciones de probabilidad completas para y podría considerarse extremo. ¿Por qué no consideramos una estimación puntual para uno de estos y mantenemos el otro agradable y matizado? En EM, el parámetro se establece como el que no merece una distribución completa, y se establece en su valor MAP (Maximum A Posteriori), .θ θ θ $z$$\theta$$\theta$$\theta^*$

$$\theta^* = \underset{\theta}{\operatorname{argmax}} E [\log p(\theta,z,D) ]_{q(z)} \\ q(z) = p(z|\theta^*,D)$$

Aquí realidad sería una mejor notación: el operador argmax puede devolver múltiples valores. Pero no peleemos. En comparación con Bayes variacionales, ve que la corrección para by no cambia el resultado, por lo que ya no es necesario.log $\theta^* \in \operatorname{argmax}$$\log$$\exp$

4. Maximización-Expectativa

No hay razón para tratar a como un niño mimado. También podemos usar estimaciones puntuales para nuestras variables ocultas y dar a los parámetros el lujo de una distribución completa.z ∗$z$$z^*$$\theta$

$$z^* = \underset{z}{\operatorname{argmax}} E [\log p(\theta,z,D) ]_{q(\theta)} \\ q(\theta) = p(\theta|z^*,D)$$

Si nuestras variables ocultas son variables indicadoras, de repente tenemos un método computacionalmente barato para realizar inferencia sobre el número de grupos. En otras palabras: selección de modelo (o detección automática de relevancia o imagina otro nombre elegante).$z$

5. Modos condicionales iterados

Por supuesto, el elemento secundario de la inferencia aproximada es usar estimaciones puntuales tanto para los parámetros como para las observaciones .$\theta$$z$

$$\theta^* = \underset{\theta}{\operatorname{argmax}} p(\theta,z^*,D) \\ z^* = \underset{z}{\operatorname{argmax}} p(\theta^*,z,D) \\ $$

Para ver cómo se desarrolla Maximización-Expectativa, recomiendo el artículo. En mi opinión, la fuerza de este artículo no es, sin embargo, la aplicación a una alternativa significa, sino esta exposición lúcida y concisa de aproximación.$k$

Existe una técnica útil de optimización subyacente al algoritmo EM. Sin embargo, generalmente se expresa en el lenguaje de la teoría de la probabilidad, por lo que es difícil ver que en el fondo hay un método que no tiene nada que ver con la probabilidad y la expectativa.

Considere el problema de maximizar (o equivalentemente ) con respecto a . Si escribe una expresión para y la establece igual a cero, a menudo terminará con una ecuación trascendental para resolver. Estos pueden ser desagradables.log g ( x ) x g ′ ( x

$$g(x)=\sum_i\exp(f_i(x))$$ $\log g(x)$$x$$g'(x)$

Ahora suponga que juega bien juntos en el sentido de que las combinaciones lineales de ellos le dan algo fácil de optimizar. Por ejemplo, si todos los son cuadráticos en entonces una combinación lineal de también será cuadrática y, por lo tanto, fácil de optimizar.f i ( x ) x f i ( x $f_i$$f_i(x)$$x$$f_i(x)$

Dado este supuesto, sería genial si, para optimizar pudiéramos barajar el allá del para que pudiera cumplir con el s y eliminarlos. Entonces el podría jugar juntos. Pero no podemos hacer eso.log ∑ exp f $\log g(x)=\log \sum_i\exp(f_i(x))$$\log$$\sum$$\exp$$f_i$

Hagamos la siguiente mejor cosa. Haremos otra función que sea similar a . Y lo haremos con combinaciones lineales de .g f $h$$g$$f_i$

Digamos que es una suposición para un valor óptimo. Nos gustaría mejorar esto. Busquemos otra función que coincida con su derivada en , es decir, y . Si trazas una gráfica de en un vecindario pequeño de se verá similar a . h g x 0 g ( x 0 ) = h ( x 0 ) g ′ ( x 0 ) = h ′ ( x 0 ) h x 0$x_0$$h$$g$$x_0$$g(x_0)=h(x_0)$$g'(x_0)=h'(x_0)$$h$$x_0$$g$

Puede mostrar queQueremos algo que coincida con esto en . Hay una elección natural:Puedes ver que coinciden en . ObtenemosComo es una constante, tenemos una combinación lineal simple de cuya derivada coincide con . Solo tenemos que elegir la constante en para hacer .x 0 h ( x ) = constante + ∑ i f i ( x ) exp ( f i ( x 0 ) ) . x = x 0 h ′ ( x ) =

$$g'(x)=\sum_i f_i'(x)\exp(f_i(x)).$$ $x_0$ $$h(x)=\mbox{constant}+\sum_i f_i(x)\exp(f_i(x_0)).$$ $x=x_0$x 0 f i ghg( x 0 )=h( x 0 $$h'(x)=\sum_i f_i'(x)\exp(f_i(x_0)).$$ $x_0$$f_i$$g$$h$$g(x_0)=h(x_0)$

Entonces, comenzando con , formamos y optimizamos eso. Debido a que es similar a en la vecindad de , esperamos que el óptimo de sea ​​similar al óptimo de g. Una vez que tenga una nueva estimación, construya la siguiente y repita. h ( x ) g ( x ) x 0 h $x_0$$h(x)$$g(x)$$x_0$$h$$h$

Espero que esto haya motivado la elección de . Este es exactamente el procedimiento que tiene lugar en EM.$h$

Pero hay un punto más importante. Usando la desigualdad de Jensen puedes demostrar que . Esto significa que cuando optimizas siempre obtienes una que hace que sea más grande en comparación con . Entonces, aunque fue motivado por su similitud local con , es seguro maximizar globalmente en cada iteración. La esperanza que mencioné anteriormente no es necesaria.h ( x ) x g g ( x 0 ) h g $h(x)\le g(x)$$h(x)$$x$$g$$g(x_0)$$h$$g$$h$

Esto también da una pista sobre cuándo usar EM: cuando las combinaciones lineales de los argumentos de la función son más fáciles de optimizar. Por ejemplo, cuando son cuadráticos, como sucede cuando se trabaja con mezclas de gaussianos. Esto es particularmente relevante para las estadísticas donde muchas de las distribuciones estándar son de familias exponenciales .$\exp$

Como dijiste, no entraré en detalles técnicos. Hay bastantes tutoriales muy bonitos. Uno de mis favoritos son las notas de clase de Andrew Ng . Echa un vistazo también a las referencias aquí .

1. EM está naturalmente motivado en modelos mixtos y modelos con factores ocultos en general. Tomemos, por ejemplo, el caso de los modelos de mezcla gaussiana (GMM). Aquí modelamos la densidad de las observaciones como una suma ponderada de gaussianos: donde es la probabilidad de que la muestra sido causada / generada por el componente i-ésimo, es la media de la distribución, y es la covarianza matriz. La manera de entender esta expresión es la siguiente: cada muestra de datos ha sido generada / causada por un componente, pero no sabemos cuál. El enfoque es entonces expresar la incertidumbre en términos de probabilidad (p ( x ) = K ∑ i = 1 π i N ( x | μ i , Σ i ) π i x μ i Σ i π $K$

   $$p(x) = \sum_{i=1}^{K}\pi_{i} \mathcal{N}(x|\mu_{i}, \Sigma_{i})$$ $\pi_{i}$$x$$\mu_{i}$$\Sigma_{i}$$\pi_{i}$ representa las posibilidades de que el componente i-ésimo pueda dar cuenta de esa muestra) y tome la suma ponderada. Como ejemplo concreto, imagine que desea agrupar documentos de texto. La idea es asumir que cada documento pertenece a un tema (ciencia, deportes, ...) que no conoce de antemano. Los posibles temas son variables ocultas. Luego se le dan un montón de documentos, y contando n-gramas o cualquier característica que extraiga, desea encontrar esos grupos y ver a qué grupo pertenece cada documento. EM es un procedimiento que ataca este problema paso a paso: el paso de expectativa intenta mejorar las asignaciones de las muestras que ha logrado hasta ahora. El paso de maximización mejora los parámetros de la mezcla, en otras palabras, la forma de los grupos.

2. El punto no es usar funciones monótonas sino funciones convexas. Y la razón es la desigualdad de Jensen que asegura que las estimaciones del algoritmo EM mejorarán en cada paso.