Derivando el algoritmo K-means como límite de Maximización de Expectativas para Mezclas Gaussianas

Christopher Bishop define el valor esperado de la función de probabilidad de registro de datos completos (es decir, suponiendo que se nos dan tanto los datos observables X como los datos latentes Z) de la siguiente manera:

$$\mathbb{E}_\textbf{Z}[\ln p(\textbf{X},\textbf{Z} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma}, \boldsymbol{\pi})] = \sum_{n=1}^N \sum_{k=1}^K \gamma(z_{nk})\{\ln \pi_k + \ln \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)\} \tag 1$$

donde se define como:$\gamma(z_{nk})$

$$\frac{\pi_k \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)}{\sum_{j=1}^K \pi_j \mathcal{N}(\textbf{x}_n \mid \ \boldsymbol{\mu}_j, \boldsymbol{\Sigma}_j)} \tag 2$$

La idea, como se describe, es considerar un modelo de mezcla gaussiana en el que las matrices de covarianza de los componentes de la mezcla estén dadas por $\epsilon \textbf{I}$ , donde $\epsilon$ es un parámetro de varianza compartido por todos los componentes, como ese:

$$p(\textbf x \mid \boldsymbol \mu_k, \boldsymbol \Sigma_k) = \frac{1}{(2 \pi \epsilon)^\frac{M}{2}} \exp\big\{{-\frac{1}{2 \epsilon} \|\textbf x - \boldsymbol \mu_k\|^2}\big\} \tag 3$$

entonces, $\gamma(z_{nk})$ ahora se define como:

$$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}} \tag 4$$

El argumento ahora es el siguiente:

si consideramos el límite , vemos que en el denominador el término para el cual es el más pequeño, irá a cero más lentamente y, por lo tanto, las responsabilidades para el punto de datos irán a cero, excepto para el término j, para lo cual la responsabilidad irá a la unidad. Por lo tanto, en este límite, obtenemos una asignación difícil de puntos de datos a grupos, al igual que en el algoritmo medias, de modo que$\epsilon \to 0$$\| \textbf x_n - \boldsymbol \mu_j\|^2$$\gamma(z_{nk})$$\textbf x_n$$\gamma(z_{nk})$$K$$\gamma(z_{nk}) \to r_{nk}$

donde se define como:$r_{nk}$

$$\begin{equation*} f(n) = \begin{cases} 1 & \text{if } k = \text{arg } \text{min}_j \|\textbf x_n - \boldsymbol \mu_j\|^2\\ 0 & \text{otherwise}\\ \tag 5 \end{cases} \end{equation*}$$

Mi pregunta es ¿cómo se sostiene el argumento anterior? A saber, ¿qué significa que un término vaya a cero ? ¿Y cómo llevar el límite en la ecuación resulta en una responsabilidad binaria?$\textbf{most slowly}$$\epsilon \to 0$$4$

Escribamos Entonces Si tomamos tenemos donde excepto para donde

$$\|\textbf x_n - \boldsymbol \mu_k\|^2=\delta_k\,.$$ $$\frac{\pi_k \exp\{ - \| \textbf x_n - \boldsymbol \mu_k\|^2 / 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \| \textbf x_n - \boldsymbol \mu_j\|^2 / 2 \epsilon\}}=\frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}$$ $$\delta^*=\min_n\delta_n\,,$$ $$\begin{align*} \frac{\pi_k \exp\{ - \delta_k/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{ - \delta_j/ 2 \epsilon\}}&=\frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}} \end{align*}$$ $\delta^*-\delta_k<0$$k=k^*$$\delta^*-\delta_{k^*}=0$ . Entonces, para todos , ya que, para , while $k\ne k^*$ $$\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_k \exp\{(\delta^*- \delta_k)/ 2 \epsilon\}}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=0$$ $a>0$ $$\lim_{\epsilon\to 0}\exp\{-a/\epsilon \}=0$$ $$\lim_{\epsilon\to 0} \frac{\pi_{k^*} \exp\{(\delta^*- \delta_{k^*})/ 2 \epsilon\}}{\sum_{j=1}^K \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=\lim_{\epsilon\to 0} \frac{\pi_{k^*} \times 1}{\pi_{k^*}+\sum_{j\ne k^*} \pi_j \exp\{(\delta^* - \delta_j)/ 2 \epsilon\}}=1$$