Explicar el algoritmo hacia atrás para el modelo oculto de Markov

He implementado los algoritmos Viterbi y Forward , por desgracia, no puedo entender cómo funciona el algoritmo Backward . Intuitivamente siento que necesito hacer lo mismo que en Forward solo hacia atrás, usando los valores calculados durante la propagación de Forward .

¿Es correcta mi intuición?

He leído muchas diapositivas y estoy enfermo de notación matemática en este momento. No ayuda. Necesito algo que en inglés simple explique la diferencia entre los algoritmos de avance y retroceso .

¿Puede proporcionar una breve explicación de cómo se hace el algoritmo de retroceso ?

Suponga el siguiente HMM pequeño y los resultados del algoritmo Forward para la secuencia "BB" a continuación:

START -> 1
H: 0.5 * 0.8 = 0.4
L: 0.5 * 0.6 = 0.3

1 -> 2
H: 0.4 * 0.2 * 0.8 + 0.3 * 0.6 * 0.8 = 0.208
L: 0.4 * 0.8 * 0.6 + 0.3 * 0.4 * 0.6 = 0.264

2 -> END
END: 0.208 * 0.3 + 0.264 * 0.7 = 0.2472

Parece que tu secuencia de observación es B, B. Denotemos la observación en el tiempo como y el estado oculto en el tiempo como . Si denotamos como los valores hacia adelante y como los valores hacia atrás, ( es uno de los posibles estados ocultos)$t$$z_t$$t$$x_t$$\alpha_t(i)$$\beta_t(i)$$i$

$\alpha_t(i)=P(x_t=i,z_{1:t})$

Esto significa que es la probabilidad de llegar al estado en el momento emitiendo las observaciones hasta el tiempo . Entonces,$\alpha_t(i)$$i$$t$$t$

$\beta_t(i) = P(z_{t+1:T}\mid x_t=i)$ que es la probabilidad de emitir la secuencia restante desde hasta el final del tiempo después de estar en estado oculto en el tiempo .$t+1$$i$$t$

Para hacer la recursión en podemos escribir,$\beta_t(i)$

$P(z_{t+1:T}\mid x_t=i)=\sum\limits_jP(x_{t+1}=j,z_{t+1:T}\mid x_{t}=i)$

Usando la regla de la cadena, $P(x_{t+1}=j,z_{t+1:T}\mid x_{t}=i) = P(z_{t+2:T},z_{t+1},x_{t+1}=j\mid x_{t}=i)\\ =P(z_{t+2:T}\mid z_{t+1},x_{t+1}=j, x_{t}=i)P(z_{t+1}\mid x_{t+1}=j, x_{t}=i)P(x_{t+1}=j\mid x_{t}=i)$

De las dependencias condicionales de HMM, las probabilidades anteriores se simplifican a $P(z_{t+2:T}\mid x_{t+1}=j)P(z_{t+1}\mid x_{t+1}=j)P(x_{t+1}=j\mid x_{t}=i)$

Tenga en cuenta que de nuestra definición.$P(z_{t+2:T}\mid x_{t+1}=j) =\beta_{t+1}(j)$

Sustituyendo a obtenemos,$P(z_{t+1:T}\mid x_t=i)$

$\beta_t(i) = P(z_{t+1:T}\mid x_t=i) = \sum\limits_j \beta_{t+1}(j)P(z_{t+1}\mid x_{t+1}=j)P(x_{t+1}=j\mid x_t=i)$

Ahora tienes una recursividad para beta. Últimos dos términos de la última ecuación que conoces de tu modelo. Aquí comenzando desde el final de la cadena (T) vamos hacia atrás calculando todo , de ahí el algoritmo hacia atrás. En adelante tienes que comenzar desde el principio y llegar al final de la cadena.$\beta_t$

En su modelo, debe inicializar para todo . Esta es la probabilidad de no emitir observaciones después de .$\beta_T(i) = P(\emptyset \mid x_T=i)=1$$i$$T=2$