¿Por qué la probabilidad en el filtro de Kalman se calcula utilizando resultados de filtro en lugar de resultados más suaves?

Estoy usando el filtro de Kalman de una manera muy estándar. El sistema está representado por la ecuación de estado $x_{t+1}=Fx_{t}+v_{t+1}$ y la ecuación de observación $y_{t}=Hx_{t}+Az_{t}+w_{t}$ .

Los libros de texto enseñan que después de aplicar el filtro de Kalman y conseguir las "previsiones de un solo paso-a $\hat{x}_{t|t-1}$ (o "estimación filtrada"), deberíamos usarlos para calcular la función de probabilidad:

$f_{y_{t}|\mathcal{I}_{t-1},z_{t}}\left(y_{t}|\mathcal{I}_{t-1},z_{t}\right)=\det\left[2\pi\left(HP_{t|t-1}H^{\prime}+R\right)\right]^{-\frac{1}{2}}\exp\left\{ -\frac{1}{2}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)^{\prime}\left(HP_{t|t-1}H^{\prime}+R\right)^{-1}\left(y_{t}-H\hat{x}_{t|t-1}-Az_{t}\right)\right\}$

Mi pregunta es: ¿Por qué se calcula la función de probabilidad utilizando la "estimación filtrada" $\hat{x}_{t|t-1}$ y no la "estimación suavizada" $\hat{x}_{t|T}$ ? ¿No es $\hat{x}_{t|T}$ una mejor estimación del vector de estado?

Para responder a su pregunta: puede usar la densidad de suavizado. Pero no tienes que hacerlo. La respuesta de Jarle Tufto tiene la descomposición que estás usando. Pero hay otros.

Usando las recursiones de Kalman

Aquí está evaluando la probabilidad como

$$f(y_1, \ldots, y_n) = f(y_1)\prod_{i=2}^nf(y_i|y_1, \ldots, y_{i-1}).$$

Sin embargo, las medias y las variaciones no siempre definen completamente las distribuciones de probabilidad en general. La siguiente es la descomposición que está utilizando para pasar de filtrar distribuciones a probabilidades condicionales :$f(x_{i-1}|y_1,\ldots,y_{i-1})$$f(y_i|y_1,\ldots,y_{i-1})$

$$f(y_i|y_1, \ldots, y_{i-1}) = \iint f(y_i|x_i)f(x_i|x_{i-1})f(x_{i-1}|y_1, \ldots, y_{i-1})dx_{i} dx_{i-1} \tag{1}.$$

Aquí es la densidad de transición de estado ... parte del modelo, y es la densidad de observación ... parte del modelo nuevamente. En su pregunta, escriba estos como y respectivamente. Es lo mismo.$f(x_i|x_{i-1})$$f(y_i|x_i)$$x_{t+1}=Fx_{t}+v_{t+1}$$y_{t}=Hx_{t}+Az_{t}+w_{t}$

Cuando obtiene la distribución de predicción de estado de un paso adelante, se calcula . Cuando te integras de nuevo, obtienes (1) completamente. Escribe esa densidad completamente en su pregunta, y es lo mismo.$\int f(x_i|x_{i-1})f(x_{i-1}|y_1, \ldots, y_{i-1}) dx_{i-1}$

Aquí solo está usando descomposiciones de distribuciones de probabilidad y suposiciones sobre el modelo. Este cálculo de probabilidad es un cálculo exacto. No hay nada discrecional que pueda usar para hacer esto mejor o peor.

Usando el algoritmo EM

Que yo sepa, no hay otra forma de evaluar la probabilidad directamente en este tipo de modelo de espacio de estado. Sin embargo, aún puede hacer una estimación de máxima probabilidad evaluando una función diferente: puede usar el algoritmo EM. En el paso Expectativa (E-Step) calcularías Aquí

$$\int f(x_1, \ldots, x_n|y_1,\ldots y_n) \log f(y_1,\ldots,y_n,x_1, \ldots,x_n) dx_{1:n} = E_{smooth}[\log f(y_1,\ldots,y_n,x_1, \ldots,x_n)].$$ $f(y_1,\ldots,y_n,x_1, \ldots,x_n)$es la probabilidad de "datos completos", y está tomando la expectativa del registro de eso con respecto a la densidad de suavizado de juntas. Lo que sucede a menudo es que, debido a que está tomando el registro de esta probabilidad de datos completa, los términos se dividen en sumas, y debido a la linealidad del operador de expectativa, está tomando expectativas con respecto a las distribuciones de suavizado marginales (las mencionas en tu pregunta).

Otras cosas

He leído en algunos lugares que el EM es una forma "más estable" de maximizar la probabilidad, pero nunca he visto este punto argumentado bien, ni he visto esta palabra "estable" definida, pero tampoco he Realmente examiné esto más a fondo. Ninguno de estos algoritmos puede sortear la terrible experiencia máxima local / global. Yo personalmente tiendo a usar el Kalman más a menudo solo por costumbre.

Es cierto que las estimaciones uniformes del estado tienen una varianza menor que el filtrado, por lo que creo que tiene razón para tener alguna intuición al respecto, pero en realidad no está utilizando los estados. La probabilidad de que intentes maximizar no es una función de los estados.

En general, según la regla del producto, la probabilidad exacta se puede escribir A partir del supuesto del modelo de espacio de estados, se deduce que el vector de expectativa y la matriz de varianza de cada condicional en observaciones pasadas se pueden expresar como y

$$f(y_1,\dots,y_n)=f(y_1)\prod_{i=2}^n f(y_i|y_1,\dots,y_{i-1}).$$ $y_i$ $$\begin{align} E(y_i|y_1,\dots,y_{i-1}) &= E(Hx_{t}+Az_{t}+w_{t}|y_1,\dots,y_{i-1}) \\&= HE(x_{t}|y_1,\dots,y_{i-1})+Az_{t}+Ew_{t} \\&= H\hat x_{t|t-1}+Az_{t}, \end{align}$$ $$\begin{align} \mathrm{Var}(y_i|y_1,\dots,y_{i-1}) &= \mathrm{Var}(Hx_{t}+Az_{t}+w_{t}|y_1,\dots,y_{i-1}) \\&= H\mathrm{Var}(x_{t}|y_1,\dots,y_{i-1})H'+ \mathrm{Var}w_t \\&= HP_{t|t-1}H'+R. \end{align}$$ Por lo tanto, esto le brinda la probabilidad exacta sin calcular las estimaciones suavizadas.

Si bien, por supuesto, podría usar las estimaciones suavizadas que, de hecho, son mejores estimaciones de los estados desconocidos, esto no le daría la función de probabilidad. En efecto, estaría utilizando el valor observado de para estimar su propio valor esperado, por lo que parece probable que esto conduzca a un sesgo en las estimaciones resultantes. $y_i$

Creo que una mejor respuesta a "por qué" no se usa la distribución de suavizado (típicamente) es la eficiencia. En principio, es sencillo calcular la probabilidad marginal (suavizado) en un sentido de dejar uno afuera de la siguiente manera. Eliminar la observación j, ejecutar el Kalman más suave en los datos restantes. Luego evalúe la probabilidad de lo invisible y (j). Repita esto para todo j. Resuma las probabilidades de registro. Las versiones más rápidas de esto funcionan con bloques (aleatorios) de muestras retenidas (como k-fold CV). Tenga en cuenta que este esquema requiere una implementación más general del filtro / suavizador Kalman que puede omitir arbitrariamente las actualizaciones de medición donde sea necesario. La pasada hacia atrás / suavizado no accede a las mediciones (algoritmo RTS de todos modos) y permanece igual.

Si la serie temporal es "lo suficientemente larga", es probable que haya pocos beneficios útiles al hacerlo, ya que la probabilidad de filtrado "quema" su transitorio inicial. Pero si el conjunto de datos es corto, la probabilidad de suavizado más costosa puede valer la pena. Un retraso más suave podría ser una solución intermedia.