¿Prerrequisitos matemáticos y estadísticos para comprender los filtros de partículas?

Actualmente estoy tratando de entender los filtros de partículas y sus posibles usos en las finanzas y estoy luchando bastante. ¿Cuáles son los prerrequisitos matemáticos y estadísticos que debería volver a visitar (viniendo de un fondo en finanzas cuantitativas) para (i) hacer accesibles los conceptos básicos de los filtros de partículas, y (ii) para luego comprenderlos a fondo? Tengo un sólido conocimiento de la econometría de series de tiempo de posgrado, con la excepción de los modelos de espacio de estado, que aún no he cubierto.

Cualquier sugerencia es muy apreciada!

Puede llegar sorprendentemente lejos con solo unos pocos conceptos básicos. La notación, una explosión de variables, etc. pueden hacer que las cosas se vean complicadas, pero la idea central del filtrado de partículas es notablemente simple.

Alguna probabilidad básica de que necesitarías (¡y probablemente ya lo hagas!) Entender:

• $P(X = x) = \sum_i P(X = x, Y = y_i)$
• $P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• $P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• Términos bayesianos: ej. anterior, probabilidad, posterior (+1 @Yair Daon, ¡estoy de acuerdo!)

Los pasos básicos de un filtro de partículas son increíblemente simples:

Primero:

• Comience con algunas creencias sobre algún estado oculto. Por ejemplo, puede comenzar con la creencia de que su cohete está en la plataforma de lanzamiento. (En un filtro de partículas, las creencias sobre el estado oculto se representarán con una nube de puntos, cada punto denota un posible valor del estado oculto. Cada punto también está asociado con una probabilidad de que el estado sea el estado verdadero).

$t$$t+1$

1. Paso de predicción: avance de la ubicación de los puntos según la ley del movimiento. (por ejemplo, mover puntos hacia adelante según la velocidad actual del cohete, trayectoria, etc.). Esto normalmente expandirá la nube de puntos a medida que aumenta la incertidumbre.
2. Paso de actualización de probabilidad: use datos, entrada del sensor para actualizar las probabilidades asociadas con los puntos usando la regla de Bayes. Esto normalmente colapsará la nube de puntos a medida que se reduzca la incertidumbre.
3. Agregue algunos pasos / trucos específicos de filtrado de partículas. P.ej. :
   • Ocasionalmente remuestree sus puntos para que cada punto tenga la misma probabilidad.
   • Mezcle algo de ruido, evite que su paso de probabilidad (2) colapse demasiado su nube de puntos (en el filtrado de partículas, ¡es importante que haya al menos un punto con probabilidad positiva vagamente en su ubicación verdadera!)

Ejemplo:

Inicialice su filtro: - Observe su ubicación, donde está parado. Ahora cierra los ojos.

Luego itera:

1. Da un paso adelante con los ojos cerrados.
2. Paso de predicción: dadas las creencias pasadas sobre dónde estabas parado, predice dónde estás parado ahora dado un paso adelante. (¡Observe cómo se expande la incertidumbre porque su paso adelante con los ojos cerrados no es súper preciso!)
3. Paso de actualización: use sensores (p. Ej., Sentirse cerca, etc.) para actualizar sus creencias sobre su posición.

¡REPETIR!

La maquinaria de probabilidad requerida para implementar es básicamente la probabilidad básica: regla de Bayes, cálculo de la distribución marginal, etc.

Ideas altamente relacionadas que pueden ayudar a comprender el panorama general:

En cierto sentido, los pasos (1) y (2) son comunes a cualquier problema de filtrado bayesiano . Algunos conceptos altamente relacionados para leer posiblemente:

• Modelo oculto de Markov . Un proceso es Markov si el pasado es independiente del futuro dado el estado actual. Casi cualquier serie temporal se modela como algún tipo de proceso de Markov. Un modelo oculto de Markov es aquel en el que el estado no se observa directamente (por ejemplo, nunca se observa directamente la ubicación exacta de su cohete y, en cambio, se deduce su ubicación a través de un filtro bayesiano).
• Filtro Kalman . Esta es una alternativa al filtrado de partículas que se usa comúnmente. Básicamente es un filtro bayesiano donde se supone que todo es gaussiano multivariante.

Debe aprender primero sobre los modelos de espacio de estados más fáciles de codificar y el filtrado de forma cerrada (es decir, filtros Kalman, modelos ocultos de Markov). Matthew Gunn tiene razón en que puede llegar sorprendentemente lejos con conceptos simples, pero en mi humilde opinión, debe hacer de este un objetivo intermedio porque:

1.) Relativamente hablando, hay más partes móviles en los modelos de espacio de estados. Cuando aprende SSM o modelos de markov ocultos, hay mucha notación. Esto significa que hay más cosas para mantener en su memoria de trabajo mientras juega con la verificación de cosas. Personalmente, cuando estaba aprendiendo sobre los filtros de Kalman y los SSM lineal-gaussianos primero, básicamente estaba pensando "eh, todo esto son solo propiedades de los vectores normales multivariados ... Solo tengo que hacer un seguimiento de qué matriz es cuál". Además, si está cambiando entre libros, a menudo cambian la notación.

Luego lo pensé como "eh, esto es solo la regla de Bayes en cada momento". Una vez que lo piensa de esta manera, comprende por qué las familias conjugadas son agradables, como en el caso del filtro de Kalman. Cuando codifica un modelo de markov oculto, con su espacio de estado discreto, ve por qué no tiene que calcular ninguna probabilidad, y el filtrado / suavizado es fácil. (Creo que me estoy desviando de la jerga convencional hmm aquí).

2.) Reducir los dientes al codificar muchos de estos elementos te hará darte cuenta de lo general que es la definición de un modelo de espacio de estado. Muy pronto escribirás los modelos que deseas usar y, al mismo tiempo, verás por qué no puedes. Primero, eventualmente verá que simplemente no puede escribirlo en una de estas dos formas a las que está acostumbrado. Cuando lo piensa un poco más, escribe la regla de Bayes y ve que el problema es su incapacidad para calcular algún tipo de probabilidad para los datos.

Por lo tanto, eventualmente no podrá calcular estas distribuciones posteriores (suavizar o filtrar las distribuciones de los estados). Para ocuparse de esto, hay muchas cosas de filtrado aproximadas por ahí. El filtrado de partículas es solo uno de ellos. La conclusión principal del filtrado de partículas: simula a partir de estas distribuciones porque no puede calcularlas.

¿Cómo simulas? La mayoría de los algoritmos son solo algunas variantes del muestreo de importancia. Pero aquí también se vuelve más complicado. Recomiendo ese documento tutorial de Doucet y Johansen ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf ). Si entiende cómo funciona el filtrado de formularios cerrados, presentan la idea general del muestreo de importancia, luego la idea general del método monte carlo y luego le muestran cómo usar estas dos cosas para comenzar con un buen ejemplo de serie de tiempo financiero. En mi humilde opinión, este es el mejor tutorial sobre filtrado de partículas que he encontrado.

Además de agregar dos nuevas ideas a la mezcla (muestreo de importancia y el método monte carlo), ahora hay más notación. Algunas densidades que estás probando a partir de ahora; está evaluando algunos, y cuando los evalúa, está evaluando en muestras. El resultado, después de codificarlo todo, son muestras ponderadas, consideradas partículas. Cambian después de cada nueva observación. Sería muy difícil entender todo esto de una vez. Creo que es un proceso.

Pido disculpas si me encuentro críptico u ondulado. Esta es solo la línea de tiempo para mi familiaridad personal con el tema. La publicación de Matthew Gunn probablemente responde más directamente a su pregunta. Solo pensé que descartaría esta respuesta.