¿Los procesos estocásticos como el proceso gaussiano / proceso de Dirichlet tienen densidades? Si no, ¿cómo se les puede aplicar la regla de Bayes?

10

El Proceso de Dirichlet y el Proceso Gaussiano a menudo se denominan "distribuciones sobre funciones" o "distribuciones sobre distribuciones". En ese caso, ¿puedo hablar significativamente sobre la densidad de una función en un GP? Es decir, ¿el Proceso Gaussiano o el Proceso de Dirichlet tienen alguna noción de densidad de probabilidad?

Si no es así, ¿cómo podemos usar la regla de Bayes para pasar de anterior a posterior, si la noción de la probabilidad previa de una función no está bien definida? ¿Existen cosas como las estimaciones MAP o EAP en el mundo no paramétrico bayesiano? Muchas gracias.

snickerdoodles777
fuente
1
Dado que la realización del proceso gaussiano (p. Ej.) Solo se observa en una colección finita de puntos, el producto correspondiente de las medidas de Lebesgue es la medida dominante. Lo que significa que para la observación de la función aleatoria en una colección finita de puntos, existe una densidad. f
Xi'an
La respuesta sobre las densidades es sí, y la formulación matemática apropiada se llama derivada de Radon-Nikodym.
whuber

Respuestas:

4

Una "densidad" o "probabilidad" se relaciona con el teorema de Radon-Nikodym en la teoría de la medida. Como señaló @ Xi'an, cuando considera un conjunto finito de las llamadas observaciones parciales de un proceso estocástico, la probabilidad corresponde a la noción habitual de derivada con la medida de Lebesgue. Por ejemplo, la probabilidad de un proceso gaussiano observado en un conjunto finito conocido de índices es la de un vector aleatorio gaussiano con su media una covarianza deducida de la del proceso, que puede tomar formas parametrizadas.

En el caso idealizado donde hay un número infinito de observaciones disponibles de un proceso estocástico, la medida de probabilidad está en un espacio de dimensión infinita, por ejemplo, un espacio de funciones continuas si el proceso estocástico tiene caminos continuos. Pero nada existe como una medida de Lebesgue en un espacio de dimensiones infinitas, por lo tanto, no existe una definición directa de la probabilidad.

Para los procesos gaussianos hay algunos casos en los que podemos definir una probabilidad utilizando la noción de equivalencia de las medidas gaussianas. Un ejemplo importante es el teorema de Girsanov, que se usa ampliamente en matemáticas financieras. Esto define la probabilidad de una difusión Itô como la derivada wrt la distribución de probabilidad de un proceso Wiener estándar definido para . Una exposición matemática ordenada se encuentra en el libro de Bernt Øksendal . El (próximo) libro de Särkkä y Solin ofrece una presentación más intuitiva que ayudará a los profesionales. Se encuentra disponible una brillante exposición matemática sobre Análisis y probabilidad en espacios de dimensiones infinitas de Nate Elderedge.YtBtt0

Tenga en cuenta que la probabilidad de un proceso estocástico que se observaría completamente a veces se llama probabilidad de relleno por los estadísticos.

Yves
fuente
Muy útil explicación! Creo que parte de mi confusión con respecto a temas como estos en Bayesian Non parametrics se debe a mi falta de familiaridad con la teoría de la medición y el análisis funcional, por lo que me aseguraré de revisar sus referencias.
snickerdoodles777