El Proceso de Dirichlet y el Proceso Gaussiano a menudo se denominan "distribuciones sobre funciones" o "distribuciones sobre distribuciones". En ese caso, ¿puedo hablar significativamente sobre la densidad de una función en un GP? Es decir, ¿el Proceso Gaussiano o el Proceso de Dirichlet tienen alguna noción de densidad de probabilidad?
Si no es así, ¿cómo podemos usar la regla de Bayes para pasar de anterior a posterior, si la noción de la probabilidad previa de una función no está bien definida? ¿Existen cosas como las estimaciones MAP o EAP en el mundo no paramétrico bayesiano? Muchas gracias.
machine-learning
probability
bayesian
nonparametric
nonparametric-bayes
snickerdoodles777
fuente
fuente
Respuestas:
Una "densidad" o "probabilidad" se relaciona con el teorema de Radon-Nikodym en la teoría de la medida. Como señaló @ Xi'an, cuando considera un conjunto finito de las llamadas observaciones parciales de un proceso estocástico, la probabilidad corresponde a la noción habitual de derivada con la medida de Lebesgue. Por ejemplo, la probabilidad de un proceso gaussiano observado en un conjunto finito conocido de índices es la de un vector aleatorio gaussiano con su media una covarianza deducida de la del proceso, que puede tomar formas parametrizadas.
En el caso idealizado donde hay un número infinito de observaciones disponibles de un proceso estocástico, la medida de probabilidad está en un espacio de dimensión infinita, por ejemplo, un espacio de funciones continuas si el proceso estocástico tiene caminos continuos. Pero nada existe como una medida de Lebesgue en un espacio de dimensiones infinitas, por lo tanto, no existe una definición directa de la probabilidad.
Para los procesos gaussianos hay algunos casos en los que podemos definir una probabilidad utilizando la noción de equivalencia de las medidas gaussianas. Un ejemplo importante es el teorema de Girsanov, que se usa ampliamente en matemáticas financieras. Esto define la probabilidad de una difusión Itô como la derivada wrt la distribución de probabilidad de un proceso Wiener estándar definido para . Una exposición matemática ordenada se encuentra en el libro de Bernt Øksendal . El (próximo) libro de Särkkä y Solin ofrece una presentación más intuitiva que ayudará a los profesionales. Se encuentra disponible una brillante exposición matemática sobre Análisis y probabilidad en espacios de dimensiones infinitas de Nate Elderedge.Yt Bt t≥0
Tenga en cuenta que la probabilidad de un proceso estocástico que se observaría completamente a veces se llama probabilidad de relleno por los estadísticos.
fuente