¿Cuál es el equivalente bayesiano de una prueba general de bondad de ajuste?

Tengo dos conjuntos de datos, uno de un conjunto de observaciones físicas (temperaturas) y otro de un conjunto de modelos numéricos. Estoy haciendo un análisis de modelo perfecto, suponiendo que el conjunto del modelo representa una muestra verdadera e independiente, y comprobando si las observaciones se extraen de esa distribución. La estadística que he calculado está normalizada y, en teoría, debería ser una distribución normal estándar. Por supuesto que no es perfecto, así que quiero probar la bondad del ajuste.

Utilizando el razonamiento frecuentista, podría calcular una estadística de Cramér-von Mises (o Kolmogorov-Smirnov, etc.), o similar, y buscar el valor en una tabla para obtener un valor p, para ayudarme a decidir qué tan improbable es el valor I ver es, dado que las observaciones son las mismas que las del modelo.

¿Cuál sería el equivalente bayesiano de este proceso? Es decir, ¿cómo cuantifico la fuerza de mi creencia de que estas dos distribuciones (mi estadística calculada y la normal estándar) son diferentes?

Sugeriría el libro Bayesian Data Analysis como una gran fuente para responder esta pregunta (en particular el capítulo 6) y todo lo que voy a decir. Pero una de las formas habituales en que los bayesianos atacan este problema es mediante el uso de valores P predictivos posteriores (PPP). Antes de pasar a cómo las PPP resolverían este problema, permítanme definir primero la siguiente notación:

Sean los datos observados y sea ​​el vector de parámetros. Definimos como los replicados de datos que podrían haber sido observados, o, a pensar de forma predictiva, ya que los datos que podrían ver mañana si el experimento que produjo hoy se replicaron con el mismo modelo y el mismo valor de que produjo los datos observados.θ y rep y $y$$\theta$$y^{\text{rep}}$$y$$\theta$

Tenga en cuenta que definiremos la distribución de dado el estado actual del conocimiento con la distribución predictiva posterior p ( y rep | y ) = ∫ Θ p ( y rep | θ ) p ( θ | y ) d $y^{\text{rep}}$

$$p(y^{\text{rep}}|y)=\int_\Theta p(y^{\text{rep}}|\theta)p(\theta|y)d\theta$$

Ahora, podemos medir la discrepancia entre el modelo y los datos definiendo las cantidades de prueba , los aspectos de los datos que deseamos verificar. Una cantidad de prueba, o medida de discrepancia , , es un resumen escalar de parámetros y datos que se utiliza como estándar cuando se comparan datos con simulaciones predictivas. Las cantidades de prueba desempeñan el papel en el modelo bayesiano comprobando que las estadísticas de prueba juegan en la prueba clásica. Definimos la notación para un estadístico de prueba, que es una cantidad de prueba que depende solo de los datos; En el contexto bayesiano, podemos generalizar las estadísticas de prueba para permitir la dependencia de los parámetros del modelo bajo su distribución posterior.T ( y $T(y,\theta)$$T(y)$

Clásicamente, el valor p para el estadístico de prueba es donde se toma la probabilidad sobre la distribución de con fijo.$T(y)$

$$p_C=\text{Pr}(T(y^{\text{rep}})\geq T(y)|\theta)$$ $y^{\text{rep}}$$\theta$

Desde una perspectiva bayesiana, la falta de ajuste de los datos con respecto a la distribución predictiva posterior puede medirse por la probabilidad del área de la cola, o valor p, de la cantidad de prueba, y calcularse utilizando simulaciones posteriores de . En el enfoque bayesiano, las cantidades de prueba pueden ser funciones de los parámetros desconocidos, así como datos, porque la cantidad de prueba se evalúa sobre los sorteos de la distribución posterior de los parámetros desconocidos.$(\theta,y^{\text{rep}})$

Ahora, podemos definir el valor p bayesiano (PPP) como la probabilidad de que los datos replicados puedan ser más extremos que los datos observados, medidos por la cantidad de prueba: donde la probabilidad se toma sobre la distribución posterior de y la distribución predictiva posterior de (que es, la distribución conjunta, ): donde es la función del indicador. En la práctica, aunque usualmente calculamos la distribución predictiva posterior utilizando simulaciones.

$$p_B=\text{Pr}(T(y^{\text{rep}},\theta)\geq T(y,\theta)|y)$$ $\theta$$y^{\text{rep}}$$p(\theta,y^{\text{rep}}|y)$ $$p_B=\iint_\Theta I_{T(y^{\text{rep}},\theta)\geq T(y|\theta)}p(y^{\text{rep}}|\theta)p(\theta|y)dy^{\text{rep}}d\theta,$$ $I$

Si ya tenemos, digamos, simulaciones de la distribución posterior de , entonces podemos simplemente dibujar una de la distribución predictiva para cada simulada ; ahora tenemos dibuja de la distribución posterior conjunta, . La verificación predictiva posterior es la comparación entre las cantidades de prueba realizadas y las cantidades de prueba predictiva . El valor p estimado es solo la proporción de estas simulaciones para las cuales la cantidad de prueba es igual o superior a su valor realizado; es decir, para lo cualθ y rep$L$$\theta$$y^{\text{rep}}$$\theta$p ( y rep , θ | y ) T ( y , θ l ) T ( y rep l , θ l ) L T ( y rep l , θ l ) ≥ T ( y , θ l ) l = 1 , . . . , $L$$p(y^{\text{rep}},\theta|y)$$T(y,\theta^l)$$T(y^{\text{rep}l},\theta^l)$$L$

$$T(y^{\text{rep}l},\theta^l)\geq T(y,\theta^l)$$ para . $l=1,...,L$

En contraste con el enfoque clásico, la verificación del modelo bayesiano no requiere métodos especiales para manejar "parámetros molestos". Al utilizar simulaciones posteriores, promediamos implícitamente todos los parámetros del modelo.

Una fuente adicional, Andrew Gelman también tiene un muy buen artículo sobre PPP aquí: http://www.stat.columbia.edu/~gelman/research/unpublished/ppc_understand2.pdf

Una posibilidad relativamente simple: las pruebas suaves de bondad de ajuste, p . Ej. [1], que enmarcan la alternativa en términos de desviaciones suaves del nulo, construido por polinomios ortogonales (con respecto a la densidad nula como función de peso) sería relativamente sencillo transferir a un marco bayesiano, ya que los coeficientes de los polinomios forman una extensión flexible pero paramétrica del nulo.

[1]: Rayner, JCW y DJ Best (1990),
"Smooth Tests of Goodness of Fit: An Overview",
International Statistical Review , 58 : 1 (abril), págs. 9-17