¿Cómo responder a los revisores que solicitan valores p en el modelo multinivel bayesiano?

Un revisor nos pidió que proporcionáramos valores p para comprender mejor las estimaciones del modelo en nuestro modelo bayesiano multinivel. El modelo es un modelo típico de múltiples observaciones por participante en un experimento. Estimamos el modelo con Stan, por lo que podemos calcular fácilmente estadísticas posteriores adicionales. Actualmente, estamos informando (visualmente y en tablas) la estimación media y los cuantiles 0.025 y 0.975.

Mi respuesta hasta ahora incluiría:

1. Los valores P son inconsistentes con los modelos bayesianos, es decir,$P(X|\theta) \neq P(\theta|X).$
2. Con base en la parte posterior, podemos calcular la probabilidad de que los parámetros sean mayores (menores) que 0. Esto se parece un poco al valor p tradicional.

Mi pregunta es si esta es una respuesta que puede satisfacer a un crítico o solo causará más confusión.

Actualización del 10 de octubre: reescribimos el documento con el consejo en la respuesta en mente. Se acepta el documento, así que reiteraré mi comentario anterior de que este fue un consejo realmente útil.

Primero, una aclaración rápida: aunque la probabilidad de hecho no es la posterior, los valores p no son tan inconsistentes con la inferencia bayesiana sino que generalmente son algo diferente, por todas las razones por las que los intervalos de confianza pueden o no alinearse con intervalos creíbles. (Aunque no necesariamente es algo completamente diferente, como se muestra en la verificación predictiva posterior, que realmente involucra valores p).

Sin embargo, supongo que este nivel de sofisticación no es lo que el crítico tiene en mente. Supongo que simplemente 'saben' que los modelos estadísticos están destinados a tener valores p, por lo que los han pedido. Entonces la pregunta sigue siendo: ¿cómo responder?

Cuando 'revisor quiere una X', me resulta útil hacerme dos preguntas relacionadas:

1. Motivación: ¿Qué quieren que X haga por ellos?

2. Reconstrucción racional: ¿qué sería lo más sensato que podrían haber pedido en lugar de X si hubieran querido hacer eso?

Entonces dales eso en su lugar.

La ventaja de un crítico ignorante (que, sin embargo, puede ser inteligente y correcto sobre el artículo) es que rara vez tienen una idea clara de lo que quieren decir cuando piden X. Esto significa que si los reconstruye haciendo una pregunta mejor, ellos ' se contentará con verte responder en su lugar

En su caso, es bastante posible que el revisor quiera un análisis frecuentalista paralelo, aunque lo dudo. Creo que desea trabajar con la sugerencia del revisor de que desean que los valores p "comprendan mejor el modelo". Su trabajo, creo, es analizar esto de una manera que haga que el revisor suene sabio. Presumiblemente, hubo algunas oraciones siguientes que señalaban lo que no estaba claro en el documento. Quizás hubo algunos efectos de interés para el revisor que no se pudieron reconstruir a partir de los parámetros marginales, o algunas cantidades que iluminarían lo que el modelo diría sobre casos de interés para ellos, o la falta de resúmenes de números únicos ...

Si puede identificar estas inquietudes, puede resumir su respuesta en los siguientes formularios (solicitud original entre corchetes):

"El revisor [exige un valor p para un término de interacción] estaba preocupado de que en nuestra presentación no estaba claro cómo A variaba con B, por lo que en la Figura 2 mostramos ..." o "el revisor se preguntó [si podríamos rechazar el hipótesis de que el efecto de A es cero] sobre la dirección del efecto de A. La Tabla 3 muestra que este modelo ofrece un 99% de probabilidad de que esto sea negativo "o" el revisor se pregunta [si nuestro modelo es significativamente mejor que un modelo que contiene solo A] cómo nuestro modelo se compara con uno que contiene solo A. Abordamos esta pregunta comparándola con ... usando DIC / calculando un factor de Bayes / mostrando que nuestras inferencias sobre A son sólidas para la inclusión de B ", etc.

En cada caso hay una traducción cercana de la solicitud original y una respuesta.

Advertencias: esta estrategia parece funcionar mejor cuando el revisor es un experto en la materia con una comprensión relativamente débil de las estadísticas. No , no funciona con la crítica estadísticamente sofisticado auto-identificados que realmente no quiere una X porque como Xs o leer sobre ellos en algún lugar recientemente. No tengo sugerencias para esto último.

Finalmente, recomendaría encarecidamente no decir nada, incluso ligeramente religioso, sobre Bayes como un paradigma diferente y las preguntas de los revisores no tienen sentido dentro de él. Incluso si esto es cierto, hace que todos estén malhumorados sin ganancia real.