"Totalmente Bayesiano" vs "Bayesiano"

He estado aprendiendo sobre estadísticas bayesianas, y a menudo he leído en artículos

"adoptamos un enfoque bayesiano"

o algo similar. También noté, con menos frecuencia:

"adoptamos un enfoque totalmente bayesiano"

(mi énfasis) ¿Hay alguna diferencia entre estos enfoques en algún sentido práctico o teórico? FWIW, estoy usando el paquete MCMCglmmen R en caso de que sea relevante.

La terminología "enfoque totalmente bayesiano" no es más que una forma de indicar que uno se mueve de un enfoque bayesiano "parcialmente" a un enfoque bayesiano "verdadero", dependiendo del contexto. O para distinguir un enfoque "pseudo-bayesiano" de un enfoque "estrictamente" bayesiano.

Por ejemplo, un autor escribe: "A diferencia de la mayoría de otros autores interesados ​​que típicamente usaban un enfoque empírico de Bayes para RVM, adoptamos un enfoque totalmente bayesiano" porque el enfoque empírico de Bayes es un enfoque "pseudo-bayesiano". Existen otros enfoques pseudo-bayesianos, como la distribución predictiva bayesiana-frecuentista (una distribución cuyos cuantiles coinciden con los límites de los intervalos de predicción frecuentista).

En esta página se presentan varios paquetes R para la inferencia bayesiana. El MCMCglmm se presenta como un "enfoque totalmente bayesiano" porque el usuario debe elegir la distribución previa, al contrario de los otros paquetes.

Otro posible significado de "completamente bayesiano" es cuando uno realiza una inferencia bayesiana derivada del marco de la teoría de decisión bayesiana, es decir, derivada de una función de pérdida, porque la teoría de decisión bayesiana es un marco fundacional sólido para la inferencia bayesiana.

Creo que la terminología se usa para distinguir entre el enfoque bayesiano y el enfoque empírico de Bayes. Full Bayes utiliza un previo especificado, mientras que Bayes empírico permite estimar el previo mediante el uso de datos.

"Bayesiano" realmente significa "Bayesiano aproximado".

"Completamente Bayesiano" también significa "Bayesiano aproximado", pero con menos aproximación.

Editar : Aclaración.

Usaría "completamente bayesiano" para significar que cualquier parámetro de nuissance había sido marginado del análisis, en lugar de optimizado (por ejemplo, estimaciones de MAP). Por ejemplo, un modelo de proceso gaussiano, con hiperparámetros ajustados para maximizar la probabilidad marginal sería bayesiano, pero solo parcialmente, mientras que si los hiperparámetros que definen la función de covarianza se integraran utilizando un hiper-previo, eso sería completamente bayesiano .

Como ejemplo práctico:

Hago algunos modelos bayesianos usando splines. Un problema común con las splines es la selección de nudos. Una posibilidad popular es utilizar un esquema Reversible Jump Markov Chain Monte Carlo (RJMCMC) donde se propone agregar, eliminar o mover un nudo durante cada iteración. Los coeficientes para las splines son las estimaciones de Mínimo Cuadrado.

Splines de nudo libre

En mi opinión, esto hace que sea solo 'parcialmente bayesiano' porque para un enfoque 'completamente bayesiano' se necesitaría colocar los anteriores en estos coeficientes (y los nuevos coeficientes propuestos durante cada iteración), pero luego las estimaciones de los mínimos cuadrados no funcionan para el RJMCMC esquema, y ​​las cosas se vuelven mucho más difíciles.

Añadiría una caracterización que no se ha mencionado hasta ahora. Un enfoque totalmente bayesiano propaga "completamente" la incertidumbre en todas las cantidades desconocidas a través del teorema de Bayes. Por otro lado, los enfoques Pseudo-Bayes, como los Bayes empíricos, no propagan todas las incertidumbres. Por ejemplo, al estimar cantidades predictivas posteriores, un enfoque completamente bayesiano utilizaría la densidad posterior de los parámetros desconocidos del modelo para obtener la distribución predictiva para el parámetro objetivo. Un enfoque EB no explicaría la incertidumbre en todas las incógnitas; por ejemplo, algunos de los hiperparámetros pueden establecerse en valores particulares, subestimando así la incertidumbre general.