modelos bayesianos jerárquicos vs. Bayes empíricos

¿Consideraría que HBM vs EB son dos alternativas en las cuales los hiperparámetros están "en el juego" de ser muestreados / estimados / etc.? Claramente hay una conexión entre estos dos.

¿Consideraría que HBM es más "completamente bayesiano" que EB? ¿Hay algún lugar donde pueda ver cuáles son las diferencias entre ser "completamente bayesiano" y las otras alternativas?

Gracias.

bayesian empirical-bayes singelton
fuente

Para una discusión sobre lo que significa "completamente Bayesiano" y "Empírico Bayes", vea las respuestas en "" Completamente Bayesiano "vs" Bayesiano "" .

Gracias Procrastinator. Todavía me gustaría escuchar una respuesta sobre la relación con los modelos bayesianos jerárquicos, si es posible.

singelton

Puede encontrar esto en la entrada de wikipedia Método empírico de Bayes : "Bayes empíricos puede verse como una aproximación a un tratamiento completamente bayesiano de un modelo jerárquico en el que los parámetros en el nivel más alto de la jerarquía se establecen en sus valores más probables, en lugar de estar integrado ".

Respuestas:

Diría que HBM es ciertamente "más bayesiano" que EB, ya que marginar es un enfoque más bayesiano que optimizar. Esencialmente me parece que EB ignora la incertidumbre en los hiperparámetros, mientras que HBM intenta incluirlo en el análisis. Sospecho que HMB es una buena idea donde hay pocos datos y, por lo tanto, una incertidumbre significativa en los hiperparámetros, que deben tenerse en cuenta. Por otro lado, para grandes conjuntos de datos, EB se vuelve más atractivo, ya que generalmente es menos costoso computacionalmente y el volumen de datos a menudo significa que los resultados son mucho menos sensibles a la configuración de hiperparámetros.

He trabajado en clasificadores de procesos gaussianos y, a menudo, optimizo los hiperparámetros para maximizar los resultados de probabilidad marginal en un ajuste excesivo del NM y, por lo tanto, una degradación significativa en el rendimiento de generalización. Sospecho que en esos casos, un tratamiento completo de HBM sería más confiable, pero también mucho más costoso.

Dikran Marsupial
fuente

+1 para EB ignora la incertidumbre en los hiperparámetros . Además, los fundamentalistas bayesianos consideran EB anti-bayesiano porque usar los datos para estimar lo anterior es blasfemo .

¡Evidentemente no soy un bayesiano fundie entonces! HBM me parece lo correcto, siempre y cuando sea computacionalmente factible, al final del día debes ser pragmático hasta cierto punto (después de haber comprado la computadora más grande disponible; o).

Dikran Marsupial