Selección de modelo ABC

11

Se ha demostrado que no se recomienda la elección del modelo ABC utilizando factores de Bayes debido a la presencia de un error derivado del uso de estadísticas resumidas. La conclusión en este artículo se basa en el estudio del comportamiento de un método popular para aproximar el factor de Bayes (Algoritmo 2).

Es bien sabido que los factores de Bayes no son la única forma de realizar la elección del modelo. Hay otras características, como el rendimiento predictivo de un modelo, que pueden ser de interés (por ejemplo, reglas de puntuación ).

Mi pregunta es : ¿existe algún método, análogo al Algoritmo 2, para aproximar algunas reglas de puntuación u otras cantidades que puedan usarse para realizar la elección del modelo en términos del rendimiento predictivo en contextos con probabilidades complicadas?

bayesian model-selection prediction abc
fuente

Respuestas:

7

¡Buena pregunta sobre nuestro trabajo ! ¿Conoce el documento de seguimiento en el que derivamos condiciones en el resumen estadístico para lograr consistencia en el factor Bayes? Esto puede sonar demasiado teórico, pero la consecuencia de los resultados asintóticos es bastante sencilla:

Dado un resumen estadístico ,T

  1. ejecutar un algoritmo ABC basado en para cada modelo bajo evaluación ( ) y estimar los parámetros de esos modelos mediante la estimación ABC ;Ti=1,..,Iθiθ^i(T)
  2. simular la distribución de la estadística para cada modelo y cada parámetro estimado, mediante un experimento de Monte Carlo;T
  3. compruebe si las medias son todas diferentes utilizando el paso 2 con un número suficientemente grande de iteraciones y, por ejemplo, una prueba t.Eθ^i(T)[T(X)]

Este procedimiento no se encuentra en la primera versión del documento, pero pronto debería aparecer en la versión revisada

Xi'an
fuente
Gracias por tu respuesta. No estaba al tanto del segundo artículo. Es un resultado interesante. Una pregunta que me viene a la mente es la suposición de normalidad en la prueba t (sé que es robusta, pero también puede fallar) junto con el nivel de significancia requerido para una buena aproximación. ¿Conoces otras técnicas de comparación de modelos con ABC? Recuerdo un artículo sobre DIC en arxiv. (Asignaré la recompensa en un par de días para ver si alguien más muestra interés en la pregunta, no estoy
1
Dado que se trata de mi propio trabajo / investigación, realmente no merezco una recompensa, ¿verdad?
Xi'an
Es una buena respuesta. Simplemente tengo la sensación de que omitió dos veces la pregunta sobre la existencia de otras técnicas para medir el rendimiento predictivo de un modelo que utiliza ABC. Incluso un 'sí, existe' o un 'no, al menos que yo sepa' haría el trabajo.
1
Acerca de otros métodos, sugeriría echar un vistazo a por Ratmann et al. (2009) , que solo considera los rendimientos de cada modelo dentro de este modelo, comparando los errores observados con la distribución de los errores simulados. No es completamente perfecto , pero sí muy atractivo. ABCμ
Xi'an