MCMC en un entorno frecuentista

He estado tratando de tener una idea de los diferentes problemas en entornos frecuentistas donde se usa MCMC. Estoy familiarizado con que MCMC (o Monte Carlo) se usa para ajustar GLMM y quizás en algoritmos Monte Carlo EM. ¿Existen problemas más frecuentes cuando se usa MCMC?

mcmc monte-carlo expectation-maximization metropolis-hastings frequentist Greenparker
fuente

Cuando un modelo bayesiano también puede interpretarse como un modelo frecuentista (p. Ej., Todos los anteriores son planos), el modo posterior es el MLE. Por lo tanto, puede usar MCMC para hacer MLE, aunque eso podría no ser una muy buena manera de hacerlo.

Kodiólogo

@Kodiologist Claro. Sin embargo, es probable que nos interese la media posterior (si se trabaja con la función de pérdida de mínimos cuadrados), por lo que ni siquiera intentaremos encontrar el MLE. Pero veo a qué te refieres.

Greenparker

@Kodiólogo, pero ¿por qué frecuentaría eso? Primero, esto llevaría a múltiples problemas conceptuales (suponiendo que ese parámetro sea rv, cómo interpretar los IDH, etc.). En segundo lugar, si los frecuentistas lo usarían simplemente en lugar del algoritmo de optimización para encontrar la estimación puntual, ¿por qué lo haría ya que es una forma muy ineficiente si solo se busca la estimación puntual ...

Tim

Encontré esto por accidente, pero pensé que era un tema útil. Si no me equivoco, los métodos de Monte Carlo generalmente están relacionados con el muestreo de una distribución objetivo de la que uno puede, o no, poder tomar muestras directamente. El cambio entre Bayesian y Frequentist es la interpretación de los datos, ya que los RV o los parámetros son RV (como lo indica @Tim). Entonces, me parece que los métodos de MC no son "bayesianos" ni "frecuentistas". Es más bien la filosofía que se aplica a su uso lo que crea una distinción. ¿Sería esta una evaluación correcta?

Jon

@Greenparker, así que en MC clásico, puedes tener la situación

E [h (x)] = \int h (x) f (x) d x \approx \frac{1}{n} \sum^{n} x_{i}

$E[h(x)] = \int h(x) f(x) dx \approx \frac{1}{n}\sum^n x_i$ dónde

x_{i} \sim f

$x_i \sim f$ y

f

$f$ Es una distribución instrumental. Si sigo tu lógica, el muestreo (directo) de

f

$f$ no es bayesiano ni frecuentista, pero el uso de la media empírica lo convertiría en un estimador frecuentista. ¿Es correcta esta interpretación de su lógica?

Jon

Respuestas:

Como se indica en los numerosos comentarios, Markov Chain Monte Carlo es un caso especial del método Monte Carlo, que está diseñado para aproximar cantidades relacionadas con una distribución mediante simulación de números pseudoaleatorios. Como tal, no tiene conexión con un paradigma estadístico particular y las primeras instancias del método, como en Metropolis et al. (1953), no estaban relacionados con las estadísticas, bayesianas o frecuentistas. En todo caso, estos métodos son naturalmente "frecuentes" (una categoría mal definida de todos modos) en el sentido de que dependen de la estabilización de las frecuencias o promedios hacia la expectativa a medida que aumenta el número de simulaciones, también conocida como la Ley de los grandes números.

Por lo tanto, dentro de problemas complejos no bayesianos es posible utilizar métodos MCMC para reemplazar integrales intratables. Comprobar por ejemplo

La optimización de probabilidades sin expresiones cerradas, como en los modelos de efecto latente variable y aleatorio. El algoritmo EM puede no funcionar debido a un paso "E" intratable, en cuyo caso la expectativa debe ser reemplazada por una aproximación Monte Carlo o Markov Chain Monte Carlo . Con una posible evaluación del error. O puede no funcionar debido a un paso "M" intratable, en cuyo caso la maximización a veces puede ser reemplazada por un procedimiento de maximización de Markovian como en el recocido simulado . O usando los pasos de Gibbs .
métodos de inferencia simulada en econometría, como el método simulado de momentos , inferencia indirecta , probabilidad empírica .
aproximaciones de probabilidades con constantes de normalización intratables como Ising, Potts y otros modelos de campos aleatorios de Markov, utilizando por ejemplo algoritmos de intercambio .
pruebas frecuentes de bondad de ajuste , que pueden requerir cálculos de probabilidades de cobertura, $p$ _valores , poderes, para estadísticas suficientes o insuficientes sin densidad de forma cerrada, o condicionadas a estadísticas auxiliares. Tome el ejemplo de las pruebas de independencia en tablas de contingencia (grandes) (o derivando el estimador de máxima verosimilitud ).
nuevamente en econometría, estimadores de tipo Laplace , "que incluyen medias y cuantiles de distribuciones cuasi-posteriores definidas como transformaciones de funciones generales de criterios estadísticos basados en no probabilidad, como las de GMM, IV no lineal, probabilidad empírica y métodos de distancia mínima" (Chernozhukov y Hong, 2003), confían en los algoritmos MCMC.

Xi'an
fuente