¿Cuándo son los métodos bayesianos preferibles a los frequentistas?

Tengo muchas ganas de aprender sobre las técnicas bayesianas, así que he estado tratando de enseñarme un poco. Sin embargo, estoy teniendo dificultades para ver cuando el uso de técnicas bayesianas confiere una ventaja sobre los métodos frequentistas. Por ejemplo: he visto en la literatura un poco acerca de cómo algunos usan previos informativos mientras que otros usan previos no informativos. Pero si está utilizando un previo no informativo (¿lo que parece realmente común?) Y descubre que la distribución posterior es, digamos, una distribución beta ... ¿no podría simplemente ajustar una distribución beta al principio y llamar ¿bueno? No veo cómo construir una distribución previa que no te dice nada ... ¿realmente puede decirte algo?

Resulta que algunos métodos que he estado usando en R usan una mezcla de métodos bayesianos y frecuentes (los autores reconocen que esto es algo inconsistente) y ni siquiera puedo discernir qué partes son bayesianas. Además del ajuste de distribución, ni siquiera puedo entender CÓMO usarías los métodos bayesianos. ¿Existe una "regresión bayesiana"? Como se veria eso? Todo lo que puedo imaginar es adivinar la distribución subyacente una y otra vez mientras el Frecuentista piensa en los datos, los mira, ve una distribución de Poisson y ejecuta un GLM. (Esto no es una crítica ... ¡Realmente no lo entiendo!)

Entonces ... ¿podrían ser útiles algunos ejemplos elementales? Y si conoces algunas referencias prácticas para principiantes reales como yo, ¡eso también sería realmente útil!

Aquí hay algunos enlaces que pueden interesarle al comparar métodos frecuentistas y bayesianos:

• http://www.stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
  • Archivado aquí: https://web.archive.org/web/20140308021414/https://stat.ufl.edu/archived/casella/Talks/BayesRefresher.pdf
• http://www.bayesian-inference.com/advantagesbayesian
• http://www.researchgate.net/post/Bayesian_vs_frequentist_statistics2

En pocas palabras, tal como lo he entendido, dado un conjunto específico de datos, el frecuentista cree que hay una distribución verdadera y subyacente a partir de la cual se generaron dichos datos. La imposibilidad de obtener los parámetros exactos es una función del tamaño de muestra finito. Los bayesianos, por otro lado, piensan que comenzamos con una suposición acerca de los parámetros (incluso sin saberlo) y usamos los datos para refinar nuestra opinión sobre esos parámetros. Ambos intentan desarrollar un modelo que pueda explicar las observaciones y hacer predicciones; La diferencia está en los supuestos (tanto reales como filosóficos). Como una declaración concisa, no rigurosa, se puede decir que el frecuentista cree que los parámetros son fijos y los datos son aleatorios; el Bayesiano cree que los datos son fijos y los parámetros son aleatorios. ¿Cuál es mejor o preferible? Para responder que tienes que cavar y darte cuenta¿Qué suposiciones conlleva cada una (por ejemplo, los parámetros son asintóticamente normales?).

Uno de los muchos aspectos interesantes de los contrastes entre los dos enfoques es que es muy difícil tener una interpretación formal de muchas cantidades que obtenemos en el dominio frecuentista. Un ejemplo es la importancia cada vez mayor de los métodos de penalización (contracción). Cuando se obtienen estimaciones de máxima verosimilitud penalizadas, las estimaciones puntuales sesgadas y los "intervalos de confianza" son muy difíciles de interpretar. Por otro lado, la distribución posterior bayesiana para parámetros que son penalizados hacia cero usando una distribución previa concentrada alrededor de cero tiene interpretaciones completamente estándar.

Estoy robando esto al por mayor del grupo de usuarios de Stan. Michael Betancourt proporcionó esta muy buena discusión sobre la identificabilidad en la inferencia bayesiana, lo que creo que se relaciona con su solicitud de un contraste de las dos escuelas de estadística.

La primera diferencia con un análisis bayesiano será la presencia de antecedentes que, incluso cuando son débiles, limitarán la masa posterior de esos 4 parámetros en un vecindario finito (de lo contrario, no habría tenido un previo válido en primer lugar). A pesar de esto, aún puede no identificarse en el sentido de que el posterior no convergerá a una masa puntual en el límite de datos infinitos. Sin embargo, en un sentido muy real, eso no importa porque (a) el límite de datos infinito no es real de todos modos y (b) la inferencia bayesiana no informa estimaciones puntuales sino distribuciones. En la práctica, tal no identificabilidad dará como resultado grandes correlaciones entre los parámetros (tal vez incluso la no convexidad), pero un análisis bayesiano adecuado identificará esas correlaciones. Incluso si informa marginales de un solo parámetro, usted

$\mu_1$$\mu_2$$\mathcal{N}(x | \mu_1 + \mu_2, \sigma)$$\mu_1 + \mu_2 = 0$$\mu_1$$\mu_2$

$\mu_1$$\mu_2$$\mu_1$$\mu_2$

La diferencia clave entre los enfoques bayesiano y frecuentista radica en la definición de una probabilidad, por lo que si es necesario tratar las probabilidades estrictamente como una frecuencia a largo plazo, entonces los enfoques frecuentistas son razonables, si no es así, debe usar un enfoque bayesiano. Si cualquiera de las interpretaciones es aceptable, es probable que los enfoques bayesianos y frecuentistas sean razonables.

Otra forma de decirlo es que si quieres saber qué inferencias puedes sacar de un experimento en particular, probablemente quieras ser bayesiano; Si desea sacar conclusiones sobre alguna población de experimentos (por ejemplo, control de calidad), entonces los métodos frecuentas son muy adecuados.

Esencialmente, lo importante es saber qué pregunta desea responder y elegir la forma de análisis que responda la pregunta más directamente.