¿Cuáles son algunas objeciones prácticas al uso de métodos estadísticos bayesianos en cualquier contexto? No, no me refiero a la preocupación habitual sobre la elección de antes. Estaré encantado si esto no obtiene respuestas.
La pregunta está bien enmarcada, pero los comentarios están llegando a la línea de argumentación y amenazan con extenderse al lado equivocado de esa línea. Tenga cuidado ... este no es el lugar para tal debate. Crea una sala de chat si quieres hacer eso.
Whuber
Respuestas:
40
Te voy a dar una respuesta. Cuatro inconvenientes en realidad. Tenga en cuenta que ninguno de estos son en realidad objeciones que deberían conducirlo a un análisis frecuentista, pero hay inconvenientes para ir con un marco bayesiano:
Elección de prior. Este es el problema habitual por una razón, aunque en mi caso no es lo habitual "¡los antecedentes son subjetivos!" pero encontrar un prior que esté bien razonado y que realmente represente su mejor intento de resumir un prior es una gran cantidad de trabajo en muchos casos. Todo un objetivo de mi disertación, por ejemplo, puede resumirse como "estimaciones previas".
Es computacionalmente intensivo. Especialmente para modelos que involucran muchas variables. Para un gran conjunto de datos con muchas variables que se estiman, es muy posible que sea prohibitivamente computacionalmente intensivo, especialmente en ciertas circunstancias donde los datos no pueden arrojarse fácilmente a un clúster o similar. Algunas de las formas de resolver esto, como los datos aumentados en lugar de MCMC, son algo teóricamente desafiantes, al menos para mí.
Las distribuciones posteriores son algo más difíciles de incorporar en un metanálisis, a menos que se haya proporcionado una descripción paramétrica frecuente de la distribución.
Dependiendo de a qué revista está destinado el análisis, ya sea el uso de Bayes en general, o su elección de publicaciones previas, le da a su trabajo un poco más de puntos donde un crítico puede profundizar en él. Algunas de estas son objeciones razonables de los revisores, pero algunas simplemente se derivan de la naturaleza de Bayes y de cuán familiarizadas están en ella las personas en algunos campos.
Ninguna de estas cosas debería detenerte. De hecho, ninguna de estas cosas me ha detenido, y espero que hacer un análisis bayesiano ayude a abordar al menos el número 4.
# 1, esto, idealmente, debería ser el análisis de primera etapa. En artes una crítica iluminada. En ciencias una revisión cuantitativa iluminada. Los bayesianos no deberían disculparse por eso. Si las frecuencias se acercan a los datos como si fueran Adán y Eva, está bien. El primer capítulo de mi doctorado es un metaanálisis (aunque frecuente) .Whoopdeedoo. Esa es la manera que debe ser. # 2 La ley de Moore, he encontrado que una breve discusión basada en XKCD con el grupo local de informática de alto rendimiento puede ayudar mucho. # 3 Meta Analysis apesta en ambos sentidos. Yo estaría a favor del megaanálisis continuo obligatorio, en otras palabras: proporcione sus datos cuando publique.
rosser
77
@rosser Algunas reflexiones. # 1 De hecho, debería haber una revisión iluminada, y sí, ese debería ser el primer paso. Pero un análisis bayesiano adecuado que controle la confusión de manera adecuada necesita una revisión completa y cuantitativa de cada variable que se incluirá en el modelo. Esa no es una tarea pequeña. # 2 Dependiendo de la ley de Moore es una mala idea. Primero, se han logrado avances recientes principalmente en sistemas multi-core / GPU. Eso necesita software escrito para ello, y problemas que se obtienen del procesamiento paralelo. Un solo modelo GLM hecho con MCMC podría no ser eso. Cont ...
Fomite
66
@rosser y puede haber momentos con HPC no es necesariamente la respuesta. Por ejemplo, trabajo en áreas donde los acuerdos de uso de datos y similares a menudo evitan que los datos se almacenen en cosas además de sistemas extremadamente seguros. El grupo local ... no es eso. Y al final, la Ley de Moore es tan buena como su presupuesto de hardware es grande. En cuanto al n. ° 3 y el metanálisis, tiendo a estar en desacuerdo, pero más allá de eso, sigue siendo un problema hasta el punto en que un sistema de datos completamente abierto se convierte en la norma.
Fomite
OK, exageré el # 3. ¿Pero cuánta diferencia hace su resultado en CADA PREDICTOR al resultado? srsly? ¿Un análisis de sensibilidad muestra enormes diferencias?
rosser
1
@Rosser Probablemente depende de la naturaleza de su predictor y de su relación con la exposición y el resultado. Pero para hacer un análisis de sensibilidad, alguien debe tener un previo para todas esas variables. Quizás lo agregue como parte de mi disertación. También encuentro que cooptar la fuerza de Bayes, pero suponer antecedentes poco informativos sobre variables en las que "no me molestan en averiguarlo" es algo problemático.
Fomite
16
Soy un bayesiano por inclinación, pero en general un frecuenta en la práctica. La razón de esto suele ser que realizar el análisis bayesiano completo correctamente (en lugar de, por ejemplo, las soluciones MAP) para los tipos de problemas que me interesan es complicado y computacionalmente intensivo. A menudo se requiere un análisis bayesiano completo para ver realmente el beneficio de este enfoque sobre los equivalentes frecuentistas.
Para mí, la compensación es básicamente una elección entre métodos bayesianos que son conceptualmente elegantes y fáciles de entender, pero difíciles de implementar en la práctica y métodos frecuentistas, que son conceptualmente incómodos y sutiles (intente explicar cómo interpretar una prueba de hipótesis con precisión o por qué no hay una probabilidad del 95% de que el valor verdadero se encuentre en un intervalo de confianza del 95%), pero que son muy adecuados para soluciones de "libro de cocina" fácilmente implementadas.
Desde un punto de vista puramente práctico, no soy fanático de los métodos que requieren muchos cálculos (estoy pensando en Gibbs sampler y MCMC, a menudo utilizados en el marco bayesiano, pero esto también se aplica, por ejemplo, a las técnicas de bootstrap en análisis frecuentista). La razón es que cualquier tipo de depuración (probar la implementación, observar la robustez con respecto a los supuestos, etc. ) en sí misma requiere un montón de simulaciones de Monte Carlo, y rápidamente se encuentra en una confusión computacional. Prefiero que las técnicas de análisis subyacentes sean rápidas y deterministas, incluso si son solo aproximadas.
Esta es una objeción puramente práctica, por supuesto: dados recursos informáticos infinitos, esta objeción desaparecería. Y solo se aplica a un subconjunto de métodos bayesianos. Además, esto es más una preferencia dado mi flujo de trabajo.
Hasta ahora estoy escuchando 1. Ley de Moore, 2. Trabajo duro +/- paciencia y 3. Ignorancia. Tengo que decir que ninguno de estos son convincentes. Bayes parece un paradigma tan abrumador. Por ejemplo ... ¿por qué los estudios de GWAS no analizaron a-la Bayes? ¿Podrían haber evitado tirar el 99.999% de los datos?
rosser
1
Por el contrario: MCMC podría enseñarle a uno a escribir código más rápido y aprender del dolor de esperar a que se completen las simulaciones. Esta ha sido mi experiencia con el modelado: si tarda mucho tiempo en ejecutarse, podría beneficiarme aprender a hacer el código más rápido.
Iterator
9
A veces hay una solución "clásica" simple y natural a un problema, en cuyo caso un método Bayesiano elegante (especialmente con MCMC) sería excesivo.
Además, en problemas de tipo de selección variable, puede ser más sencillo y claro considerar algo como una probabilidad penalizada; Puede existir un previo en los modelos que brinde un enfoque bayesiano equivalente, pero la forma en que el anterior corresponde al desempeño final puede ser menos clara que la relación entre la penalización y el desempeño.
Finalmente, los métodos MCMC a menudo requieren un experto tanto para evaluar la convergencia / mezcla como para dar sentido a los resultados.
Soy relativamente nuevo en los métodos bayesianos, pero una cosa que me molesta es que, si bien entiendo la lógica de los antecedentes (es decir, la ciencia es un esfuerzo acumulativo, por lo que para la mayoría de las preguntas hay cierta experiencia / pensamiento previo que debería informar a su interpretación de los datos), no me gusta que el enfoque bayesiano lo obligue a empujar la subjetividad al comienzo del análisis, haciendo que el resultado final sea contingente. Creo que esto es problemático por dos razones: 1) algunos lectores menos versados ni siquiera prestarán atención a los anteriores e interpretarán los resultados bayesianos como no contingentes; 2) a menos que los datos en bruto estén disponibles, es difícil para los lectores replantear los resultados en sus propios antecedentes subjetivos. Es por eso que prefiero las razones de probabilidad,
(Los críticos astutos notarán que incluso la razón de probabilidad es "contingente" en el sentido de que depende de la parametrización de los modelos que se comparan; sin embargo, esta es una característica compartida por todos los métodos, Frequentist, Bayesian y Likelihoodist)
El problema inverso con los estáticos frecuentistas es que la subjetividad está ahí, pero no se menciona en absoluto. El problema (práctico) con las razones de probabilidad es que se basan en la optimización de la probabilidad y, por lo tanto, ignoran el hecho de que puede haber otras soluciones con una probabilidad solo un poco menor. Ahí es donde el factor Bayes es útil. Pero siempre es "caballos para cursos".
Dikran Marsupial
6
La teoría de la decisión es la teoría subyacente sobre la cual opera la estadística. El problema es encontrar un buen procedimiento (en cierto sentido) para producir decisiones a partir de datos. Sin embargo, rara vez hay una elección inequívoca de procedimiento, en el sentido de minimizar la pérdida esperada, por lo que se deben invocar otros criterios para elegir entre ellos. Elegir los procedimientos que es Bayes con respecto a algunos anteriores es uno de estos criterios, pero puede que no siempre sea lo que desea. Minimax podría ser más importante en algunos casos, o imparcialidad.
Cualquiera que insista en que los frecuentas están equivocados o que los bayesianos están equivocados está revelando su ignorancia de las estadísticas.
Durante algún tiempo, he querido educarme más sobre los enfoques bayesianos para modelar para superar mi comprensión superficial (he codificado muestras de Gibbs en el trabajo de posgrado, pero nunca he hecho nada real). En el camino, aunque he pensado que algunos de los documentos de Brian Dennis han sido provocadores y he deseado poder encontrar un amigo bayesiano (los que no estaban en el armario) para leer los periódicos y escuchar sus contrapuntos. Entonces, aquí están los documentos a los que me refiero, pero la cita que siempre recuerdo es
Ser bayesiano significa nunca tener que decir que estás equivocado.
El primer artículo (no he leído el segundo) parece más sobre cómo se practica bayes frente a la teoría. En la práctica, los modelos no se verifican tan rigurosamente como deberían, pero en teoría las estadísticas bayesianas tienen facilidades de verificación de modelos superiores, llamadas la "evidencia" por Jaynes, que está incorporada en el denominador P (modelo D |) de la regla de Bayes. Con él puedes comparar la idoneidad de un modelo, algo que solo puedes hacer empíricamente en estadísticas frecuentas. El problema, por supuesto, es que la evidencia es difícil de calcular, por lo que la mayoría de las personas la ignoran y piensan que el posterior es el factor más importante (continuación)
cespinoza
2
pt. 2 Intente buscar en Google "muestreo anidado de habilidades" y encontrará un documento sobre un método MCMC para calcular la evidencia. (También existen otros métodos de verificación de modelos no basados en evidencia: Gelman verifica sus modelos tomando muestras del predictivo posterior y comparándolo (visualmente o no) con los datos reales). Algunas personas incluso sugieren que los modelos deberían promediarse al ver El espacio de los modelos en sí mismos para marginar. Otra cosa que podemos ver en el horizonte es bayes no paramétricos, que resuelve el problema al permitir una gama mucho más amplia de modelos que los modelos paramétricos tradicionales.
cespinoza
55
Además, le sugiero que vea videolectures.net/mlss09uk_jordan_bfway por Michael I. Jordan, un profesor de berkeley que tiene un punto de vista bastante equilibrado sobre el supuesto Bayes vs Freq. "guerra". Realmente no puedo comentar sobre la segunda mitad del primer trabajo b / c. No conozco ninguna de las referencias ecológicas. Leeré el segundo más tarde.
cespinoza
1
@cespinoza: Estaba pensando en esto de camino al trabajo. El documento dice que un Bayesiano nunca miraría los residuos (es decir, comparar el resultado del modelo con los datos reales), y tal vez un Bayesiano estridente podría evitar esto por principio, pero los profesionales como Gelman ciertamente comparan el resultado del modelo (predictivo posterior) con los datos reales. No sé lo suficiente para ir más allá, pero mi impresión de los documentos es que crearon "en principio" hombres de paja para atacar.
Wayne
1
Solo agregue que un Bayesiano que no verifica los residuos es un mal estadístico. Por lo general, se usa un método bayesiano con un modelo "aproximado y listo" y anterior. Verificar los residuos es una forma de ver si tiene suficiente conocimiento sobre lo anterior y el modelo. Se va de la mano con la comprobación de lo teórico presenta su modelo y antes de tener
Respuestas:
Te voy a dar una respuesta. Cuatro inconvenientes en realidad. Tenga en cuenta que ninguno de estos son en realidad objeciones que deberían conducirlo a un análisis frecuentista, pero hay inconvenientes para ir con un marco bayesiano:
Ninguna de estas cosas debería detenerte. De hecho, ninguna de estas cosas me ha detenido, y espero que hacer un análisis bayesiano ayude a abordar al menos el número 4.
fuente
Soy un bayesiano por inclinación, pero en general un frecuenta en la práctica. La razón de esto suele ser que realizar el análisis bayesiano completo correctamente (en lugar de, por ejemplo, las soluciones MAP) para los tipos de problemas que me interesan es complicado y computacionalmente intensivo. A menudo se requiere un análisis bayesiano completo para ver realmente el beneficio de este enfoque sobre los equivalentes frecuentistas.
Para mí, la compensación es básicamente una elección entre métodos bayesianos que son conceptualmente elegantes y fáciles de entender, pero difíciles de implementar en la práctica y métodos frecuentistas, que son conceptualmente incómodos y sutiles (intente explicar cómo interpretar una prueba de hipótesis con precisión o por qué no hay una probabilidad del 95% de que el valor verdadero se encuentre en un intervalo de confianza del 95%), pero que son muy adecuados para soluciones de "libro de cocina" fácilmente implementadas.
Caballos de carreras.
fuente
Desde un punto de vista puramente práctico, no soy fanático de los métodos que requieren muchos cálculos (estoy pensando en Gibbs sampler y MCMC, a menudo utilizados en el marco bayesiano, pero esto también se aplica, por ejemplo, a las técnicas de bootstrap en análisis frecuentista). La razón es que cualquier tipo de depuración (probar la implementación, observar la robustez con respecto a los supuestos, etc. ) en sí misma requiere un montón de simulaciones de Monte Carlo, y rápidamente se encuentra en una confusión computacional. Prefiero que las técnicas de análisis subyacentes sean rápidas y deterministas, incluso si son solo aproximadas.
Esta es una objeción puramente práctica, por supuesto: dados recursos informáticos infinitos, esta objeción desaparecería. Y solo se aplica a un subconjunto de métodos bayesianos. Además, esto es más una preferencia dado mi flujo de trabajo.
fuente
A veces hay una solución "clásica" simple y natural a un problema, en cuyo caso un método Bayesiano elegante (especialmente con MCMC) sería excesivo.
Además, en problemas de tipo de selección variable, puede ser más sencillo y claro considerar algo como una probabilidad penalizada; Puede existir un previo en los modelos que brinde un enfoque bayesiano equivalente, pero la forma en que el anterior corresponde al desempeño final puede ser menos clara que la relación entre la penalización y el desempeño.
Finalmente, los métodos MCMC a menudo requieren un experto tanto para evaluar la convergencia / mezcla como para dar sentido a los resultados.
fuente
Soy relativamente nuevo en los métodos bayesianos, pero una cosa que me molesta es que, si bien entiendo la lógica de los antecedentes (es decir, la ciencia es un esfuerzo acumulativo, por lo que para la mayoría de las preguntas hay cierta experiencia / pensamiento previo que debería informar a su interpretación de los datos), no me gusta que el enfoque bayesiano lo obligue a empujar la subjetividad al comienzo del análisis, haciendo que el resultado final sea contingente. Creo que esto es problemático por dos razones: 1) algunos lectores menos versados ni siquiera prestarán atención a los anteriores e interpretarán los resultados bayesianos como no contingentes; 2) a menos que los datos en bruto estén disponibles, es difícil para los lectores replantear los resultados en sus propios antecedentes subjetivos. Es por eso que prefiero las razones de probabilidad,
(Los críticos astutos notarán que incluso la razón de probabilidad es "contingente" en el sentido de que depende de la parametrización de los modelos que se comparan; sin embargo, esta es una característica compartida por todos los métodos, Frequentist, Bayesian y Likelihoodist)
fuente
La teoría de la decisión es la teoría subyacente sobre la cual opera la estadística. El problema es encontrar un buen procedimiento (en cierto sentido) para producir decisiones a partir de datos. Sin embargo, rara vez hay una elección inequívoca de procedimiento, en el sentido de minimizar la pérdida esperada, por lo que se deben invocar otros criterios para elegir entre ellos. Elegir los procedimientos que es Bayes con respecto a algunos anteriores es uno de estos criterios, pero puede que no siempre sea lo que desea. Minimax podría ser más importante en algunos casos, o imparcialidad.
Cualquiera que insista en que los frecuentas están equivocados o que los bayesianos están equivocados está revelando su ignorancia de las estadísticas.
fuente
Durante algún tiempo, he querido educarme más sobre los enfoques bayesianos para modelar para superar mi comprensión superficial (he codificado muestras de Gibbs en el trabajo de posgrado, pero nunca he hecho nada real). En el camino, aunque he pensado que algunos de los documentos de Brian Dennis han sido provocadores y he deseado poder encontrar un amigo bayesiano (los que no estaban en el armario) para leer los periódicos y escuchar sus contrapuntos. Entonces, aquí están los documentos a los que me refiero, pero la cita que siempre recuerdo es
http://faculty.washington.edu/skalski/classes/QERM597/papers/Dennis_1996.pdf http://classes.warnercnr.colostate.edu/nr575/files/2011/01/Lele-and-Dennis-2009.pdf
fuente
¿Cuáles son los problemas abiertos en las estadísticas bayesianas del boletín trimestral de la ISBA? 5 problemas con las estadísticas bayesianas de varios líderes en el campo, siendo el # 1, bastante aburrido, "Selección de modelo y prueba de hipótesis".
fuente