¿Por qué no se le permite a un bayesiano mirar los residuos?

46

En el artículo "Discusión: ¿Deberían los ecologistas convertirse en bayesianos?" Brian Dennis ofrece una visión sorprendentemente equilibrada y positiva de las estadísticas bayesianas cuando su objetivo parece ser advertir a la gente al respecto. Sin embargo, en un párrafo, sin ninguna cita o justificación, dice:

Ya ves, a los bayesianos no se les permite mirar sus residuos. Viola el principio de probabilidad de juzgar un resultado por cuán extremo es bajo un modelo. Para un bayesiano, no hay malos modelos, solo malas creencias.

¿Por qué no se le permitiría a un bayesiano mirar los residuos? ¿Cuál sería la cita apropiada para esto (es decir, a quién está citando)?

Dennis, B.
Discusión: ¿Deberían los ecologistas convertirse en bayesianos?
Aplicaciones ecológicas, Ecological Society of America , 1996 , 6, 1095-1103

Mankka
fuente
66
Si ese argumento funcionaba, los frecuentistas tampoco podrían usar el principio de probabilidad, por la misma razón.
Glen_b
@Glen: análisis Frequentist hace violar el principio de verosimilitud.
Scortchi - Restablece a Monica
3
@Glen: Un frecuentista verdaderamente comprometido con el LP (la versión débil, equivalente al Principio de Suficiencia - la versión fuerte es simplemente incompatible con el enfoque frecuentista) tendría que evitar la verificación del modelo. Los que simplemente lo admiran se alegran cuando pueden usarlo para el trabajo de estimar los parámetros de un modelo específico y todavía tienen elementos auxiliares más o menos independientes, los residuos, que quedan para que el modelo verifique cualquier antiguo método.
Scortchi - Restablece a Monica
1
Incluso cuando el frecuentador hace la estimación de ML todavía viola el LP porque considera que la distribución de muestreo del MLE encuentra un intervalo de confianza para su estimación.
Zen
2
@Zen: no viola el LP débil siempre que el intervalo de confianza dependa de los datos solo a través de la función de probabilidad. Pero tarde o temprano puede violar el LP fuerte al hacer un intervalo de confianza diferente basado en la misma función de probabilidad de un experimento diferente con un espacio de muestreo diferente.
Scortchi - Restablece a Monica

Respuestas:

19

¡Por supuesto que los bayesianos pueden mirar los residuos! Y, por supuesto, hay malos modelos en el análisis bayesiano. Tal vez algunos bayesianos en los años 70 admitieron puntos de vista como ese (y lo dudo), pero difícilmente encontrarán ningún bayesiano que respalde este punto de vista en estos días.

No leí el texto, pero los bayesianos usan factores como los de Bayes para comparar modelos. En realidad, un Bayesiano puede incluso calcular la probabilidad de que un modelo sea verdadero y elegir el modelo que es más probable que sea verdadero. O un Bayesiano puede promediar entre modelos, para lograr un mejor modelo. O puede usar controles predictivos posteriores. Hay muchas opciones para verificar un modelo y cada una puede favorecer un enfoque u otro, pero decir que no hay malos modelos en el análisis bayesiano no tiene sentido.

Entonces, a lo sumo, sería más apropiado decir que en algunas versiones extremas del bayesianismo (versiones extremas que casi nadie usa en configuraciones aplicadas, por cierto) no se le permite verificar su modelo. Pero de lo que podría decirse que en algunas versiones extremas del frecuentismo tampoco se le permite usar datos de observación. Pero, ¿por qué perder el tiempo discutiendo estas tonterías, cuando podemos discutir si, y en un entorno aplicado, deberíamos utilizar métodos bayesianos o frecuentistas o lo que sea? Eso es lo importante, en mi humilde opinión.

Actualización: El OP solicitó una referencia de alguien que defiende la versión extrema de Bayes. Como nunca leí ninguna versión extrema de Bayes, no puedo proporcionar esta referencia. Pero supongo que Savage puede ser una referencia. Nunca leo nada escrito por él, así que puedo estar equivocado.

ps .: Piense en el problema del "Bayesiano bien calibrado" ( Dawid (1982), JASA , 77 , 379 ). Un pronosticador bayesiano subjetivista coherente no puede ser descalibrado, por lo que no revisaría su modelo / pronósticos a pesar de cualquier evidencia abrumadora de que no está calibrado. Pero no creo que nadie en la práctica pueda afirmar que es tan coherente. Por lo tanto, la revisión del modelo es importante.

ps2 .: También me gusta este artículo de Efron . La referencia completa es: Efron, Bradley (2005). "Bayesianos, frecuentistas y científicos". Revista de la Asociación Americana de Estadística 100 (469).

Manoel Galdino
fuente
55
También asumí que la prohibición nunca se tomó en serio en la práctica, así que me sorprendió leer esto de Gelman: "Ciertamente no quiero volver al status quo de alrededor de 1990 en las estadísticas bayesianas, en el que se consideraba prácticamente ilegal verificar el ajuste de su modelo a los datos ".
Scortchi - Restablece a Monica
1
No sé cómo fue la estadística bayesiana en los noventa. Pero es difícil creer que en entornos aplicados los bayesianos no verificaron sus modelos. ¡Tal vez lo revisaron, pero no lo dijeron!
Manoel Galdino
2
Probablemente tengas razón: ilegal inusual. Quizás era más común en aquel entonces, al menos entre los académicos, defender los métodos bayesianos en principio en lugar de señalar éxitos evidentes en la aplicación, y por lo tanto cualquier no conformidad con los principios (reales o supuestos) quedaría oculta.
Scortchi - Restablece a Monica
Definitivamente estoy de acuerdo en que este no es un problema importante, solo tenía curiosidad por saber si alguien había publicado sobre esto. ¿Alguna vez has leído a alguien que defienda estas "versiones extremas del bayesianismo"?
Mankka
35

Pueden mirar pero no tocar. Después de todo, los residuos son la parte de los datos que no contienen ninguna información sobre los parámetros del modelo, y sus anteriores expresan toda la incertidumbre sobre ellos: no pueden cambiar su previo en función de lo que ven en los datos.

Por ejemplo, suponga que está ajustando un modelo gaussiano, pero observe demasiada curtosis en los residuos. Tal vez su hipótesis anterior debería haber sido una distribución t con probabilidad distinta de cero sobre bajos grados de libertad, pero no fue así; fue efectivamente una distribución t con probabilidad cero en todas partes, excepto en infinitos grados de libertad. Nada en la probabilidad puede dar lugar a probabilidades distintas de cero en regiones de la densidad posterior donde la densidad anterior es cero. Por lo tanto, la noción de actualizar continuamente los previos en función de las probabilidades de los datos no funciona cuando el prior original está mal especificado.

Por supuesto, si Google "comprueba el modelo bayesiano", verá que esto es una parodia de la práctica bayesiana real; aun así, representa una dificultad para los argumentos de tipo lógica de la ciencia sobre la superioridad del bayesianismo por razones filosóficas. El blog de Andrew Gelman es interesante sobre este tema.

Scortchi - Restablece a Monica
fuente
¿Tiene alguna referencia sobre esta "dificultad para la lógica de la ciencia"?
Mankka
77
Me refería a Jaynes, Probability Theory: The Logic of Science , en el que se afirma que el uso repetido del teorema de Bayes para actualizar las distribuciones de probabilidad a medida que ingresan nuevos datos es un paradigma para el crecimiento del conocimiento científico. Estoy seguro de que se ocupa del problema de un prior que es demasiado limitado, pero no recuerdo cómo ni qué tan satisfactoriamente. Y voy a cambiar "superioridad general" a "superioridad sobre bases filosóficas", ya que eso parece transmitir mejor lo que quise decir.
Scortchi - Restablece a Monica
Este ejemplo de uso previo bayesiano se aplicó para reducir la ocurrencia ocasional (2%) de resultados no físicos . Esta falta de fisicalidad se ha atribuido a una mezcla instantánea no física (de drogas en el cuerpo) y se corrigió suponiendo una mezcla inicial cero utilizando un modelo mejor. Parece mejor adaptar el modelo al problema que eludir las respuestas para cumplir con las ideas preconcebidas. (+1)
Carl