¿Es la estadística bayesiana realmente una mejora sobre las estadísticas tradicionales (frecuentas) para la investigación conductual?

Mientras asistía a conferencias, los defensores de las estadísticas bayesianas presionaron un poco para evaluar los resultados de los experimentos. Se jacta de ser más sensible, apropiado y selectivo hacia hallazgos genuinos (menos falsos positivos) que las estadísticas frecuentistas.

He explorado un poco el tema, y ​​hasta ahora no me convencen los beneficios de utilizar las estadísticas bayesianas. Sin embargo, los análisis bayesianos se utilizaron para refutar la investigación de Daryl Bem que apoya la precognición, por lo que sigo cautelosamente curioso acerca de cómo los análisis bayesianos podrían beneficiar incluso mi propia investigación.

Así que tengo curiosidad por lo siguiente:

• Poder en un análisis bayesiano versus un análisis frecuentista
• Susceptibilidad al error tipo 1 en cada tipo de análisis
• La compensación en la complejidad del análisis (Bayesiano parece más complicado) frente a los beneficios obtenidos. Los análisis estadísticos tradicionales son sencillos, con pautas bien establecidas para sacar conclusiones. La simplicidad podría verse como un beneficio. ¿Vale la pena renunciar?

Gracias por cualquier idea!

Una respuesta rápida al contenido con viñetas:

1) Error de potencia / tipo 1 en un análisis bayesiano frente a un análisis frecuentista

Preguntar sobre el Tipo 1 y la potencia (es decir, uno menos la probabilidad de error del Tipo 2) implica que puede colocar su problema de inferencia en un marco de muestreo repetido. ¿Puedes? Si no puede, no hay más remedio que alejarse de las herramientas de inferencia frecuentas. Si puede, y si el comportamiento de su estimador en muchas de esas muestras es relevante, y si no está particularmente interesado en hacer declaraciones de probabilidad sobre eventos particulares, entonces no hay una razón sólida para moverse.

El argumento aquí no es que tales situaciones nunca surgen, ciertamente lo hacen, sino que generalmente no surgen en los campos donde se aplican los métodos.

2) La compensación en la complejidad del análisis (Bayesiano parece más complicado) frente a los beneficios obtenidos.

Es importante preguntar a dónde va la complejidad. En los procedimientos frecuentistas, la implementación puede ser muy simple, por ejemplo, minimizar la suma de los cuadrados, pero los principios pueden ser arbitrariamente complejos, generalmente girando en torno a qué estimador (es) elegir, cómo encontrar la (s) prueba (s) correcta (s), qué pensar cuando No están de acuerdo. Para un ejemplo. ¡Vea la discusión aún animada, recogida en este foro, de diferentes intervalos de confianza para una proporción!

En los procedimientos bayesianos, la implementación puede ser arbitrariamente compleja incluso en modelos que parecen 'deberían' ser simples, generalmente debido a integrales difíciles, pero los principios son extremadamente simples. Más bien depende de dónde le gustaría que esté el desorden.

3) Los análisis estadísticos tradicionales son sencillos, con pautas bien establecidas para sacar conclusiones.

Personalmente, ya no puedo recordarlo, pero ciertamente mis alumnos nunca lo encontraron sencillo, principalmente debido a la proliferación principal descrita anteriormente. Pero la pregunta no es realmente si un procedimiento es sencillo, sino si está más cerca de ser correcto dada la estructura del problema.

Finalmente, estoy totalmente en desacuerdo con que existen "pautas bien establecidas para sacar conclusiones" en ambos paradigmas. Y creo que eso es algo bueno . Claro, "encontrar p <.05" es una guía clara, pero ¿para qué modelo, con qué correcciones, etc.? ¿Y qué hago cuando mis pruebas no están de acuerdo? El juicio científico o de ingeniería es necesario aquí, como lo es en otros lugares.

Las estadísticas bayesianas pueden derivarse de algunos principios lógicos. Intente buscar "probabilidad como lógica extendida" y encontrará un análisis más profundo de los fundamentos. Pero básicamente, las estadísticas bayesianas se basan en tres "desiderata" básicos o principios normativos:

1. La plausibilidad de una proposición debe ser representada por un solo número real
2. $p(A|C^{(0)})$$C^{(0)}\rightarrow C^{(1)}$$p(A|C^{(1)})>p(A|C^{(0)})$$p(B|A C^{(0)})=p(B|AC^{(1)})$$p(AB| C^{(0)})\leq p(AB|C^{(1)})$$p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
3. La posibilidad de una propuesta debe calcularse de manera consistente . Esto significa a) si una plausibilidad se puede razonar de más de 1 manera, todas las respuestas deben ser iguales; b) En dos problemas en los que se nos presenta la misma información, debemos asignar las mismas posibilidades; yc) debemos tener en cuenta toda la información disponible. No debemos agregar información que no está allí, y no debemos ignorar la información que tenemos.

Estos tres desiderata (junto con las reglas de la lógica y la teoría de conjuntos) determinan de manera única las reglas de suma y producto de la teoría de la probabilidad. Por lo tanto, si desea razonar de acuerdo con los tres desideratas anteriores, deben adoptar un enfoque bayesiano. No tiene que adoptar la "Filosofía Bayesiana" pero debe adoptar los resultados numéricos. Los primeros tres capítulos de este libro describen estos con más detalle y proporcionan la prueba.

Y por último, pero no menos importante, la "maquinaria bayesiana" es la herramienta de procesamiento de datos más poderosa que tiene. Esto se debe principalmente a que la desiderata 3c) utiliza toda la información que tiene (esto también explica por qué Bayes puede ser más complicado que los no Bayes). Puede ser bastante difícil decidir "qué es relevante" utilizando su intuición. El teorema de Bayes hace esto por usted (y lo hace sin agregar suposiciones arbitrarias, también debido a 3c).

$H_0$$H_1$$L_1$$H_0$$L_2$$H_0$

1. $P(H_0|E_1,E_2,\dots)$$E_i$
2. $P(H_1|E_1,E_2,\dots)$
3. $O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
4. $H_0$$O > \frac{L_2}{L_1}$

$H_0$$O>>1$$H_1$$O<<1$$O\approx 1$

Ahora, si el cálculo se vuelve "demasiado difícil", debe aproximar los números o ignorar alguna información.

Para ver un ejemplo real con números resueltos, vea mi respuesta a esta pregunta

Yo mismo no estoy familiarizado con las estadísticas bayesianas, pero sí sé que el episodio 294 de la Guía del escéptico del universo tiene una entrevista con Eric-Jan Wagenmakers donde discuten las estadísticas bayesianas. Aquí hay un enlace al podcast: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294