¿Puedes reproducir este resultado de la prueba de chi-cuadrado?

En Skeptics.StackExchange , una respuesta cita un estudio sobre hipersensibilidad electromagnética:

• McCarty, Carrubba, Chesson, Frilot, Gonzalez-Toledo & Marino, Hipersensibilidad electromagnética: evidencia de un nuevo síndrome neurológico International Journal of Neuroscience, 00, 1-7, 2011, DOI: 10.3109 / 00207454.2011.608139.

Tengo dudas sobre algunas de las estadísticas utilizadas, y agradecería cierta experiencia en la verificación doble de que se utilizan adecuadamente.

La Figura 5a muestra los resultados de un sujeto que intenta detectar cuándo se encendió un generador de campo electromagnético.

Aquí hay una versión simplificada:

 Actual:   Yes  No
Detected:
  Yes       32  19
  No       261 274

Afirman haber utilizado una prueba de ji cuadrado y encontraron significancia (p <0.05, sin indicar qué es p).

Las frecuencias de las respuestas somáticas y conductuales en presencia y ausencia del campo se evaluaron mediante la prueba de chi-cuadrado (tablas 2 × 2) o la extensión Freeman – Halton de la prueba de probabilidad exacta de Fisher (tablas 2 × 3; Freeman & Halton, 1951).

Veo varios problemas

• Excluyeron algunos de los datos, ver Tabla 5b, donde dejaron el dispositivo apagado durante largos períodos. No puedo ver la justificación para separar esos datos.

• Parecen estar afirmando que el resultado es estadísticamente significativo cuando el dispositivo real estaba encendido, pero no cuando no lo estaba. (Puedo estar leyendo mal esto; no está claro.) Ese no es un resultado que la prueba de ji cuadrado puede dar, ¿verdad?

• Cuando intenté reproducir esta prueba con una calculadora en línea, me pareció estadísticamente insignificante.

Esta es mi verdadera pregunta: ¿estoy en lo cierto al decir esto ?: Una prueba de chi-cuadrado de dos colas utilizando la prueba exacta de Fisher es la forma correcta de analizar estos datos y NO es estadísticamente significativa.

Me parece que hay tres cosas mal con la conclusión.

Primero, como dijo @caracal: están informando "importancia" usando una prueba de una cola, sin decir que lo están haciendo. Creo que la mayoría de las personas recomiendan usar pruebas de dos colas casi siempre. Ciertamente, no está bien usar una prueba de una cola sin decirlo.

En segundo lugar, el efecto es pequeño. Cuando había una señal, el sujeto (solo había una) la detectaba el 11% de las veces (32/293). Cuando no había señal, ella detectaba una señal el 6.5% del tiempo. Esa diferencia parece bastante pequeña. ¡Y el sujeto no pudo detectar la señal el 89% del tiempo!

En tercer lugar, como señaló @oddthinking, hubo algunos informes de datos selectivos que no se explicaron o justificaron adecuadamente (no leí el documento cuidadosamente, así que simplemente repito lo que estaba en la publicación original).

Una prueba exacta de Fisher en la tabla dada da, según este código

actual <- c(rep("Y", 32), rep("N", 19), rep("Y", 261), rep("N", 274))
det <- c(rep("Y", 51), rep("N", 535))
table(det,actual) 
fisher.test(det,actual)

ap = 0.08