¿Los estudios con poca potencia tienen una mayor probabilidad de falsos positivos?

Esta pregunta se ha hecho antes aquí y aquí, pero no creo que las respuestas aborden la pregunta directamente.

¿Los estudios con poca potencia tienen una mayor probabilidad de falsos positivos? Algunos artículos de noticias hacen esta afirmación. Por ejemplo :

El bajo poder estadístico es una mala noticia. Los estudios con poca potencia tienen más probabilidades de perder efectos genuinos, y como grupo tienen más probabilidades de incluir una mayor proporción de falsos positivos, es decir, efectos que alcanzan significación estadística a pesar de que no son reales.

Según tengo entendido, el poder de una prueba se puede aumentar mediante:

• aumentando el tamaño de la muestra
• que tiene un tamaño de efecto más grande
• aumentando el nivel de significancia

Suponiendo que no queremos cambiar el nivel de significación, creo que la cita anterior se refiere a cambiar el tamaño de la muestra. Sin embargo, no veo cómo la disminución de la muestra debería aumentar el número de falsos positivos. En pocas palabras, la reducción del poder de un estudio aumenta las posibilidades de falsos negativos, lo que responde a la pregunta:

Por el contrario, los falsos positivos responden a la pregunta:

Ambas son preguntas diferentes porque los condicionales son diferentes. El poder está (inversamente) relacionado con falsos negativos pero no con falsos positivos. ¿Me estoy perdiendo de algo?

Tiene razón en que el tamaño de la muestra afecta la potencia (es decir, 1 - error tipo II), pero no el error tipo I. Es un malentendido común que un valor p como tal (interpretado correctamente) sea menos confiable o válido cuando el tamaño de la muestra es pequeño; el artículo muy entretenido de Friston 2012 tiene una versión divertida de eso [1].

Dicho esto, los problemas con los estudios de baja potencia son reales, y la cita es en gran medida correcta, diría, solo un poco impreciso en su redacción.

El problema básico con los estudios de baja potencia es que, aunque la tasa de falsos positivos (error tipo I) en las pruebas de hipótesis es fija, la tasa de positivos verdaderos (potencia) disminuye. Por lo tanto, un resultado positivo (= significativo) es menos probable que sea un verdadero positivo en un estudio de baja potencia. Esta idea se expresa en la tasa de descubrimiento falso [2], ver también [3]. Esto parece a lo que se refiere la cita.

Un problema adicional a menudo mencionado con respecto a los estudios de baja potencia es que conducen a tamaños de efectos sobreestimados. Las razones son que a) con una potencia más baja, sus estimaciones de los efectos verdaderos se volverán más variables (estocásticas) en torno a su valor verdadero, yb) solo el más fuerte de esos efectos pasará el filtro de significancia cuando la potencia sea baja. Sin embargo, se debe agregar que este es un problema de informe que podría solucionarse fácilmente discutiendo e informando todos y no solo los efectos significativos.

Finalmente, un problema práctico importante con los estudios de baja potencia es que la baja potencia aumenta los problemas estadísticos (por ejemplo, el sesgo de los estimadores), así como la tentación de jugar con variables y tácticas similares de pirateo informático. El uso de estos "grados de libertad del investigador" es más efectivo cuando el poder es bajo, y ESTO puede aumentar el error tipo I después de todo, ver, por ejemplo, [4].

Por todas estas razones, por lo tanto, sería escéptico sobre un estudio de baja potencia.

[1] Friston, K. (2012) Diez reglas irónicas para revisores no estadísticos. NeuroImage, 61, 1300-1310.

[2] https://en.wikipedia.org/wiki/False_discovery_rate

[3] Botón, KS; Ioannidis, JPA; Mokrysz, C .; Nosek, BA; Flint, J .; Robinson, ESJ & Munafo, MR (2013) Falla de energía: por qué el tamaño de muestra pequeño socava la confiabilidad de la neurociencia. Nat. Rev. Neurosci., 14, 365-376

[4] Simmons, JP; Nelson, LD y Simonsohn, U. (2011) Psicología falsa positiva: la flexibilidad no revelada en la recopilación y análisis de datos permite presentar cualquier cosa como significativa. Psychol Sci., 22, 1359-1366.

Dependiendo de cómo lo mire, la baja potencia puede aumentar las tasas de falsos positivos en escenarios dados.

Considere lo siguiente: un investigador prueba un tratamiento. Si la prueba regresa como insignificante, la abandonan y pasan al siguiente tratamiento. Si la prueba resulta significativa, la publican. Consideremos también que el investigador probará algunos tratamientos que funcionan y otros que no. Si el investigador tiene un alto poder (por supuesto, refiriéndose al caso cuando están probando un tratamiento que funciona), entonces es muy probable que se detengan una vez que prueben un tratamiento efectivo. Por otro lado, con baja potencia, es probable que pierdan el verdadero efecto del tratamiento y pasen a otros tratamientos. Cuantos más tratamientos nulos prueben, más probable es que cometan un error de Tipo I (este investigador no tiene en cuenta las comparaciones múltiples). En el caso de baja potencia, se espera que prueben muchos más tratamientos nulos,

Podrías decir "bueno, ¡esto es solo un investigador que abusa de múltiples comparaciones!". Bueno, eso puede ser cierto, pero esa es también la forma en que se realiza mucha investigación en estos días. Por exactamente estas razones, personalmente tengo poca fe en el trabajo publicado a menos que tenga un tamaño de muestra lo suficientemente grande como para que el investigador no pueda permitirse repetir el mismo experimento una gran cantidad de veces.

La baja potencia no puede afectar la tasa de error Tipo 1, pero podría afectar la proporción de resultados publicados que son errores tipo 1.

La razón es que la baja potencia reduce las posibilidades de un rechazo correcto de H0 (error de tipo 2) pero no las posibilidades de un falso rechazo de H0 (error de tipo 1).

Supongamos por un segundo que hay dos literaturas ... una realizada con muy poca potencia, cerca de cero, y la otra realizada con la potencia adecuada. En ambas publicaciones, puede suponer que cuando H0 es falso, todavía obtendrá falsos positivos en algunas ocasiones (p. Ej., 5% para alfa = .05). Suponiendo que los investigadores no siempre son correctos en sus hipótesis, podemos suponer que ambas publicaciones deberían tener un NÚMERO similar de errores de Tipo 1, buen poder o no. Esto se debe a que la tasa de errores de Tipo 1 no se ve afectada por el poder, como han dicho otros.

Sin embargo, en la literatura con BAJA potencia, también tendría muchos errores de Tipo 2. En otras palabras, la literatura de baja potencia debe FALTAR los rechazos correctos de H0, haciendo que los errores de Tipo 1 sean una proporción mayor de la literatura. En la literatura de alta potencia, debe tener una mezcla de rechazos correctos e incorrectos de H0.

Entonces, ¿la baja potencia aumenta los errores tipo 1? No. Sin embargo, hace que sea más difícil encontrar efectos verdaderos, lo que hace que los errores de Tipo 1 sean una proporción mayor de los hallazgos publicados.

Además de la respuesta de los demás, un estudio generalmente tiene poca potencia cuando el tamaño de la muestra es pequeño. Hay muchas pruebas que solo son asintóticamente válidas, y demasiado optimistas o conservadoras para pequeñas n.

Otras pruebas solo son válidas para tamaños de muestra pequeños si se cumplen ciertas condiciones, pero se vuelven más robustas con un tamaño de muestra grande (por ejemplo, prueba t).

En ambos casos, el pequeño tamaño de la muestra y la suposición no satisfecha pueden conducir a una mayor tasa de error tipo I. Ambas situaciones ocurren con tanta frecuencia que considero que la respuesta real a su pregunta es: no en teoría sino en la práctica.