Alcance de la corrección de pruebas múltiples

Una pregunta un poco extraña. En mi clase de bioestadística de cuarto año de hoy, estábamos discutiendo cuándo y cuándo no usar la corrección de pruebas múltiples, y el profesor hizo un comentario casual. Preguntó por qué no corregimos todas las pruebas que hemos realizado desde que comenzamos a hacer estadísticas, ya que todas son (en su mayoría) independientes y cada vez que observamos un resultado aumentamos nuestra probabilidad de sacar un falso positivo. Él se rió después, pero ¿por qué no hacemos esto? No digo que debamos hacerlo, porque obviamente es ridículo, pero ¿qué tan lejos está demasiado lejos cuando se trata de corregir las pruebas?

Asumiremos alfa = 0.05 por simplicidad, y diremos que cada prueba A, B y C no están bajo ningún tipo de dependencia y, por lo tanto, son independientes. Si me siento y pruebo A, B y C, ya sean pruebas T o lo que sea, obviamente tengo que ajustar para la corrección múltiple porque estoy tomando 0.95 a la potencia de tres, y mis posibilidades de obtener un cohete celeste falso positivo. Sin embargo, si hago A, B y C en días diferentes, dentro de los contextos de diferentes procedimientos, y obtengo diferentes resultados de ellos, ¿en qué se diferencia esto de la situación anterior? Todavía estamos observando las tres pruebas, todavía son independientes.

A lo que estoy tratando de llegar es al límite lógico donde decimos que dejemos de hacer la corrección de pruebas múltiples. ¿Deberíamos hacerlo solo para una familia de pruebas, o deberíamos hacerlo para un trabajo completo, o deberíamos hacerlo para cada prueba que hayamos realizado? Entiendo cómo usar la corrección de pruebas múltiples y usar FDR / Bonferonni en el trabajo todo el tiempo Este concepto me tomó la cabeza en círculos.

Gracias por tu tiempo.

Editar: Hay una discusión extendida sobre este tema en una pregunta más reciente .

Creo que la respuesta a su pregunta es que la corrección múltiple depende del contexto del problema que está resolviendo. Si primero considera las pruebas a priori y las pruebas post-hoc , puede ver dónde entra en juego la corrección para múltiples pruebas.

Digamos que formula una sola hipótesis, recopila datos y prueba la hipótesis. No es necesario corregir en este caso, obviamente. Si decide a priori realizar dos o más pruebas en el conjunto de datos, puede corregir o no las pruebas múltiples. La corrección puede ser diferente para cada prueba y puede seleccionarse utilizando su conocimiento de dominio. Por otro lado, simplemente puede usar uno de los métodos de corrección habituales. Las pruebas a priori son generalmente pequeñas en número. Si tenía una gran cantidad de hipótesis para probar, puede decidir sobre tamaños de muestra más grandes, muestras diferentes, etc. En otras palabras, puede diseñar su experimento para darle la mejor oportunidad posible de sacar conclusiones correctas de sus hipótesis.

Las pruebas post-hoc , por otro lado, se realizan en un conjunto de datos sin una hipótesis particular en mente. Usted está dragando datos hasta cierto punto y seguramente necesitará aplicar Bonferroni o FDR (o su propia corrección).

Como los diferentes conjuntos de datos recopilados a lo largo de su vida (o para un documento) son generalmente independientes y hacen preguntas diferentes, no debería haber necesidad de preocuparse por corregir cada prueba que se haya realizado. Recuerde que las correcciones múltiples protegen contra errores familiares (es decir, protección para una familia de pruebas) en lugar de errores de prueba individuales. Si puede agrupar lógicamente sus pruebas en familias, creo que encontrará límites de comparaciones múltiples adecuados para estas familias.

Puede pensar en la tasa de error familiar (FWER; para obtener más información, consulte este artículo ). Diría que si ejecuta un solo experimento para probar A, B y C, debe aplicar la corrección de prueba múltiple. Si ejecuta un experimento separado para cada A, B y C, entonces no será necesaria ninguna corrección.

Es posible que se pregunte por qué deberíamos controlar la tasa de error por experimento. Aquí está mi opinión. Imagine que algunas instituciones del tipo NIH o FDA le exigen que corrija cada prueba que haya realizado. Considere que ejecuta un experimento con una sola prueba, y ese es su primer experimento. No se necesitará ningún ajuste aquí. Ahora considere que vuelve a ejecutar un nuevo experimento con una sola prueba, pero esta vez es su$1,000^{th}$experimentar. Entonces tendrías que usar$\alpha$de 0.05 / 1,000 = 0.00005! ¿Quién querría hacer algún experimento con tan bajo$\alpha$? Entonces, supongo que cuando Tukey propuso la tasa de error en cuanto al experimento, es posible que haya querido ser justo con cada experimento, ya que cada experimento requiere dinero, tiempo y recursos.