¿Cuál es el problema con las pruebas post-hoc?

Mi profesor de estadística lo dice, todos los libros que miro lo afirman: las pruebas post-hoc no son científicas. Primero debe derivar una hipótesis de la teoría, y luego recopilar datos y analizarlos.

Pero realmente no entiendo cuál es el problema.

Supongamos que veo cifras de ventas para diferentes colores de automóviles y formulo la hipótesis de que, a partir de un número de automóviles de diferentes colores vendidos, el grupo más grande de automóviles en la calle debería ser blanco. Así que un día me siento en una calle y noto todos los colores de todos los autos que me pasan. Luego hago algunas pruebas y encuentro lo que sea.

Ahora, supongamos que un día me aburrí y me senté en alguna calle y noté todos los colores de todos los autos que me pasaron. Como me encantan los gráficos, trazo un histograma bonito y encuentro que los autos blancos forman el grupo más grande. Así que creo que quizás la mayoría de los autos en la calle son blancos y realizan algunas pruebas.

¿Cómo y por qué los resultados o la interpretación de los resultados de la prueba post-hoc difieren de los de la prueba de hipótesis basada en la teoría *?

_{* ¿Cuál es el nombre para lo opuesto de una prueba post-hoc, de todos modos?}

Me gustaría agregar que la mayor parte de nuestro conocimiento sobre el universo (la Tierra se mueve alrededor del Sol) se deduce post hoc de la observación.

Me parece que en la física es perfectamente aceptable asumir que es no es coincidencia que el sol se ha ido en aumento en Oriente durante los últimos mil años.

"Sabes, lo más asombroso me sucedió esta noche. Estaba viniendo aquí, camino a la conferencia, y entré por el estacionamiento. Y no vas a creer lo que pasó. Vi un auto con licencia placa ARW 357. ¿Te imaginas? De todos los millones de placas en el estado, ¿cuál es la posibilidad de que vea esa en particular esta noche? ¡Increíble! " Richard Feynman

Siento que no estoy en posición de explicar los aspectos técnicos profundos de este problema. Sin embargo, creo que muchos de ellos pueden reducirse a una intuición.

En la primera configuración, comienza con algunas hipótesis que verifica en los nuevos datos (del experimento diseñado). Estudiar las cifras de ventas puede llevarlo a un experimento bien diseñado y muy elaborado, en el que realmente puede decidir qué tan fuerte debe ser su respuesta (poder estadístico, valores p, tamaño de muestra y muchas otras cosas).

En la segunda configuración, lo primero de todo es que no decides nada sobre la fuerza de la respuesta. Este es un problema. El segundo problema es que extraer la hipótesis de la misma muestra utilizada para las pruebas aumentará de manera incontrolable las posibilidades de que los patrones aleatorios se interpreten como información valiosa. Lo que debe hacer es notar algo (que los autos blancos están en gran número) y preguntarse si esto es significativo. El punto es que seleccionó solo un hecho notable visible en esa muestra, descartando otras hipótesis. Al hacerlo, creó condiciones favorables para algunas hipótesis y rompe los supuestos de la mayoría de las pruebas estadísticas anteriores.

No es científico comportarse como si no supiera sobre esta filtración , y pretender que es un experimento con todos sus supuestos, cuando no es cierto. En este caso, es científico utilizar el análisis post hoc para formular una hipótesis y diseñar un nuevo experimento para probarlo.

Si primero recopila datos y luego construye una teoría basada en los datos, corre el riesgo de adaptar una historia a sus observaciones. El problema es que los humanos somos extremadamente buenos escribiendo historias. Dicho de otra manera: cualquier información puede ser "explicada" por una historia, si la historia es lo suficientemente complicada.

Este proceso proporciona buenas anécdotas. Sin embargo, no hay razón para explicar la realidad y / o proporcionar buenas predicciones. Debe configurar y validar un modelo para eso.

xkcd señala que este fenómeno impregna el "comentario" deportivo :

Relacionado está el fenómeno de la pareidolia : ver patrones donde no existe ninguno. Ver, por ejemplo, la "Cara" que la gente vio en imágenes satelitales anteriores de Marte:

Además, a medida que recopila más datos, debe tener cuidado de no modificar su historia de maneras cada vez más extrañas para hacer que "continúe" "explicando" sus observaciones :

La ciencia opera formando hipótesis (que por supuesto están motivadas por la experiencia), haciendo predicciones basadas en esas hipótesis y luego probándolas. ¿Tendría sentido observar algo en el pasado, generalizar esta observación en una teoría, pero luego tratar el pasado como una especie de experimento retroactivo que valida automáticamente la teoría? No, porque toda la pregunta era qué tan bien generaliza su teoría, no si funcionó o no una vez en el pasado. Esta es la razón por la cual las hipótesis de prueba sugeridas por los datos se consideran una mala ciencia.

Su profesor y las otras respuestas tienen razón en que el análisis post-hoc tiene problemas. Sin embargo, también tiene razón en que mucha buena ciencia proviene del análisis post-hoc. El punto clave es que se deben preferir los experimentos diseñados adecuadamente y que el análisis post-hoc se debe tratar con precaución y con herramientas especiales para evitar la pérdida de artefactos espurios por descubrimientos reales. El artículo de Wikipedia sobre la tasa de descubrimiento falso puede dar una idea del problema.

Solo para dar un par de ejemplos:

• Si tomamos medidas biométricas en la población mundial de ganado vacuno, podemos concluir que el ganado tiene dos fosas nasales. De hecho, es un análisis post-hoc, pero la mayor parte de la biología, la vulcanología o la historia se ha construido de esta manera. La razón por la que no descartamos el hecho de que el ganado tenga dos fosas nasales es la evidencia a favor de que sea tan abrumador.
• Tomamos datos de terneros nacidos en el año anterior en una granja ganadera determinada. Nos damos cuenta de que todos los martes bajo la luna llena más del 50% de los terneros recién nacidos eran hembras, excepto los días festivos en ese país o los martes de invierno. Si previamente hubiéramos formulado la hipótesis de que ese tipo de días producían más crías hembras, podríamos hacer una prueba de hipótesis y aceptar (o rechazar) esa hipótesis. Sin embargo, si tenemos en cuenta que es solo un análisis post-hoc, la evidencia no será suficiente para rechazar un fenómeno espurio.

Hay un artículo citado a menudo que, irónicamente, descarta toda evidencia de que los paracaídas sean útiles como anecdóticos , que es solo una clase de evidencia particularmente mala basada en análisis post-hoc.

Y para usar un buen ejemplo utilizado por la respuesta de Stephan Kolassa: algunos puntos oscuros que se asemejan a una cara en Marte pueden ser rechazados como pareidolia, pero algo que reproduzca la Última Cena de Leonardo Da Vinci hasta el más mínimo detalle no pudo.

Si no tiene una teoría que respalde sus proposiciones, incluso si su propuesta está validada, podría ser por coincidencia y no prueba nada. Por ejemplo, descubro que uso el baño cuando sale el sol y lo he estado haciendo durante los últimos 10 años; según estos datos, un análisis post hoc me dice que existe una relación entre mi uso del baño y la salida del sol, mientras que lo que existe es meramente una coincidencia. El sol no sale porque haces orinal o viceversa.

La vida está llena de coincidencias. Las proposiciones respaldadas por la teoría eliminan tales coincidencias o pseudorelaciones.

Aquí hay una intuición que puede resultarle útil. Si estás aburrido y cuentas autos, aún debes recordar que lo que ves es el resultado de algún proceso aleatorio. En particular, los autos podrían haber sido de diferentes colores.

Por lo tanto, si formula la hipótesis de que el color más frecuente es el blanco, puede ser porque realmente lo es, pero también podría ser que el color más frecuente es el rojo pero, en ese experimento en particular, el más frecuente fue el blanco (que siempre es posible )

Ahora, si lo hace post-hoc , probará que el blanco es el más frecuente y, dado que los datos sugieren esa misma hipótesis, bien puede concluir que el blanco es el más frecuente ... Al menos, los datos nunca se contradecirán La hipótesis (post-hoc).