Falacia del tirador de Texas en el análisis exploratorio de datos

Estaba leyendo este artículo en Nature en el que se explican algunas falacias en el contexto del análisis de datos. Noté que la falacia del tirador de Texas era particularmente difícil de evitar:

La fábula del francotirador de Texas ilustra una trampa cognitiva que espera durante el análisis de datos: un tirador inepto que dispara un patrón aleatorio de balas al costado de un granero, dibuja un objetivo alrededor del mayor grupo de agujeros de bala y señala con orgullo a Su éxito.

Su tiro al blanco es obviamente ridículo, pero la falacia no es tan obvia para los jugadores que creen en una 'mano caliente' cuando tienen una racha de victorias, o para las personas que ven un significado sobrenatural cuando aparece un sorteo de lotería como números impares.

Tampoco es siempre obvio para los investigadores. "Simplemente obtienes algo de aliento de los datos y luego piensas, bueno, este es el camino a seguir", dice Pashler. “No se da cuenta de que tenía 27 opciones diferentes y eligió la que le dio los resultados más agradables o interesantes, y ahora está involucrado en algo que no es en absoluto una representación imparcial de los datos. "

Creo que ese tipo de trabajo de exploración es común y, a menudo, las hipótesis se construyen en función de esa parte del análisis. Hay un enfoque completo ( EDA ) dedicado a este proceso:

El análisis exploratorio de datos fue promovido por John Tukey para alentar a los estadísticos a explorar los datos, y posiblemente formular hipótesis que podrían conducir a la recopilación de nuevos datos y experimentos.

Parece que cualquier proceso exploratorio realizado sin tener una hipótesis previa es propenso a generar hipótesis espurias.

Tenga en cuenta que la descripción de EDA anterior realmente habla new data collection and experiments. Entiendo que después de que se hayan recopilado nuevos datos, es apropiado un análisis de datos confirmatorio (CDA). Sin embargo, no creo que esta distinción se haga con mucha claridad, y aunque una separación de EDA y CDA sería ideal, seguramente hay algunas circunstancias en las que esto no es factible. Diría que seguir esta separación estrictamente es poco común y la mayoría de los profesionales no se suscriben al paradigma EDA.

Entonces mi pregunta es: ¿EDA (o algún proceso informal de exploración de datos) hace que sea más probable que caiga en la falacia del tirador de Texas?

Si uno ve el rol de EDA estrictamente como la generación de hipótesis, entonces no se aplica la falacia del francotirador. Sin embargo, es muy importante que los ensayos confirmatorios posteriores sean de hecho independientes. Muchos investigadores intentan "conciliar las diferencias" con cosas como análisis agrupados, metaanálisis y métodos bayesianos. Esto significa que al menos parte de la evidencia presentada en dicho análisis incluye "el círculo alrededor de los agujeros de bala al azar".

Esto pinta una visión muy negativa del análisis exploratorio de datos. Si bien el argumento no es incorrecto, en realidad dice "¿qué puede salir mal cuando uso una herramienta muy importante de manera incorrecta?"

La aceptación de valores p no ajustados de los métodos EDA conducirá a tasas de error tipo I muy infladas. Pero creo que Tukey no estaría contento con que alguien haga esto. El objetivo de la EDA no es sacar conclusiones definitivas sobre las relaciones en los datos, sino buscar posibles nuevas relaciones en los datos a seguir.

Dejar de lado este paso en el proceso científico más amplio es esencialmente obstaculizar a la ciencia para que nunca pueda encontrar nuevos aspectos interesantes de nuestros datos, fuera de la deducción lógica pura. ¿Alguna vez trató de deducir lógicamente cómo la sobreexpresión de un conjunto de genes afectará la supervivencia de una célula? Sugerencia: no es muy fácil (uno de nuestros chistes favoritos entre el personal de bioinformática en mi trabajo fue cuando un físico preguntó "¿Por qué no simulan las propiedades físicas de las diferentes interacciones genéticas? Es un espacio de parámetros finitos").

Personalmente, creo que la confusión sobre esto puede conducir a una gran desaceleración en el progreso científico. Conozco a muchos investigadores no estadísticos que afirman que no quieren realizar procedimientos de EDA en datos preliminares , porque "saben que EDA puede ser malo".

En conclusión, es absolutamente cierto que usar métodos EDA y tratarlos como métodos de análisis de datos confirmatorios conducirá a resultados no válidos. Sin embargo, la falta de uso adecuado de EDA puede conducir a casi ningún resultado.

Parece que cualquier proceso exploratorio realizado sin tener una hipótesis previa es propenso a generar hipótesis espurias.

Yo atenuaría esta afirmación y la expresaría de manera un poco diferente: elegir una hipótesis para probar basada en los datos socava la prueba si no se usa la hipótesis nula correcta. El objetivo del artículo de Nature es, esencialmente, que es fácil para los analistas engañarse a sí mismos para ignorar todas las comparaciones múltiples que están haciendo implícitamente durante la exploración.

Nature cita a Andrew Gelman, pero no menciona su trabajo con Eric Loken sobre este tema. Un experto:

Cuando han surgido críticas de comparaciones múltiples con respecto a algunos de los documentos que discutimos aquí, los investigadores nunca responden que hayan elegido todos los detalles de su procesamiento y análisis de datos con anticipación; más bien, afirman que seleccionaron solo un análisis para los datos particulares que vieron . Por muy intuitiva que parezca esta defensa, no aborda la preocupación fundamentalista de las comparaciones múltiples.

Otro:

No es que los investigadores hayan realizado cientos de comparaciones diferentes y hayan elegido otras que fueran estadísticamente significativas. Más bien, comienzan con una idea algo formada en su mente de qué comparación realizar, y refinan esa idea a la luz de los datos. Vieron un patrón en rojo y rosa, y combinaron los colores.

Sucintamente:

Hay un mapeo de uno a muchos de hipótesis científicas a estadísticas.

Y uno más, énfasis mío:

En todos los casos que hemos discutido, el análisis publicado tiene una historia que es consistente con las hipótesis científicas que motivaron el trabajo, pero otros patrones de datos (que, dados los tamaños de las muestras, podrían haber ocurrido fácilmente por casualidad) naturalmente habrían llevado a diferentes análisis de datos (por ejemplo, un enfoque en los efectos principales en lugar de las interacciones, o una selección diferente de subconjuntos de datos para comparar) que igualmente podrían haberse utilizado para respaldar las hipótesis de investigación. El resultado sigue siendo, como hemos escrito en otra parte, una especie de máquina para producir y publicitar patrones aleatorios.

En resumen, no es que EDA conduzca a una "hipótesis espuria"; Es que probar una hipótesis con el mismo conjunto de datos que provocó la hipótesis puede llevar a conclusiones espurias.

Si está interesado en vencer este obstáculo, Gelman tiene otro documento que argumenta que muchos de estos problemas desaparecen en un marco bayesiano, y el documento con Loken hace referencia a la "replicación previa a la publicación" como se describe anecdóticamente en la primera sección de este documento .

Casi por definición, sí, por supuesto, EDA sin CDA atrae a francotiradores de Texas.

$p$$p$

Solo para agregar a las respuestas ya excelentes: hay un punto medio entre un CDA completo y simplemente aceptar los resultados de su EDA al pie de la letra. Una vez que haya encontrado una posible característica de interés (o hipótesis), puede tener una idea de su robustez mediante la validación cruzada (CV) o simulaciones de arranque. Si sus hallazgos dependen de unas pocas observaciones clave, entonces CV o Bootstrap mostrarán que muchos de los pliegues (CV) o muestras boostrap no pueden reproducir la característica observada.

Este no es un método infalible, pero es una buena comprobación intermedia antes de buscar un CDA completo (o mantener a propósito un "conjunto de validación" de su grupo de datos inicial).

El criterio más riguroso para la selección del modelo de datos es el grado en que se aproxima a la Complejidad de Kolmogorov de los datos, es decir, el grado en que comprime los datos sin pérdidas. Esto puede, en teoría, resultar solo del análisis exploratorio de datos.

Ver " Desconvolución causal por modelos generativos algorítmicos "