¿Cuáles son los prejuicios más comunes que los humanos hacen al recopilar o interpretar datos?

Soy un econ / stat major. Soy consciente de que los economistas han tratado de modificar sus suposiciones sobre el comportamiento humano y la racionalidad identificando situaciones en las que las personas no se comportan racionalmente. Por ejemplo, supongamos que le ofrezco una probabilidad del 100% de una pérdida de $ 1000 o una probabilidad del 50% de una pérdida de $ 2500, las personas eligen la opción de $ 2500 a pesar de que el valor esperado de esta última es una pérdida mayor que una garantía de $ 1000 pérdida. Esto se conoce como "aversión a la pérdida". Los economistas del comportamiento ahora estudian estos patrones y tratan de identificar las formas en que los humanos se desvían de esos axiomas que normalmente se supone que constituyen un comportamiento "racional". Aquí, supongo que es racional preferir la pérdida menos esperada.

Me preguntaba si los estadísticos han identificado patrones comunes en la recopilación de datos que producen resultados sesgados en la forma en que las personas interpretan los datos. Si había esencialmente una forma "racional" de recopilar datos, supongo que hay ejemplos en los que los humanos se desvían de esto y muestran "sesgo". Si es así, ¿cuáles son los prejuicios más comunes que los humanos hacen al recopilar o interpretar datos?

Creo que en la academia, los valores p son comúnmente mal interpretados. Las personas tienden a olvidar que el valor p expresa una probabilidad condicional. Incluso si un experimento se ha realizado perfectamente y se cumplen todos los requisitos de la prueba estadística elegida, la tasa de descubrimiento falso suele ser mucho más alta que el nivel de significancia alfa. La tasa de falsos descubrimientos aumenta con una disminución en el poder estadístico y la prevalencia de verdaderos positivos (Colquhoun, 2014; Nuzzo, 2014).

Además, las personas tienden a considerar sus estimaciones como la verdad y el parámetro que estiman como aleatorio (Haller y Kraus, 2002). Por ejemplo, cuando dicen que en "el 95% de los casos, este intervalo de confianza identificado cubre el parámetro" ...

La confusión de correlación y causalidad es probablemente también un error muy común en la interpretación de datos.

En términos de recopilación de datos, creo que un error común es tomar la muestra más fácilmente accesible en lugar de la más representativa.

Colquhoun, D. (2014). Una investigación de la tasa de descubrimiento falso y la mala interpretación de los valores de P. Royal Society Open Science, 1–15.

Nuzzo, R. (2014). Errores estadísticos: los valores de P, el "estándar de oro" de la validez estadística no son tan confiables como muchos científicos suponen. Naturaleza, 506, 150-152.

Haller, H. y Kraus, S. (2002): Interpretaciones erróneas de importancia: ¿un problema que los estudiantes comparten con sus maestros? Métodos de investigación psicológica en línea, Vol.7, No.1

Yo diría una incapacidad general para apreciar cómo se ve la verdadera aleatoriedad. Las personas parecen esperar muy pocos patrones espurios de los que realmente ocurren en secuencias de eventos aleatorios. Esto también aparece cuando intentamos simular aleatoriedad por nuestra cuenta.

Otra bastante común es no entender la independencia, como en la falacia del jugador. A veces pensamos que los eventos anteriores pueden afectar los futuros, incluso cuando es claramente imposible, como el acuerdo anterior de una baraja barajada que impacta en una futura.

Ya se ha señalado que muchos de los comportamientos y procesos de pensamiento etiquetados como "irracionales" o "sesgados" por los economistas (conductuales) son en realidad altamente adaptables y eficientes en el mundo real. Sin embargo, la pregunta de OP es interesante. Sin embargo, creo que puede ser rentable referirse a un conocimiento más fundamental y descriptivo sobre nuestros procesos cognitivos, en lugar de buscar "sesgos" específicos que correspondan a los discutidos en la literatura económica (por ejemplo, aversión a la pérdida, efecto de dotación, negligencia de base, etc.).

Por ejemplo, la evaluabilidad es ciertamente un problema en el análisis de datos. La teoría de evaluabilidad establece que sobreponderamos información que nos resulta fácil de interpretar o evaluar. Considere el caso de un coeficiente de regresión. Evaluar las consecuencias "reales" de un coeficiente puede ser un trabajo duro. Necesitamos considerar las unidades de la variable independiente y dependiente, así como las distribuciones de nuestra variable independiente y dependiente para comprender si un coeficiente tiene relevancia práctica. Evaluar la importancia de un coeficiente, por otro lado, es fácil: simplemente comparo su valor p con mi nivel alfa. Dada la mayor evaluabilidad del valor p en comparación con el coeficiente en sí, es poco sorprendente que haya tanto valor de p.

(La estandarización aumenta la evaluabilidad de un coeficiente, pero puede aumentar la ambigüedad : la sensación de que la información relevante no está disponible o se retiene, porque la forma "original" de los datos que estamos procesando no está disponible para nosotros).

Un "sesgo" cognitivo relacionado es el principio de concreción, la tendencia al sobrepeso de la información que está "justo allí" en un contexto de decisión y que no requiere recuperación de la memoria. (El principio de concreción también establece que es probable que usemos la información en el formato en que se proporciona y tendemos a evitar realizar transformaciones). La interpretación de un valor p se puede hacer simplemente mirando el resultado de la regresión; no requiere que recupere ningún conocimiento sustancial sobre lo que estoy modelando.

Espero que muchos sesgos en la interpretación de los datos estadísticos se puedan rastrear hasta el entendimiento general de que es probable que tomemos la ruta fácil al resolver un problema o formar un juicio (ver "avaro cognitivo", "racionalidad limitada", etc.) . Relacionado, hacer algo "con facilidad" generalmente aumenta la confianza con la que tenemos las creencias resultantes ( teoría de la fluidez ). (También se podría considerar la posibilidad de que los datos sean más fáciles de articular- para nosotros mismos o para los demás - estamos sobrevalorados en nuestros análisis.) Creo que esto se vuelve particularmente interesante cuando consideramos posibles excepciones. Algunas investigaciones psicológicas sugieren, por ejemplo, que si creemos que un problema debería ser difícil de resolver, entonces podemos favorecer enfoques y soluciones que sean menos concretos y más difíciles, por ejemplo, elegir un método más arcano que uno simple.

El factor más importante que se me ocurre es ampliamente conocido como "sesgo de confirmación". Una vez establecido lo que creo que mostrará mi estudio, acepto acríticamente los datos que conducen a esa conclusión, mientras pongo excusas para todos los puntos de datos que parecen refutarlo. Puedo rechazar inconscientemente como "error evidente del instrumento" (o algún equivalente) cualquier punto de datos que no se ajuste a mi conclusión. En algunos casos, no será tan evidente; en lugar de descartar esos puntos de datos por completo, inventaré alguna fórmula para eliminar el "error", que orientará convenientemente los resultados para confirmar mi conclusión predeterminada.

No hay nada particularmente nefasto en esto; así es como funcionan nuestros cerebros. Se necesita un gran esfuerzo para filtrar ese sesgo, y es una de las razones por las que a los científicos les gusta inventar estudios doble ciego, de modo que la persona que realiza las mediciones no sabe lo que se espera que demuestre el experimento. Luego requiere una enorme disciplina para no ajustar lo que ha medido fielmente.

Linealidad .

Creo que un sesgo común durante la interpretación / análisis de datos es que las personas generalmente asumen rápidamente relaciones lineales. Matemáticamente, un modelo de regresión supone que su componente determinista es una función lineal de los predictores; desafortunadamente eso no siempre es cierto. Hace poco asistí a una conferencia de pósters de pregrado y la cantidad de tendencias contundentemente cuadráticas o no lineales que vi que se ajustaban a un modelo lineal era preocupante, por decir lo menos.

$p$

Un caso interesante son las discusiones sobre la falacia de los jugadores.

¿Deberían incluirse o excluirse los datos existentes? Si ya estoy por delante con 6 seises, ¿se incluirán en mi ejecución de una docena de intentos? Sea claro sobre los datos anteriores.

¿Cuándo debo cambiar de números absolutos a cocientes? La ventaja obtenida durante una racha ganadora inicial tarda mucho tiempo en volver a cero (una caminata aleatoria).

El 0.1% de un millón de dólares puede no ser mucho para una gran empresa, pero perder $ 1000 podría ser la vida o la muerte de un solo comerciante (razón por la cual los inversores quieren que las personas 'motivadas' inviertan). Ser capaz de cambiar a porcentajes puede ser un sesgo.

Incluso los estadísticos tienen prejuicios.

Recomendaría "Pensamiento, rápido y lento" de Daniel Kahneman , que explica muchos sesgos cognitivos en un lenguaje lúcido.

También puede consultar " http://www.burns-stat.com/review-thinking-fast-slow-daniel-kahneman/ ", que resume algunos de los prejuicios del libro anterior.

Para obtener un resumen más detallado de los capítulos, puede leer " https://erikreads.files.wordpress.com/2014/04/thinking-fast-and-slow-book-summary.pdf ".