¿Cómo disuadir a los laicos de sacar conclusiones inexactas sobre sus datos?

8

Trabajo como analista de datos, principalmente en SQL, proporcionando datos de operaciones a clientes internos. Raramente hago análisis estadísticos.

Recientemente, los clientes internos me han venido con datos de proyectos mal diseñados (sin grupo de control, sin metodología planificada, etc.) y pidiéndome que haga un análisis de datos de sus resultados para que puedan usarlo para dar forma a sus prácticas comerciales.

Los "estudios" son muy rudimentarios, ejecutados por personas sin conocimiento de métodos de investigación o estadísticas, y que intentan influir en las prácticas comerciales importantes. No puedo hacer un análisis estadístico porque no fue diseñado desde el principio.

¿Qué recursos podría señalarles para hacerles saber que sus "estudios" no pueden generalizarse más allá de la población involucrada? ¿Qué idioma uso para esto?

DanicaE
fuente
3
"Consultar al estadístico después de terminar un experimento es a menudo simplemente pedirle que realice un examen post mortem. Quizás pueda decir de qué murió el experimento". —Ronald Fisher
Kodiólogo

Respuestas:

3

Desearía que hubieras proporcionado más detalles en tu pregunta, pero solo voy a responder con cualquier información que hayas proporcionado.

Creo que es poco probable que regresen y realmente examinen los "recursos" que sugieres, por lo que es mejor que leas sobre estos e intentes explicarlos con ejemplos. Puede informarles sobre cómo podrían haber diseñado el experimento en primer lugar, tal vez con un ejemplo de prueba A / B (compruébelo en Wikipedia), y cómo es imperativo que la muestra sea representativa de la población. Enlaces: https://en.wikipedia.org/wiki/Design_of_experiments

Además, enumerar algunas posibles trampas de sacar conclusiones de experimentos estadísticamente erróneos debería ayudarlos a comprender su punto. Enlace: http://www.ch.embnet.org/CoursEMBnet/Arrays06/files/arrays06_ExpDes2.pdf

bia
fuente