¿Se pueden omitir los datos de la investigación porque no son significativos?

Me encontré con esta oración mientras leía un artículo en sciencemag.org .

Al final, se incluyeron respuestas de solo 7600 investigadores en 12 países porque los datos restantes no se consideraron estadísticamente significativos.

¿Es esta una forma adecuada de hacer una investigación? ¿Dejar de lado los resultados porque no se consideraron estadísticamente significativos?

En el informe citado en el comentario de whuber, dice en la página 104 [pág. 114 en el pdf]:

La encuesta logró activar la participación de aproximadamente 8,900 candidatos a doctorado de más de 30 países ...

Luego, abarcando las páginas 104-105, dice:

Mientras realizaban los procedimientos de limpieza de datos, el equipo de expertos de la encuesta Eurodoc decidió realizar un análisis de prueba de potencia. Sobre la base de la suposición de cuestionarios completos que darán como resultado una distribución multi normal, se utilizó una prueba de potencia para la estimación del intervalo de confianza. Esto se hizo para probar la precisión de los datos. Se decidió aceptar un máximo de 6% de nivel de error en un intervalo de confianza del 95%. Una pérdida del 16% del tamaño de la muestra resultó en una muestra de 12 países participantes con 7,600 participantes.

Por lo tanto, no está claro exactamente por qué la pérdida del 16% en la muestra, pero la suposición de respuestas incompletas probablemente sea correcta. (Y puedes ver por qué el periodista estaba confundido).

Esa oración en realidad no tiene sentido y es claramente un error.

Los datos no pueden ser estadísticamente significativos o insignificantes. Solo se puede hablar de estas relaciones entre los datos, producto de pruebas estadísticas.

Si la pregunta es: ¿podemos eliminar datos de nuestros análisis porque la inclusión de esos datos significa que no podemos rechazar la hipótesis nula? La respuesta es, obviamente, ¡espero! - no . El mensaje que ha citado es un informe de noticias, no un artículo científico. Si hubiera sido un artículo revisado, nunca habría entrado.

Probablemente, los datos no se incluyeron porque hay razones sustantivas para no incluir esos datos. Probablemente, como han sugerido otros, los datos excluidos estaban incompletos o se recopilaron utilizando métodos diferentes o incomparables.

No.

Sospecho que el periodista quiso decir que las otras personas quedaron excluidas porque las encuestas eran incompletas o internamente inconsistentes.

No, pero los reporteros pueden usar la jerga técnica completamente sin sentido.