En este papel:
Variables al acecho: algunos ejemplos Brian L. Joiner The American Statistician Vol. 35, N ° 4, noviembre de 1981 227-233
Brian Joiner afirma que "la aleatorización no es una panacea". Esto es contrario a las declaraciones comunes como la siguiente:
Un experimento bien diseñado incluye características de diseño que permiten a los investigadores eliminar variables extrañas como explicación de la relación observada entre la (s) variable (s) independiente (s) y la variable dependiente. Estas variables extrañas se denominan variables al acecho.
La cita fue tomada de esta pregunta y no tiene una fuente, pero en mi experiencia es representativa de la actitud predominante: ejemplos de observación variable e influyente al acecho
Un ejemplo dado es que al probar la seguridad (específicamente carcinogénesis) del colorante rojo # 40 para alimentos en roedores en los años setenta, se descubrió que un efecto de la posición de la jaula confundía el estudio. Ahora he leído muchos artículos de revistas que estudian la carcinogénesis en roedores y nunca he visto a nadie informar que controle este efecto.
Puede encontrar más información sobre estos estudios aquí: Un estudio de caso de estadísticas en el proceso regulatorio: los experimentos FD&C Red No. 40.
No pude encontrar una versión sin paredes de pago, pero aquí hay un extracto:
En la reunión de enero, presentamos un análisis preliminar (14) que reveló una fuerte correlación entre la fila de la jaula y las tasas de mortalidad de RE (tumor retículo endotelial), que variaron del 17% (fila inferior) al 32% (fila superior) (tabla 2) No podríamos explicar esta fuerte asociación por sexo, grupo de dosificación, columna de columna o posición. Un análisis posterior (18) también indicó que la posición de la jaula (frente frente a atrás) podría estar correlacionada con la mortalidad sin ER y esa posición con el tiempo hasta la muerte sin ER.
Estoy específicamente interesado en por qué parece haber un problema con la replicación en la literatura médica, pero los ejemplos de todos los campos serían bienvenidos. Tenga en cuenta que estoy interesado en ejemplos de experimentos controlados aleatorios, no en estudios observacionales.
fuente
Respuestas:
Algunos ejemplos de la investigación clínica pueden ser variables que surgen después de la aleatorización: la aleatorización no lo protege de esos. Algunos fuera de mi cabeza, que se han planteado como posibilidades o se han observado:
La aleatorización no protege contra ninguno de esos efectos, ya que surgen después de la aleatorización.
fuente
Aquí hay un ejemplo que encontré para datos de microarrays. Se ha informado que la expresión medida está fuertemente correlacionada con la posición en los "chips". Este es un caso en el que aleatorizar la posición de las muestras puede conducir a una mayor probabilidad de cometer un error de etiquetado, por lo que aquellos que realizan el trabajo técnico pueden optar por no aleatorizar si no creen que sea importante.
Importancia de la aleatorización en diseños experimentales de microarrays con plataformas Illumina
Ricardo A. Verdugo, Christian F. Deschepper y Gary A. Churchill. The Jackson Laboratory, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Canadá.
fuente
Tengo un ejemplo que podría ser algo diferente de lo que originalmente pretendías cuando hiciste esta pregunta. El último año o dos han dado lugar a una discusión en curso en psicología sobre la causa de la falta de replicabilidad de los efectos de los experimentos aleatorios. Las versiones de este debate han surgido durante muchos años, pero el debate se ha vuelto más estridente desde la publicación de un documento que muestra que muchas prácticas que son estándar en psicología en la formulación de hipótesis, recopilación de datos, análisis de datos e informes de resultados. Permitir a los investigadores encontrar resultados que respalden incluso hipótesis elegidas arbitrariamente (en el documento original, los investigadores utilizaron estas prácticas para mostrar que escuchar "When I'm Sixty-Four" de los Beatles hizo que las personas fueran más jóvenes).
La raíz del problema, por supuesto, son las estructuras de incentivos generalizadas en psicología (y en otras ciencias) para obtener resultados novedosos, positivos y "publicables". Estos incentivos alientan a los científicos investigadores a adoptar prácticas que, aunque no son tan obviamente "erróneas" como la fabricación de datos, conducen a una mayor tasa de resultados falsos positivos. Estas prácticas incluyen:
Y así.
Yo diría que la "variable al acecho" en estos casos es la estructura de incentivos que recompensa a los investigadores por obtener resultados positivos, "publicables". De hecho, ya ha habido varios resultados de alto perfil en psicología (muchos de los cuales están en mi especialidad, psicología social) que no han podido replicarse. Estas fallas en replicarse, argumentan muchos, arrojan dudas sobre subcampos enteros de psicología.
Por supuesto, el problema de las estructuras de incentivos que fomentan los falsos positivos no es exclusivo de la psicología; Este es un problema endémico para toda la ciencia y, por lo tanto, para todos los ensayos controlados aleatorios.
Referencias
Simmons, JP, Nelson, LD y Simonsohn, U. (2011). Psicología falsa positiva: la flexibilidad no revelada en la recopilación y análisis de datos permite presentar cualquier cosa como significativa. Psychological Science , 17, 1359-1366.
Nosek, BA, Spies, JR y Motyl, M. (2012). Utopía científica: II. Reestructuración de incentivos y prácticas para promover la verdad sobre la publicabilidad. Perspectivas sobre la ciencia psicológica , 7, 615-631.
Yong, E. (2012). Mala copia Nature , 485, 298-300.
Abbott, A. (2013). Los resultados en disputa son un nuevo golpe para la psicología social. Naturaleza , 497, 16.
fuente