Aleatorización de muestra no aleatoria

Siempre me sorprende un poco ver anuncios psicológicos por participar en estudios experimentales. Por supuesto, las personas que responden a estos anuncios no se toman al azar y, por lo tanto, son una población autoseleccionada.

Como se sabe que la asignación al azar resuelve el problema de la auto-selección, me preguntaba si la asignación al azar de una muestra no aleatoria realmente cambió algo.

Qué piensas ? Y también, ¿qué deberíamos hacer con todos estos experimentos psicológicos basados ​​en una muestra altamente autoseleccionada?

La aleatorización en una muestra no aleatoria aún puede mostrar que un efecto no se explica razonablemente por la variación aleatoria.

Por ejemplo, imagine que tenemos una población con dos subgrupos no reconocidos (con características algo diferentes *) de un tamaño aproximadamente igual, pero su muestra no es aleatoria, lo que da una división 80/20. Imaginemos 2 grupos de tratamiento de igual tamaño. La aleatorización (al menos con tamaños de muestra decentes) tenderá a dar una división cercana a 80/20 en cada grupo, por lo que los efectos del tratamiento se deben al tratamiento, en lugar de la asignación desigual de los grupos heterogéneos a los tratamientos.

* conduce a diferentes medios de referencia, digamos

El problema surge cuando desea extender la inferencia a alguna población objetivo distinta de la que representa su muestra (los auto-selectores); esto requiere suposiciones / un argumento para el que no tenga evidencia (como asumir que las diferencias de tratamiento serán consistentes para todos los subconjuntos de la población).

Para una situación similar, imagine probar un medicamento para la hipertensión solo en hombres, en comparación con un tratamiento estándar y un placebo. Suponga que los hombres están asignados al azar al grupo de tratamiento. Un efecto del tratamiento será real en el sentido de que realmente describe un efecto en los hombres. La dificultad vendrá al tratar de extender esa inferencia a las mujeres .

Entonces, si se llevan a cabo correctamente y se aleatorizan aparte del reclutamiento, un efecto significativo observado será lo que parece, pero se aplicará a lo que realmente muestreó, no necesariamente a cuál era su objetivo deseado: cruzar la brecha entre los dos puede requieren argumentos cuidadosos; tal argumento a menudo está ausente.

Cuando era estudiante, era bastante común que se llevaran a cabo experimentos de psicología en estudiantes de psicología, de quienes se esperaba que fueran voluntarios durante un cierto número de horas de tales experimentos (esto puede ser el caso, pero no tengo contacto regular con psicólogos). quienes hacen más experimentos). Con la aleatorización al tratamiento, las inferencias pueden haber sido válidas (dependiendo de lo que se hizo), pero se aplicarían a la población local de estudiantes de psicología autoseleccionados (en el sentido de que generalmente eligen para qué experimentos inscribirse), que están muy lejos de Una muestra aleatoria de la población en general.

Como se sabe que la asignación al azar resuelve el problema de la auto-selección, me preguntaba si la asignación al azar de una muestra no aleatoria realmente cambió algo.

En resumen, no. Piénselo de esta manera: tiene una urna con 100 bolas negras y 100 bolas blancas. Muestras 90 bolas negras y 10 bolas blancas de ella. El muestreo aleatorio de esta submuestra no le permitirá inferencia imparcial en la urna misma.

Y también, ¿qué deberíamos hacer con todos estos experimentos psicológicos basados ​​en una muestra altamente autoseleccionada?

La gente está de acuerdo en que el muestreo no aleatorio es un problema. Pero qué tan problemático es también una cuestión de su "teoría" del mecanismo que le interesa. Si su hipótesis trata con un mecanismo que debería ser básicamente el mismo para todos los humanos (es decir, experimentar una sensación de congelación cuando se sumerge en hielo) agua), entonces la selección no aleatoria no importa tanto. Desafortunadamente, eso no suele ser lo que nos interesa.

Existe una técnica diseñada para tratar los problemas que menciona, conocida como Bootstrapping. Bootstrapping es un enfoque en el que genera nuevas muestras sintéticas al extraer de su grupo de muestras real con reemplazo. Luego, realiza estadísticas sobre cada uno de esos grupos de muestras sintéticas y compara las estadísticas entre conjuntos.

Esto tiene una gran ventaja de permitirle utilizar una gran cantidad de herramientas adicionales en sus estadísticas porque estas muestras sintéticas provienen de una distribución conocida. Luego puede determinar qué tan buenos son sus estimadores para manejar estos casos sintéticos. Si encuentra que los estimadores para todas sus muestras sintéticas convergen muy bien en el mismo resultado, los supuestos de bootstrapping le permiten inferir que sus estimadores, cuando se aplican a la muestra completa, proporcionan buenas estimaciones para la población desconocida. Si, por otro lado, encuentra que sus estimadores arrojan resultados muy diferentes del conjunto de muestras sintéticas al conjunto de muestras sintéticas, debe inferir que sus estimadores, cuando se aplican a la muestra completa, pueden no proporcionar una estimación muy buena para la población desconocida.

Este enfoque de arranque puede usarse para validar si la aleatorización de su muestra no aleatoria es suficiente. No puede probarlo, por supuesto, pero se ha utilizado como una herramienta para mejorar la credibilidad al verificar que su muestreo aleatorio sea lo suficientemente aleatorio.