Inferencia estadística cuando la muestra "es" la población

Imagine que tiene que informar sobre el número de candidatos que anualmente toman un examen determinado. Parece bastante difícil inferir el% de éxito observado, por ejemplo, en una población más amplia debido a la especificidad de la población objetivo. Por lo tanto, puede considerar que estos datos representan a toda la población.

¿Los resultados de las pruebas indican que las proporciones de hombres y mujeres son realmente diferentes? ¿Una prueba que compara las proporciones observadas y teóricas parece ser correcta, ya que considera una población completa (y no una muestra)?

Puede haber opiniones diferentes sobre esto, pero trataría los datos de la población como una muestra y asumiría una población hipotética, luego haría inferencias de la manera habitual. Una forma de pensar en esto es que existe un proceso subyacente de generación de datos responsable de los datos recopilados, la distribución de "población".

En su caso particular, esto podría tener aún más sentido ya que tendrá cohortes en el futuro. Entonces su población son realmente cohortes que toman la prueba incluso en el futuro. De esta manera, podría tener en cuenta las variaciones basadas en el tiempo si tiene datos de más de un año, o tratar de tener en cuenta los factores latentes a través de su modelo de error. En resumen, puede desarrollar modelos más ricos con mayor poder explicativo.

En realidad, si estás realmente seguro de que tienes a toda la población, incluso no hay necesidad de entrar en estadísticas. Entonces sabes exactamente qué tan grande es la diferencia, y ya no hay ninguna razón para probarla. Un error clásico es utilizar la significación estadística como significación "relevante". Si tomaste muestras de la población, la diferencia es cuál es.

Por otro lado, si reformula su hipótesis, los candidatos pueden verse como una muestra de posibles candidatos, lo que permitiría realizar pruebas estadísticas. En este caso, probaría en general si los hombres y las mujeres difieren en la prueba en cuestión.

Como dijo ars, puede usar pruebas de varios años y agregar tiempo como factor aleatorio. Pero si su interés realmente está en las diferencias entre estos candidatos en esta prueba en particular, no puede usar la generalización y la prueba no tiene sentido.

Tradicionalmente, la inferencia estadística se enseña en el contexto de las muestras de probabilidad y la naturaleza del error de muestreo. Este modelo es la base para la prueba de significancia. Sin embargo, hay otras formas de modelar desviaciones sistemáticas del azar y resulta que nuestras pruebas paramétricas (basadas en muestreo) tienden a ser buenas aproximaciones de estas alternativas.

Las pruebas paramétricas de hipótesis se basan en la teoría de muestreo para producir estimaciones de error probable. Si se toma una muestra de un tamaño dado de una población, el conocimiento de la naturaleza sistemática del muestreo hace que las pruebas y los intervalos de confianza sean significativos. Con una población, la teoría de muestreo simplemente no es relevante y las pruebas no son significativas en el sentido tradicional. La inferencia es inútil, no hay nada que inferir, solo está la cosa ... el parámetro en sí.

Algunos evitan esto apelando a las superpoblaciones que representa el censo actual. Considero que estas apelaciones no son convincentes: las pruebas paramétricas se basan en el muestreo de probabilidad y sus características. Una población en un momento dado puede ser una muestra de una población más grande a lo largo del tiempo y el lugar. Sin embargo, no veo ninguna forma en que uno pueda argumentar legítimamente que esta es una muestra aleatoria (o más generalmente cualquier forma de probabilidad). Sin una muestra de probabilidad, la teoría de muestreo y la lógica tradicional de prueba simplemente no se aplican. También puede realizar una prueba con base en una muestra de conveniencia.

Claramente, para aceptar las pruebas cuando se utiliza una población, debemos prescindir de esas pruebas en los procedimientos de muestreo. Una forma de hacerlo es reconocer la estrecha conexión entre nuestras pruebas teóricas de muestra, como t, Z y F, y los procedimientos de aleatorización. Las pruebas de aleatorización se basan en la muestra disponible. Si recopilo datos sobre el ingreso de hombres y mujeres, el modelo de probabilidad y la base de nuestras estimaciones de error son asignaciones aleatorias repetidas de los valores de datos reales. Pude comparar las diferencias observadas entre los grupos con una distribución basada en esta aleatorización. (Hacemos esto todo el tiempo en experimentos, por cierto, donde el muestreo aleatorio de un modelo de población rara vez es apropiado).

Ahora, resulta que las pruebas teóricas de muestra son a menudo buenas aproximaciones de las pruebas de aleatorización. Entonces, en última instancia, creo que las pruebas de poblaciones son útiles y significativas dentro de este marco y pueden ayudar a distinguir la variación sistemática de la casualidad, al igual que con las pruebas basadas en muestras. La lógica utilizada para llegar allí es un poco diferente, pero no tiene mucho efecto sobre el significado práctico y el uso de las pruebas. Por supuesto, podría ser mejor usar pruebas de aleatorización y permutación directamente dado que están fácilmente disponibles con toda nuestra potencia informática moderna.

Suponga que los resultados indican que los candidatos difieren en cuanto a género. Por ejemplo, la proporción de quienes completaron las pruebas es la siguiente: 40% mujeres y 60% hombres. Para sugerir lo obvio, el 40% es diferente del 60%. Ahora lo importante es decidir: 1) su población de interés; 2) cómo se relacionan sus observaciones con la población de interés. Aquí hay algunos detalles sobre estos dos problemas:

1. Si su población de interés es solo los candidatos que ha observado (p. Ej., Los 100 candidatos que solicitaron ingreso a una universidad en 2016), no necesita informar las pruebas de significación estadística. Esto se debe a que su población de interés fue muestreada por completo ... todo lo que le importa son los 100 candidatos sobre los que tiene datos completos. Es decir, el 60% es, punto final, diferente al 40%. El tipo de pregunta que esta respuesta es, ¿hubo diferencias de género en la población de 100 que se aplicaron al programa? Esta es una pregunta descriptiva y la respuesta es sí.

2. Sin embargo, muchas preguntas importantes son sobre lo que sucederá en diferentes entornos. Es decir, muchos investigadores quieren proponer tendencias sobre el pasado que nos ayuden a predecir (y luego planificar) el futuro. Una pregunta de ejemplo a este respecto sería: ¿Qué posibilidades hay de que las pruebas futuras de los candidatos sean diferentes en términos de género? La población de interés es entonces más amplia que en el escenario # 1 anterior. En este punto, una pregunta importante es: ¿Es probable que sus datos observados sean representativos de las tendencias futuras? Esta es una pregunta inferencial y, según la información proporcionada por el póster original, la respuesta es: no lo sabemos.

En resumen, las estadísticas que informe dependen del tipo de pregunta que desea responder.

Pensar en el diseño de investigación básica puede ser de gran ayuda (intente aquí: http://www.socialresearchmethods.net/kb/design.php ). Pensar en superpoblaciones puede ser de ayuda si desea información más avanzada (aquí hay un artículo que puede ayudar: http://projecteuclid.org/euclid.ss/1023798999#ui-tabs-1 ).

Si considera que lo que está midiendo es un proceso aleatorio, entonces sí, las pruebas estadísticas son relevantes. Tomemos, por ejemplo, lanzar una moneda 10 veces para ver si es justo. Obtienes 6 caras y 4 colas, ¿qué concluyes?