¿Cuál es la intuición detrás de las muestras intercambiables bajo la hipótesis nula?

Las pruebas de permutación (también llamadas prueba de aleatorización, prueba de aleatorización o prueba exacta) son muy útiles y resultan útiles cuando t-testno se cumple el supuesto de distribución normal requerido por ejemplo y cuando se transforman los valores mediante la clasificación de prueba no paramétrica como Mann-Whitney-U-testconduciría a la pérdida de más información. Sin embargo, uno y solo un supuesto no debe pasarse por alto cuando se utiliza este tipo de prueba es el supuesto de intercambiabilidad de las muestras bajo la hipótesis nula. También es digno de mención que este tipo de enfoque también se puede aplicar cuando hay más de dos muestras como las implementadas en el coinpaquete R.

¿Puede utilizar un lenguaje figurativo o una intuición conceptual en inglés simple para ilustrar esta suposición? Esto sería muy útil para aclarar este problema pasado por alto entre los no estadísticos como yo.

Nota:
Sería muy útil mencionar un caso en el que aplicar una prueba de permutación no es válido o no es válido bajo el mismo supuesto.

Actualización:
Supongamos que tengo 50 sujetos recolectados de la clínica local en mi distrito al azar. Fueron asignados aleatoriamente al fármaco recibido o un placebo en una proporción de 1: 1. Todos se midieron para el parámetro 1 Par1en V1 (línea de base), V2 (3 meses después) y V3 (1 año después). Los 50 sujetos se pueden agrupar en 2 grupos según la función A; A positivo = 20 y A negativo = 30. También se pueden agrupar en otros 2 grupos según la característica B; B positivo = 15 y B negativo = 35.
Ahora, tengo valores de Par1todos los sujetos en todas las visitas. Bajo el supuesto de intercambiabilidad, ¿puedo hacer una comparación entre los niveles de Par1uso de la prueba de permutación si quisiera:
- Comparar sujetos con drogas con los que recibieron placebo en V2?
- ¿Comparar sujetos con la función A con los que tienen la función B en V2?
- ¿Comparar sujetos que tienen la característica A en V2 con los que tienen la característica A pero en V3?
- ¿En qué situación esta comparación sería inválida y violaría el supuesto de intercambiabilidad?

hypothesis-testing permutation-test exchangeability r statistical-significance loess data-visualization normal-distribution pdf ggplot2 kernel-smoothing probability self-study expected-value normal-distribution prior correlation time-series regression heteroscedasticity estimation estimators fisher-information data-visualization repeated-measures binary-data panel-data mathematical-statistics coefficient-of-variation normal-distribution order-statistics regression machine-learning one-class probability estimators forecasting prediction validation finance measurement-error variance mean spatial monte-carlo data-visualization boxplot sampling uniform chi-squared goodness-of-fit probability mixture theory gaussian-mixture regression statistical-significance p-value bootstrap regression multicollinearity correlation r poisson-distribution survival regression categorical-data ordinal-data ordered-logit regression interaction time-series machine-learning forecasting cross-validation binomial multiple-comparisons simulation false-discovery-rate r clustering frequency wilcoxon-mann-whitney wilcoxon-signed-rank r svm t-test missing-data excel r numerical-integration r random-variable lme4-nlme mixed-model weighted-regression power-law errors-in-variables machine-learning classification entropy information-theory mutual-information doctorado
fuente

Supongamos que tuviera cada observación en una hoja separada de papel de hojas sueltas y cuando le entregué la pila, me resbalé, y las hojas salieron volando en todas direcciones mientras se asentaban en el piso. Sería una pena que eso destruyera la validez de la prueba que esperaba realizar con esos datos. Si sus observaciones son intercambiables y estaba aplicando una prueba basada en eso, me consolaría y me diría que no se preocupe mientras me ayuda a recoger los papeles del piso. Si no es así, y la recopilación de datos fue especialmente costosa, podría necesitar correr por mi vida.

cardenal

Por otro lado, el orden sí importa para cosas como los datos de series temporales (en general) y las pruebas generalmente deben respetar este orden de manera apropiada.

Cardenal

@cardinal, aunque su historia intuitiva ha dibujado una imagen vívida de cómo se ve esta suposición, pero todavía estoy confundido sobre cómo juzgar si los valiosos documentos caídos eran intercambiables o no. ¡Puede correr para otro comentario si es posible!

doctorado

Respuestas:

Primero, la descripción no figurativa: intercambiabilidad significa que la distribución conjunta es invariable a las permutaciones de los valores de cada variable en la distribución conjunta (es decir, , etc.). Si este no es el caso, entonces contar permutaciones no es una forma válida de probar la hipótesis nula, ya que cada permutación tendrá un peso diferente (probabilidad / densidad). Las pruebas de permutación dependen de cada asignación de un conjunto dado de valores numéricos a sus variables que tienen la misma densidad / probabilidad. $f_{XYZ}(x = 1, y=3, z=2)=f_{XYZ}(x=3,y=2,z=1)$

Un ejemplo concreto donde la intercambiabilidad está ausente: tiene N frascos, cada uno con 100 boletos numerados. Los primeros frascos M tienen boletos con solo números impares del 1-200 (1 boleto por número), el resto de NM tiene boletos solo para números pares entre 1 y 200. Si selecciona un boleto de cada frasco al azar, obtendrá un conjunto distribución en resultados de muestra. En este caso, por lo tanto, no puede simplemente contar las permutaciones de los valores del 1 al N. En general, la intercambiabilidad falla cuando su muestra se puede estratificar en subgrupos (como lo hice con los frascos). La intercambiabilidad se restablecería si, en lugar de tomar 1 muestra de N frascos, tomaras N muestras de 1 frasco. Entonces, la distribución conjunta sería invariable a las permutaciones. $f(x_1=1,x_2=2,X_3=3...X_N=N)\neq f(x_1=N,x_2=N-1,X_3=N-2...X_N=1)$

fuente

+1, aunque la intercambiabilidad está bien explicada, pero aún así me topé tratando de aplicar la metáfora de los frascos en el estudio en cuestión. (por favor vea la actualización de la pregunta). Dada la duración de las visitas y el subgrupo basado en características, ¿cómo puedo juzgar si la comparación de estos valores sería intercambiable o no?

doctorado

@doctorado: parece que está estratificando sus grupos por factores que son relevantes para el resultado de Par1, ¿correcto? Siempre que esté utilizando permutaciones dentro de un cuadrante de fetures A / B en particular, entonces supongo que sus sujetos son intercambiables. Su primera prueba, que abarcará las características, deberá procesarse más antes de que pueda usar una prueba que se base en la intercambiabilidad. en particular, debe cuantificar el efecto del tratamiento y corregir los efectos confusos de las características A y B; de lo contrario, el tamaño del grupo influirá en los resultados generales (la paradoja de Simpson)

@ doctorado: me di cuenta de que mi comentario anterior puede haber sido un poco oblicuo con lo que desea: los frascos en su caso serían los pares de características, es decir (A +, B +), (A-, B +), (A +, B -), (B-, A-) para un total de 4 "frascos". ¿Eso ayuda a hacerlo más concreto?

Tks, pero lo que confunde a los no estadísticos como yo, es ¿cómo se puede juzgar si se cumplió o no esta suposición? a menudo hay pruebas para examinar supuestos, por ejemplo, para normalidad hay una prueba de Shapiro-Wilk. Pero me pregunto qué prueba examinaría la intercambiabilidad. de lo contrario, sería una definición muy difícil o vaga y dos estadísticos pueden no estar de acuerdo con este o aquel subgrupo. Como mencionó, dentro del cuadrante A / B no hay problema, pero dentro de Drug / Placebo mostró cierta preocupación. Entonces, ¿hay alguna prueba de fuego para esta suposición?

Doctorado

En cuanto a la intercambiabilidad, no existe una "prueba" para la intercambiabilidad. A diferencia de la independencia (que es comprobable), la intercambiabilidad es más una suposición de modelo que si hubiera tomado muestras repetidas como la que tomó, encontrará que cada permutación ocurre exactamente la misma fracción de tiempo. Solo tiene 1 muestra, por lo que no puede "probarla".