Intervalo de confianza e incertidumbre del valor P para la prueba de permutación

Estoy aprendiendo pruebas de aleatorización ahora mismo. Se me ocurren dos preguntas:

1. Sí, es fácil e intuitivo cómo se calcula el valor p con la prueba de aleatorización (que creo que es lo mismo que la prueba de permutación). Sin embargo, ¿cómo podríamos generar también un intervalo de confianza del 95% como lo hacemos con las pruebas paramétricas normales?

2. Mientras leo un documento de la Universidad de Washington sobre pruebas de permutación , hay una oración en la página 13 que dice:

   Con 1000 permutaciones ..., la incertidumbre cerca de p = 0.05 es aproximadamente .$\pm 1\%$

   Me pregunto cómo conseguimos esta incertidumbre.

Sin embargo, ¿cómo podríamos generar también un intervalo de confianza del 95% como lo hacemos con las pruebas paramétricas normales?

Aquí hay una forma de generar un intervalo a partir de una prueba de remuestreo, aunque no siempre es apropiado considerarlo como un intervalo de confianza . Para un ejemplo específico, realice una prueba para una diferencia de dos muestras en las medias. Considere cambiar la segunda muestra por (que puede ser positiva o negativa). Entonces, el conjunto de valores que conduciría al no rechazo de la prueba en el nivel podría usarse como un intervalo de confianza nominalmente para la diferencia de medias.$^\dagger$$\delta$$\delta$$\alpha$$1-\alpha$

$\dagger$ Algunos autores (p. ej. [1], p364 y siguientes , [2]) llaman a un intervalo construido de esta manera (valores de parámetros no rechazados por la prueba) un intervalo de consonancia , que es un nombre mejor que el intervalo de confianza para ello (aunque muchas personas simplemente ignoran la diferencia; por ejemplo, creo que Cox y Hinkley llaman a estos intervalos de confianza) porque el enfoque no necesariamente proporciona intervalos que tengan la cobertura deseada (en muchas situaciones es posible ver que debería); el nombre transmite algo sobre lo que el intervalo le dice (un intervalo de valores consistente con los datos).

Gelman incluye una discusión de por qué a veces puede ser problemático considerarlos universalmente intervalos de confianza aquí .

Sin embargo, no es difícil explorar la cobertura bajo determinados conjuntos de supuestos (a través de la simulación), y no faltan personas que llaman a los intervalos de arranque "intervalos de confianza" (incluso cuando a veces se ve que no tienen nada como la cobertura reclamada).

En [3] se discuten más detalles sobre cómo hacerlo en el caso de dos muestras de diferencia en las medias, donde se llaman intervalos de confianza de aleatorización y se hace un reclamo sobre cuándo son exactos (qué reclamo no tengo) T trató de evaluar).

Con 1000 permutaciones ..., la incertidumbre cerca de p = 0.05 es aproximadamente ± 1%.

Me pregunto cómo conseguimos esta incertidumbre.

El valor p estimado es una proporción binomial directa. Por lo tanto, tiene el mismo error estándar que cualquier otra proporción binomial, .$\sqrt{\frac{p(1-p)}{n}}$

Así que si y , el error estándar de la proporción observada es de aproximadamente . Un IC del sería [Alternativamente, es aproximadamente errores estándar de cada lado, lo que correspondería a un intervalo de confianza para el valor p subyacente de un bit por encima del ]$p = 0.05$$n=1000$$0.0069$$90\%$$\pm 1.13\%$$\pm 1\%$$1.45$$85\%$

Entonces, al menos en un sentido aproximado, podría hablar de que la incertidumbre es "aproximadamente 1%"

-

[1] Kempthorne and Folks (1971),
Probabilidad, Estadística y análisis de datos ,
Iowa State University Press

[2] LaMotte LR y Volaufová J, (1999),
"Intervalos de predicción a través de intervalos de resonancia",
Revista de la Royal Statistical Society. Serie D (El Estadístico) , vol. 48, núm. 3, págs. 419-424

[3] Ernst, MD (2004),
"Métodos de permutación: una base para la inferencia exacta", Statistical Science , vol. 19, núm. 4, 676–685