Comprobación de cordura: ¿qué tan bajo puede ir un valor p?

24

Estoy usando una prueba ranksum para comparar la media de dos muestras ( ) y han encontrado que son significativamente diferentes con: . ¿Debería sospechar de un valor tan pequeño o debería atribuirlo al alto poder estadístico asociado con tener una muestra muy grande? ¿Existe algo como un valor sospechosamente bajo ? $n=120000$ p = 1.12E-207 $p$ $p$

hypothesis-testing p-value sample-size power N26
fuente

Esto es casi un duplicado de stats.stackexchange.com/questions/78839 .

ameba dice Reinstate Monica

30

Los valores P en computadoras estándar (que usan flotadores de doble precisión IEEE) pueden llegar a ser tan bajos como aproximadamente . Estos pueden ser cálculos legítimamente correctos cuando los tamaños de los efectos son grandes y / o los errores estándar son bajos. Su valor, si se calcula con una T o distribución normal, corresponde a un tamaño de efecto de aproximadamente 31 errores estándar. Recordando que los errores estándar generalmente se escalan con la raíz cuadrada recíproca de , que refleja una diferencia de menos de 0.09 desviaciones estándar (suponiendo que todas las muestras son independientes). En la mayoría de las aplicaciones, no habría nada sospechoso o inusual sobre tal diferencia. $10^{-303}$ $n$

Interpretar tales valores p es otra cuestión. Ver un número tan pequeño como o incluso como una probabilidad excede los límites de la razón, dadas todas las formas en que es probable que la realidad se desvíe del modelo de probabilidad que sustenta esta p- Cálculo del valor. Una buena opción es informar que el valor p es menor que el umbral más pequeño que cree que el modelo puede soportar razonablemente: a menudo entre y . $10^{-207}$ $10^{-10}$ $0.01$ $0.0001$

whuber
fuente

13

p < 10^{- 26}

$p<10^{-26}$

p < 0.001

$p<0.001$

44

@whuber - Bien dicho.

rolando2

2

(+1) En algún momento, es más probable que el gobierno esté volteando partes de su RAM de forma remota con la tecnología Super Spy ...

JMS

44

5 \times 10^{- 324}

$5 \times 10^{-324}$

p

$p$

p

$p$

1

10^{- 308}

$10^{-308}$

16

No hay nada sospechoso: los valores p extremadamente bajos como el suyo son bastante comunes cuando los tamaños de muestra son grandes (como el suyo es para comparar medianas). Como mencionó Whuber, normalmente se informa que dichos valores de p son inferiores a algún umbral (por ejemplo, <0.001).

Una cosa a tener en cuenta es que los valores p solo le dicen si la diferencia en la mediana es estadísticamente significativa. Tendrá que decidir si la diferencia es lo suficientemente significativa en magnitud: por ejemplo, para conjuntos de muestras grandes, las diferencias extremadamente pequeñas en medias / medianas pueden ser estadísticamente significativas, pero puede que no signifique mucho.

xuexue
fuente

3

Un valor p puede alcanzar un valor de 0.

$\theta$ $\mathcal{H}_0: \theta = 1$ $X=1.1$

AdamO
fuente

Comprobación de cordura: ¿qué tan bajo puede ir un valor p?

Respuestas: