¿Por qué los estadísticos dicen que un resultado no significativo significa "no se puede rechazar lo nulo" en lugar de aceptar la hipótesis nula?

44

Las pruebas estadísticas tradicionales, como la prueba t de dos muestras, se centran en tratar de eliminar la hipótesis de que no hay diferencia entre una función de dos muestras independientes. Luego, elegimos un nivel de confianza y decimos que si la diferencia de medias está más allá del nivel del 95%, podemos rechazar la hipótesis nula. Si no, "no podemos rechazar la hipótesis nula". Esto parece implicar que tampoco podemos aceptarlo. ¿Significa que no estamos seguros de si la hipótesis nula es cierta?

Ahora, quiero diseñar una prueba donde mi hipótesis es que una función de dos muestras es la misma (que es lo opuesto a las pruebas estadísticas tradicionales donde la hipótesis es que las dos muestras son diferentes). Entonces, mi hipótesis nula se convierte en que las dos muestras son diferentes. ¿Cómo debo diseñar tal prueba? ¿Será tan simple como decir que si el valor p es menor al 5% podemos aceptar la hipótesis de que no hay una diferencia significativa?

hypothesis-testing statistical-significance confidence-interval equivalence tost ryu576
fuente

Muy relacionado: ¿El hecho de no rechazar el nulo en el enfoque de Neyman-Pearson significa que uno debería "aceptarlo"?

ameba dice Reinstate Monica

diferencia de medias está más allá del nivel del 95%, podemos rechazar la hipótesis nula. El 95% no es un "nivel", está aquí en 95 casos de 100 casos (comparaciones), la diferencia en la estadística de la muestra surge debido a las fluctuaciones del muestreo. significa que se acepta nulo en alfa = .05. Decir 95% de nivel no es el término correcto.

Subhash C. Davar

44

Tradicionalmente, la hipótesis nula es un valor puntual. (Normalmente es , pero de hecho puede ser cualquier valor de punto). La hipótesis alternativa es que el valor verdadero es cualquier valor distinto del valor nulo . Debido a que una variable continua (como una diferencia de medias) puede tomar un valor que es indefinidamente cercano al valor nulo pero que aún no es del todo igual y, por lo tanto, hace que la hipótesis nula sea falsa, no se puede probar una hipótesis nula de punto tradicional. $0$

Imagine que su hipótesis nula es , y la diferencia media que observa es . ¿Es razonable suponer que la hipótesis nula es verdadera? Aún no lo sabes; Sería útil saber cómo se ve nuestro intervalo de confianza . Digamos que su intervalo de confianza del 95% es . Ahora, ¿deberíamos concluir que el verdadero valor es ? No me sentiría cómodo diciendo eso, porque el IC es muy amplio y hay muchos valores grandes distintos de cero que podríamos sospechar razonablemente que son consistentes con nuestros datos. Entonces, digamos que reunimos mucha, mucha más información, y ahora nuestra diferencia de medias observada es , pero el IC del 95% es $0$ $0.01$ $(-4.99,\ 5.01)$ $0$ $0.01$ $(0.005,\ 0.015)$ . La diferencia media observada se ha mantenido igual (lo que sería sorprendente si realmente sucediera), pero el intervalo de confianza ahora excluye el valor nulo. Por supuesto, esto es solo un experimento mental, pero debería aclarar las ideas básicas. Nunca podemos probar que el verdadero valor es un valor puntual particular; solo podemos (posiblemente) refutar que es un valor puntual. En las pruebas de hipótesis estadísticas, el hecho de que el valor p sea> 0.05 (y que el IC del 95% incluye cero) significa que no estamos seguros de si la hipótesis nula es verdadera .

En cuanto a su caso concreto, no puede construir una prueba donde la hipótesis alternativa es que la diferencia de medias es y la hipótesis nula es otra cosa que cero. Esto viola la lógica de la prueba de hipótesis. Es perfectamente razonable que sea su hipótesis científica sustantiva, pero no puede ser su hipótesis alternativa en una situación de prueba de hipótesis. $0$

¿Entonces que puedes hacer? En esta situación, utiliza pruebas de equivalencia. (Es posible que desee leer algunos de nuestros hilos sobre este tema haciendo clic en la etiqueta de equivalencia ). La estrategia típica es utilizar el enfoque de pruebas de dos lados. Muy brevemente, selecciona un intervalo dentro del cual consideraría que la verdadera diferencia de medias podría ser $0$ para todo lo que pueda importarle, realice una prueba unilateral para determinar si el valor observado es menor que el límite superior de ese intervalo, y otra prueba unilateral para ver si es mayor que el límite inferior. Si ambas pruebas son significativas, entonces ha rechazado la hipótesis de que el valor verdadero está fuera del intervalo que le interesa. Si uno (o ambos) no son significativos, no puede rechazar la hipótesis de que el valor verdadero está fuera del intervalo.

Por ejemplo, supongamos que cualquier cosa dentro del intervalo está tan cerca de cero que cree que es esencialmente igual a cero para sus propósitos, por lo que usa eso como su hipótesis sustantiva. Ahora imagine que obtiene el primer resultado descrito anteriormente. Aunque cae dentro de ese intervalo, no podrá rechazar la hipótesis nula en ninguna prueba t unilateral, por lo que no podrá rechazar la hipótesis nula. Por otro lado, imagine que obtuvo el segundo resultado descrito anteriormente. Ahora encontrará que el valor observado se encuentra dentro del intervalo designado, y se puede demostrar que es menor que el límite superior y mayor que el límite inferior, por lo que puede rechazar el valor nulo. (Vale la pena señalar que puede rechazar ambos $(-0.02,\ 0.02)$ $0.01$ la hipótesis de que el valor verdadero es , y la hipótesis de que el valor verdadero se encuentra fuera del intervalo , que puede parecer desconcertante al principio, pero es totalmente coherente con la lógica de la prueba de hipótesis). $0$ $(-0.02,\ 0.02)$

gung - Restablece a Monica
fuente

1

H_{0}

$H_0$

H_{0}

$H_0$

1

H_{0}

$H_0$

H_{0} : δ \leq 0

$H_0: \delta\le 0$

δ

$\delta$

> 0

$>0$

< 0

$<0$

1

H_{0}

$H_0$

44

δ \neq 0

$\delta \neq 0$

δ \leq 0

$\delta \leq 0$

H_{0} : δ \leq 0

$H_0:\,\delta \leq 0$

1

H_{0} : δ < 0

$H_0:\delta<0$

H_{0} : δ = 0

$H_0:\delta=0$

δ > 0

$\delta>0$

δ < 0

$\delta<0$ en realidad puede llevar a aceptar uno de ellos (o un resultado no concluyente). Además, las pruebas unilaterales tienen más sentido desde la perspectiva bayesiana. Además, la predicción científica debería tener una dirección. Creo que empiezo a pensar que las pruebas unilaterales no son lo suficientemente apreciadas.

ameba dice Reinstate Monica

28

Considere el caso en el que la hipótesis nula es que una moneda tiene 2 caras, es decir, la probabilidad de caras es 1. Ahora los datos son el resultado de lanzar una moneda una sola vez y ver caras. Esto da como resultado un valor p de 1.0 que es mayor que cualquier alfa razonable. ¿Significa esto que la moneda tiene 2 caras? podría ser, pero también podría ser una moneda justa y vimos caras debido al azar (sucedería el 50% del tiempo con una moneda justa). Entonces, el alto valor p en este caso dice que los datos observados son perfectamente consistentes con el valor nulo, pero también son consistentes con otras posibilidades.

Al igual que un veredicto de "No culpable" en la corte puede significar que el acusado es inocente, también puede ser porque el acusado es culpable pero no hay suficientes pruebas. Lo mismo con la hipótesis nula que no podemos rechazar porque el nulo podría ser verdadero, o podría ser que no tenemos suficiente evidencia para rechazar aunque sea falso.

Greg Snow
fuente

3

Me gusta el ejemplo de "No culpable". Yendo un paso más allá, reabrir casos basados en evidencia de ADN que no sabíamos cómo usar en el pasado y que se revocaran algunas condenas es un ejemplo perfecto de cómo agregar más datos puede ser todo lo que se necesita para tener suficiente evidencia.

Thomas Speidel

7

La ausencia de evidencia no es evidencia de ausencia (el título de un artículo de Altman, Bland sobre BMJ). Los valores P solo nos dan evidencia de una ausencia cuando los consideramos significativos. De lo contrario, no nos dicen nada. Por lo tanto, ausencia de evidencia. En otras palabras: no lo sabemos y más datos pueden ayudar.

Thomas Speidel
fuente

5

$H_0$

$H_1$ $H_0$

$H_0$

Si tenemos dos muestras que esperamos estén idénticamente distribuidas, nuestra hipótesis nula es que las muestras son las mismas. Si tenemos dos muestras que esperaríamos que sean (tremendamente) diferentes, nuestra hipótesis nula es que son diferentes.

SomeEE
fuente

Y qué pasa si no tenemos expectativas ... podría ser que simplemente no lo sabemos. Además, ¿cómo funcionará la regla de decisión si queremos rechazar la hipótesis de que las dos muestras son diferentes?

ryu576

En el caso de que no tenga expectativas, desea mantener pequeños ambos tipos de errores, pero esto no siempre es posible. Necesita una variable adicional (como aumentar el tamaño de la muestra) para hacerlo.

SomeEE

2

Dado que podemos rechazar el valor nulo pero no demostrarlo, el valor nulo suele ser lo contrario de lo que queremos demostrar o suponer que es verdadero. Si creemos que hay una diferencia, entonces el nulo no debería ser una diferencia para que pueda refutarlo.

Greg Snow

@ Greg Ese es un buen enfoque si sabes cuál quieres que sea cierto, que probablemente sea el caso habitual.

SomeEE

1

"Lo que esperas" y "que son diferentes" no pueden ser hipótesis estadísticas porque no son cuantitativas. Eso llega al quid de la cuestión: la asimetría en los roles entre las hipótesis nula y alternativa se deriva de la capacidad de determinar la distribución de muestreo del estadístico de prueba bajo el nulo, en comparación con la necesidad de parametrizar la distribución por el tamaño del efecto bajo el hipótesis alternativa. Tampoco es el caso de que "minimicemos el error Tipo I": eso nunca sucede (el mínimo siempre es 0). Las pruebas buscan un equilibrio entre las tasas de error Tipo I y II.

whuber

¿Por qué los estadísticos dicen que un resultado no significativo significa "no se puede rechazar lo nulo" en lugar de aceptar la hipótesis nula?

Respuestas: