¿Es posible probar una hipótesis nula?

Como dice la pregunta: ¿Es posible probar la hipótesis nula? Desde mi comprensión (limitada) de la hipótesis, la respuesta es no, pero no puedo dar una explicación rigurosa. ¿La pregunta tiene una respuesta definitiva?

Si está hablando del mundo real y no de la lógica formal, la respuesta es, por supuesto. La "prueba" de cualquier cosa por medios empíricos depende de la fuerza de la inferencia que se puede hacer, que a su vez está determinada por la validez del proceso de prueba según lo evaluado a la luz de todo lo que uno sabe sobre cómo funciona el mundo (es decir, la teoría). Cada vez que uno acepta que ciertos resultados empíricos justifican el rechazo de la hipótesis "nula", uno necesariamente está haciendo juicios de este tipo (validez de diseño; el mundo funciona de cierta manera), por lo que tener que hacer los supuestos análogos necesarios para justificar inferir "prueba de la nulo " no es problemático en absoluto.

Entonces, ¿cuáles son los supuestos análogos? Aquí hay un ejemplo de "probar lo nulo" que es común en las ciencias de la salud y en las ciencias sociales. (1) Defina "nulo" o "sin efecto" de una manera que sea prácticamente significativa. Digamos que creo que debo comportarme como si no hubiera una diferencia significativa entre 2 tratamientos, t1 y t2, para una enfermedad, a menos que uno brinde un 3% más de posibilidades de recuperación que el otro. (2) Calcule un diseño válido para probar si hay algún efecto, en este caso, si existe una diferencia en la probabilidad de recuperación entre t1 y t2. (3) Realice un análisis de potencia para determinar si el tamaño de la muestra es necesario para generar una probabilidad suficientemente alta, uno en el que confío confiando dado qué 'suponiendo que exista. Por lo general, la gente dice que el poder es suficiente si la probabilidad de observar un efecto específico en un alfa específico es de al menos 0,80, pero el nivel correcto de confianza es realmente una cuestión de cuán reacio es al error, lo mismo que cuando selecciona p -valor umbral para "rechazar el nulo". (4) Realice la prueba empírica y observe el efecto. Si está por debajo del valor especificado de "diferencia significativa" - 3% en mi ejemplo - usted ha "probado" que "no tiene efecto".

Para un buen tratamiento de este asunto, vea Streiner, DL Los unicornios existen: un tutorial sobre "Probar" la hipótesis nula . Canadian Journal of Psychiatry 48, 756-761 (2003).

Respuesta desde el lado matemático: es posible si y solo si "las hipótesis son mutuamente singulares".

Si por "probar" quieres decir que tienes una regla que puede "aceptar" (debería decir eso :)) con una probabilidad de cometer un error que es cero, entonces estás buscando lo que podría llamarse "prueba ideal" y esto existe:$H_0$

Si está probando si una variable aleatoria se extrae de P 0 o de P 1 (es decir, prueba H 0 : X ⇝ P 0 versus H 1 : X ⇝ P 1 ), entonces existe una prueba ideal si y solo si P 1 ⊥ P 0 ( P 1 y P 0 son "mutuamente singulares"). $X$$P_0$$P_1$$H_0: X\leadsto P_0$$H_1: X\leadsto P_1$ $P_1\bot P_0$$P_1$$P_0$

Si no sabe lo que significa "mutuamente singular", puedo darle un ejemplo: y U [ 3 , 4 ] (uniformes en [ 0 , 1 $\mathcal{U}[0,1]$$\mathcal{U}[3,4]$$[0,1]$ y ) son mutuamente singulares . Esto significa que si quieres probar$[3,4]$

versus H 1$H_0: X\leadsto \mathcal{U}[0,1]$$H_1: X\leadsto \mathcal{U}[3,4]$

entonces existe una prueba ideal (adivina qué es :)): ¡una prueba que nunca está mal!

Si y P 0 no son mutuamente singulares, entonces esto no existe (¡esto resulta del "solo si es parte")!$P_1$$P_0$

En términos no matemáticos, esto significa que puede probar el valor nulo si y solo si la prueba ya está en sus supuestos (es decir, si y solo si ha elegido la hipótesis y H 1 que son tan diferentes que una sola observación de H $H_0$$H_1$$H_0$ no puede identificarse como uno de y viceversa). $H_1$

Sí, hay una respuesta definitiva. Esa respuesta es: No, no hay forma de probar una hipótesis nula. Hasta donde sé, lo mejor que puede hacer es arrojar intervalos de confianza alrededor de su estimación y demostrar que el efecto es tan pequeño que bien podría ser prácticamente inexistente.

Para mí, el marco teórico de decisión presenta la forma más fácil de entender la "hipótesis nula". Básicamente dice que debe haber al menos dos alternativas: la hipótesis nula y al menos una alternativa. Entonces el "problema de decisión" es aceptar una de las alternativas y rechazar las otras (aunque necesitamos ser precisos sobre lo que queremos decir con "aceptar" y "rechazar" la hipótesis). Veo la pregunta de "¿podemos probar la hipótesis nula?" como análogo a "¿podemos siempre tomar la decisión correcta?". Desde la perspectiva de la teoría de la decisión, la respuesta es claramente sí si

1) no hay incertidumbre en el proceso de toma de decisiones, ya que es un ejercicio matemático determinar cuál es la decisión correcta.

2) aceptamos todas las demás premisas / suposiciones del problema. La más crítica (creo) es que la hipótesis entre la que estamos decidiendo es exhaustiva, y una (y solo una) de ellas debe ser verdadera, y las otras deben ser falsas.

Desde un punto de vista más filosófico, no es posible "probar" nada, en el sentido de que la "prueba" depende completamente de los supuestos / axiomas que conducen a esa "prueba". Veo la prueba como una especie de equivalencia lógica en lugar de un "hecho" o "verdad" en el sentido de que si la prueba es incorrecta, los supuestos que la condujeron también lo son.

Aplicando esto a la "prueba de la hipótesis nula", puedo "demostrar" que es verdad simplemente suponiendo que es verdad, o suponiendo que es verdad si se cumplen ciertas condiciones (como el valor de una estadística).

Sí, es posible probar el nulo, exactamente en el mismo sentido que es posible probar cualquier alternativa al nulo. En un análisis bayesiano, es perfectamente posible que las probabilidades a favor de la nula frente a cualquiera de las alternativas propuestas sean arbitrariamente grandes. Además, es falso afirmar, como afirman algunas de las respuestas anteriores, que solo se puede probar el nulo si las alternativas son disjuntas (no se superponen con el nulo). En un análisis bayesiano, cada hipótesis tiene una distribución de probabilidad previa. Esta distribución distribuye una unidad de masa de probabilidad previa sobre las alternativas propuestas. La hipótesis nula pone toda la probabilidad previa en una sola alternativa. En principio, las alternativas al nulo pueden poner toda la probabilidad previa en alguna alternativa no nula (en otro "punto"), Pero esto es raro. En general, las alternativas de cobertura, es decir, extienden la misma masa de probabilidad previa sobre otras alternativas, ya sea excluyendo la alternativa nula o, más comúnmente, incluyendo la alternativa nula. La pregunta se convierte entonces en qué hipótesis pone la probabilidad más previa de dónde caen los datos experimentales. Si los datos caen estrechamente donde el nulo dice que deberían caer, entonces será la favorita (entre las hipótesis propuestas) AUNQUE ESTÉ INCLUIDO (INCLUIDO, NO EXCLUSIVAMENTE MUTUAMENTE CON) LAS ALTERNATIVAS. La creencia de que no es posible que una alternativa anidada sea más probable que el conjunto en el que está anidada refleja la incapacidad de distinguir entre probabilidad y verosimilitud. Si bien es imposible que un componente de un conjunto sea menos probable que el conjunto completo, es perfectamente posible que la probabilidad posterior de un componente de un conjunto de hipótesis sea mayor que la probabilidad posterior del conjunto como un todo. La probabilidad posterior de una hipótesis es el producto de la función de probabilidad y la distribución de probabilidad previa que plantea la hipótesis. Si una hipótesis coloca toda la probabilidad previa en el lugar correcto (p. Ej., En el nulo), entonces tendrá una mayor probabilidad posterior que una hipótesis que ponga parte de la probabilidad previa en el lugar incorrecto (no en el nulo). La probabilidad posterior de una hipótesis es el producto de la función de probabilidad y la distribución de probabilidad previa que plantea la hipótesis. Si una hipótesis coloca toda la probabilidad previa en el lugar correcto (p. Ej., En el nulo), entonces tendrá una mayor probabilidad posterior que una hipótesis que ponga parte de la probabilidad previa en el lugar incorrecto (no en el nulo). La probabilidad posterior de una hipótesis es el producto de la función de probabilidad y la distribución de probabilidad previa que plantea la hipótesis. Si una hipótesis coloca toda la probabilidad previa en el lugar correcto (p. Ej., En el nulo), entonces tendrá una mayor probabilidad posterior que una hipótesis que ponga parte de la probabilidad previa en el lugar incorrecto (no en el nulo).

Técnicamente, no, no se puede probar una hipótesis nula. Para cualquier tamaño de muestra fijo y finito, siempre habrá un tamaño de efecto pequeño pero distinto de cero para el cual su prueba estadística prácticamente no tiene potencia. Sin embargo, de manera más práctica, puede demostrar que está dentro de un pequeño épsilon de la hipótesis nula, de modo que las desviaciones menores que este épsilon no son prácticamente significativas.

Hay un caso donde una prueba es posible. Supongamos que tiene una escuela y su hipótesis nula es que el número de niños y niñas es igual. A medida que aumenta el tamaño de la muestra, la incertidumbre en la proporción de niños y niñas tiende a reducirse, llegando finalmente a la certeza (que es lo que supongo que quiere decir por prueba) cuando se muestrea a toda la población de alumnos.

Pero si no tiene una población finita, o si está muestreando con reemplazo y no puede detectar individuos muestreados, entonces no puede reducir la incertidumbre a cero con una muestra finita.

Me gustaría discutir aquí un punto que muchos usuarios están algo confundidos. ¿Cuál es el significado real de la declaración de hipótesis nula H0: p = 0? ¿Estamos tratando de determinar si el parámetro p es cero? Por supuesto que no, no hay forma de lograr ese objetivo.

Lo que pretendemos establecer es que, dado el conjunto de datos, el valor del parámetro evaluado es (o no) imperceptible desde cero. Recuerde que NHST es "injusto" hacia las hipótesis alternativas: al nulo se le atribuye un nivel de confianza del 95%, y solo el 5% a la alternativa. En consecuencia, un resultado "no significativo" no significa que se mantenga H0 sino simplemente que no encontramos evidencia suficiente de que la alternativa sea probable.