Si no podemos rechazar la hipótesis nula en un estudio grande, ¿no es evidencia de la nula?

59

Una limitación básica de la prueba de significación de hipótesis nula es que no permite que un investigador recopile evidencia a favor de la nula ( Fuente )

Veo esta afirmación repetida en varios lugares, pero no puedo encontrar justificación para ello. Si realizamos un estudio grande y no encontramos evidencia estadísticamente significativa contra la hipótesis nula , ¿no es esa evidencia de la hipótesis nula?

hypothesis-testing Atte Juvonen
fuente

3

Pero comenzamos nuestro análisis asumiendo que la hipótesis nula es correcta ... La suposición podría estar equivocada. Tal vez no tenemos suficiente poder, pero eso no significa que la suposición sea correcta.

SmallChess

13

Si no lo ha leído, le recomiendo La Tierra es redonda de Jacob Cohen (p <.05) . Él enfatiza que con un tamaño de muestra lo suficientemente grande, puede rechazar prácticamente cualquier hipótesis nula. También habla a favor del uso de tamaños de efectos e intervalos de confianza, y ofrece una presentación ordenada de los métodos bayesianos. Además, ¡es una delicia leer!

Dominic Comtois

77

Las hipótesis nulas pueden ser simplemente erróneas. ... no rechazar el nulo no es evidencia contra una alternativa suficientemente cercana.

Glen_b

3

Ver stats.stackexchange.com/questions/85903 . Pero vea también stats.stackexchange.com/questions/125541 . Si al realizar "un estudio grande" te refieres a "lo suficientemente grande como para tener un alto poder para detectar el efecto mínimo de interés", entonces el hecho de no rechazar puede interpretarse como aceptar el nulo.

ameba dice Reinstate Monica

77

Considere la paradoja de confirmación de Hempel. Examinar un cuervo y ver que es negro es apoyo para "todos los cuervos son negros". Pero examinar lógicamente un objeto no negro y ver que no es un cuervo, también debe respaldar la propuesta, ya que las declaraciones "todos los cuervos son negros" y "todos los objetos no negros no son cuervos" son lógicamente equivalentes ... La resolución es que el número de objetos no negros es mucho, mucho mayor que el número de cuervos, por lo que el soporte que un cuervo negro le da a la proposición es correspondientemente mayor que el pequeño soporte que da un no cuervo no negro.

Ben

62

No rechazar una hipótesis nula es evidencia de que la hipótesis nula es verdadera, pero podría no ser una evidencia particularmente buena , y ciertamente no prueba la hipótesis nula.

Hagamos un pequeño desvío. Considere por un momento el viejo cliché:

La ausencia de evidencia no es evidencia de ausencia.

A pesar de su popularidad, esta afirmación no tiene sentido. Si busca algo y no lo encuentra, eso es absolutamente evidencia de que no está allí. Lo buena que sea esa evidencia depende de cuán exhaustiva fue su búsqueda. Una búsqueda superficial proporciona evidencia débil; Una búsqueda exhaustiva proporciona pruebas contundentes.

Ahora, de vuelta a la prueba de hipótesis. Cuando ejecuta una prueba de hipótesis, está buscando evidencia de que la hipótesis nula no es cierta. Si no lo encuentra, entonces eso es ciertamente evidencia de que la hipótesis nula es cierta, pero ¿qué tan fuerte es esa evidencia? Para saberlo, debe saber qué tan probable es que la evidencia que lo hubiera hecho rechazar la hipótesis nula podría haber eludido su búsqueda. Es decir, ¿cuál es la probabilidad de un falso negativo en su prueba? Esto está relacionado con el poder, , de la prueba (específicamente, es el complemento, 1- ). $\beta$ $\beta$

Ahora, el poder de la prueba y, por lo tanto, la tasa de falsos negativos, generalmente depende del tamaño del efecto que está buscando. Los efectos grandes son más fáciles de detectar que los pequeños. Por lo tanto, no hay una única para un experimento y, por lo tanto, no hay una respuesta definitiva a la pregunta de qué tan fuerte es la evidencia de la hipótesis nula. Dicho de otra manera, siempre hay un tamaño de efecto lo suficientemente pequeño como para que el experimento no lo descarte. $\beta$

A partir de aquí, hay dos formas de proceder. A veces sabes que no te importa un tamaño de efecto más pequeño que un umbral. En ese caso, probablemente debería replantear su experimento de modo que la hipótesis nula sea que el efecto está por encima de ese umbral, y luego probar la hipótesis alternativa de que el efecto está por debajo del umbral. Alternativamente, puede usar sus resultados para establecer límites en el tamaño creíble del efecto. Su conclusión sería que el tamaño del efecto se encuentra en algún intervalo, con cierta probabilidad. Ese enfoque está a solo un pequeño paso de un tratamiento bayesiano, del que tal vez quiera aprender más, si se encuentra con frecuencia en este tipo de situación.

Hay una buena respuesta a una pregunta relacionada que toca pruebas de pruebas de ausencia , que pueden serle útiles.

Nadie
fuente

99

Consideremos una prueba de hipótesis con , con y un valor p no significativo. Según su razonamiento, esta es una evidencia de . Otra prueba de hipótesis con , con y un valor p no significativo, proporcionaría alguna evidencia de . Estas evidencias son obviamente contradictorias.

H_{1} : μ > 2

$H_1:\mu>2$

\bar{x} = 3

$\bar{x}=3$

μ \leq 2

$\mu \le 2$

H_{1} : μ < 4

$H_1:\mu<4$

\bar{x} = 3

$\bar{x}=3$

μ \geq 4

$\mu \ge 4$

Macond

44

No estoy seguro de seguir tu argumento. Por lo que puedo decir, está describiendo dos experimentos, cada uno de los cuales proporciona evidencia (probablemente bastante débil) de una de dos hipótesis mutuamente inconsistentes. ¿Por qué es esto sorprendente?

Nadie

8

Otro ejemplo: común . Si no lo rechaza, ¿significa que tiene evidencia de que, entre todos los demás valores en la línea real, la media verdadera es exactamente 0 ...? ¡Esta respuesta es engañosa!

H_{0} : μ = 0

$H_0: \mu = 0$

Tim

3

Me gusta su explicación de la evidencia : parece conducir rápidamente al factor Bayes, ya que cuantifica el soporte de datos de un modelo frente a otro. ¿ da evidencia a favor o en contra de ? Bueno, depende de tu densidad previa para : si crees que está en algún lugar justo debajo de 2 o en un lugar mucho más alto que 3, los datos proporcionan evidencia de ello; si cree que es igualmente probable que esté entre -10 y 10, los datos proporcionan evidencia en su contra. Pero en un análisis frecuentista su grado de creencia no está representado por un número, entonces, ¿qué concepto de evidencia se aplica?

\bar{x} = 3

$\bar{x}=3$

μ \leq 2

$\mu\leq2$

μ

$\mu$

μ

$\mu$

μ

$\mu$

Scortchi - Restablece a Monica

66

Me recuerda a la hipótesis de Riemann. Buscamos y buscamos ceros no triviales fuera de la línea con la parte real 1/2, pero no pudimos encontrar ninguno. Y si bien no consideramos que la hipótesis de Riemann sea verdadera porque no la probamos, la mayoría de los matemáticos creen que es cierta y que hay muchos resultados que son ciertos condicionalmente en la hipótesis de que la hipótesis de Riemann sea verdadera :) Entonces, en este caso, hemos interpretado ausencia de evidencia como evidencia de ausencia

Ant

29

NHST se basa en valores p, que nos dicen: Dada la hipótesis nula, ¿cuál es la probabilidad de que observemos nuestros datos (o datos más extremos)?

Suponemos que la hipótesis nula es verdadera: se calcula en NHST que la hipótesis nula es 100% correcta. Los valores p pequeños nos dicen que, si la hipótesis nula es verdadera, nuestros datos (o datos más extremos) no son probables.

Pero, ¿qué nos dice un valor p grande? Nos dice que, dada la hipótesis nula, nuestros datos (o datos más extremos) son probables.

En términos generales, P (A | B) ≠ P (B | A).

Imagine que desea tomar un valor p grande como evidencia de la hipótesis nula. Confiaría en esta lógica:

~~Si el valor nulo es verdadero, entonces es probable un valor p alto.~~ ( Actualización: no es cierto. Vea los comentarios a continuación ) .
Se encuentra un valor p alto.
Por lo tanto, el nulo es verdadero.

Esto toma la forma más general:

Si B es verdadero, entonces A es probable.
A ocurre.
Por lo tanto, B es cierto.

Sin embargo, esto es falaz, como se puede ver en un ejemplo:

Si llovió afuera, es probable que el suelo esté mojado.
El suelo está mojado.
Por lo tanto, llovió afuera.

El suelo bien podría estar mojado porque llovió. O podría deberse a un rociador, alguien limpiando sus canaletas, una tubería principal rota, etc. Se pueden encontrar ejemplos más extremos en el enlace de arriba.

Es un concepto muy difícil de entender. Si queremos evidencia para el nulo, se requiere inferencia bayesiana. Para mí, la explicación más accesible de esta lógica es la de Rouder et al. (2016) en papel ¿Hay un almuerzo gratis en inferencia? publicado en Topics in Cognitive Science, 8, pp. 520–547.

Mark White
fuente

3

No me gusta que todos sus ejemplos concluyan que "X es verdad". Tener evidencia de algo no es lo mismo que concluir algo con 100% de certeza. Si salgo y el suelo está mojado, eso es evidencia de "llovió". Esa evidencia hace que sea mucho más probable que haya llovido.

Atte Juvonen el

Eso es justo. Que Rouder y cols. El documento al que me vinculé al final de mi respuesta no tiene ejemplos que tengan conclusiones con certeza.

Mark White el

66

@AtteJuvonen sí, tenemos algunas pruebas de lluvia, pero no sabemos qué tan probable es, por lo que la única conclusión que puede hacer es que "podría haber llovido, o podría haber sido otra cosa que hizo que el suelo se mojara" . Entonces tienes evidencia no concluyente . Solo sobre la base de las estadísticas bayesianas puede hacer el argumento opuesto.

Tim

3

No estoy de acuerdo con su conclusión "Si queremos evidencia de la nula, se requiere inferencia bayesiana"; El estudio que está citando es de Wagenmakers, que es un defensor muy directo de las estadísticas bayesianas, por lo que obviamente lo argumentan. Pero, de hecho, uno puede tener fácilmente evidencia "para lo nulo" en el paradigma frecuentista, por ejemplo, realizando TOST (dos pruebas unilaterales) para la equivalencia. (cc @AtteJuvonen).

ameba dice Reinstate Monica el

10

"Si el valor nulo es verdadero, es probable que haya un valor p alto". - Esto no es correcto. Si la hipótesis nula es verdadera, entonces

p \sim U [0, 1]

$p\sim U[0,1]$ , por lo que los valores altos de no son más probables que los bajos bajo la hipótesis nula. Todo lo que puede decir es que un valor alto es más probable bajo nulo que bajo otras hipótesis, pero las hipótesis se mantienen o no, por lo que las hipótesis no son el espacio de probabilidad en el que estamos operando. ¡A menos que trabajemos en un paradigma bayesiano! Y ahí es donde desafortunadamente su argumento se rompe.

p

$p$

p

$p$

S. Kolassa - Restablece a Mónica el

14

Para comprender lo que está mal con el supuesto, vea el siguiente ejemplo:

Imagina un recinto en un zoológico donde no puedes ver a sus habitantes. Desea probar la hipótesis de que está habitada por monos poniendo un plátano en la jaula y verifique si se ha ido al día siguiente. Esto se repite N veces para una mayor significación estadística.

Ahora puede formular una hipótesis nula: dado que hay monos en el recinto, es muy probable que encuentren y coman el plátano, por lo que si los plátanos no se tocan todos los días, es muy improbable que haya monos dentro.

Pero ahora ves que las bananas se han ido (casi) cada día. ¿Eso te dice que hay monos adentro?

Por supuesto que no, porque hay otros animales a los que también les gustan los plátanos, o tal vez algún cuidadoso cuidador del zoológico lo retira todas las noches.

Entonces, ¿cuál es el error que se comete en esta lógica? El punto es que no sabes nada sobre la probabilidad de que las bananas se vayan si no hay monos adentro. Para corroborar la hipótesis nula, la probabilidad de desaparecer los plátanos debe ser pequeña si la hipótesis nula es incorrecta, pero no es necesario que sea así. De hecho, el evento puede ser igualmente probable (o incluso más probable) si la hipótesis nula es incorrecta.

Sin conocer esta probabilidad, no puede decir exactamente nada sobre la validez de la hipótesis nula. Si los cuidadores del zoológico eliminan todas las bananas cada noche, el experimento no tiene ningún valor, a pesar de que a primera vista parece haber corroborado la hipótesis nula.

Thern
fuente

Esta debería ser la respuesta aceptada.

Emily

2

@amoeba En este caso, la hipótesis nula sería que los monos están en la jaula. Alt hyp sería que no hay monos en la jaula. Las muestras que recojo son las observaciones "plátano desaparecido" y "plátano todavía allí" cada mañana. Haciendo varias suposiciones sobre los monos y su capacidad para encontrar plátanos, puedo calcular la probabilidad p de que hubiera visto el resultado real con los monos en una jaula. Si los plátanos todavía están ahí a menudo, rechazaré la hipoteca nula. Si los plátanos siempre se han ido, esto se ajusta al hip nulo, pero no prueba que los monos estén en la jaula.

Thern

1

@amoeba No estoy seguro de si es posible traducir directamente el ejemplo del mono a su escenario de prueba t. Que yo sepa, la prueba de hipótesis nula generalmente significa lo que Mark White escribió en su respuesta: "Dada la hipótesis nula, ¿cuál es la probabilidad de que observemos nuestros datos (o datos más extremos)?". Su escenario de prueba t es un caso específico de esto, pero actualmente no veo cómo se puede generalizar este escenario. Desde mi instinto, diría que su escenario y el ejemplo del mono son dos formas diferentes de prueba de hipótesis que no pueden mapearse entre sí directamente.

Thern

1

Si es así @Nebr, entonces nuevamente estoy muy confundido sobre el significado de tu ejemplo de mono. La prueba T es probablemente la prueba de hipótesis más común; Lo mencioné en mi comentario solo porque es un ejemplo típico de una prueba. Si su ejemplo de mono no es aplicable (como usted dice) a esto, ¡típico! - situación, entonces estoy desconcertado sobre su significado. De hecho, si dice que la prueba t y el ejemplo de mono son "dos formas diferentes de prueba de hipótesis", ¿puede dar un ejemplo de prueba estadística que siga su "forma" de ejemplo de mono? ¿De qué es exactamente una analogía tu ejemplo de mono?

ameba dice Reinstate Monica

1

@Nebr Estoy de acuerdo en que es una pregunta general. Pero si no puede darme un solo ejemplo de una prueba estadística real que tenga la misma propiedad que su ejemplo de mono, lo siento, pero tendré que considerar su ejemplo de mono bastante irrelevante para este hilo. No estoy diciendo que el ejemplo del mono deba corresponder específicamente a una prueba t. ¡Pero tiene que corresponder a algo !

ameba dice Reinstate Monica

14

En su famoso artículo Por qué los hallazgos de investigación más publicados son falsos , Ioannidis utilizó el razonamiento bayesiano y la falacia de la tasa base para argumentar que la mayoría de los hallazgos son falsos positivos. En breve, la probabilidad posterior al estudio de que una hipótesis de investigación particular sea verdadera depende, entre otras cosas, de la probabilidad previa al estudio de dicha hipótesis (es decir, la tasa base).

Como respuesta, Moonesinghe et al. (2007) utilizaron el mismo marco para mostrar que la replicación aumenta en gran medida la probabilidad posterior al estudio de que una hipótesis sea cierta. Esto tiene sentido: si varios estudios pueden replicar un determinado hallazgo, estamos más seguros de que la hipótesis conjeturada es cierta.

$\alpha$

El gráfico muestra que si al menos 5 de cada 10 estudios no alcanzan su importancia, nuestra probabilidad posterior al estudio de que la hipótesis sea verdadera es casi 0. Las mismas relaciones existen para más estudios. Este hallazgo también tiene sentido intuitivo: una falla repetida en encontrar un efecto fortalece nuestra creencia de que el efecto es probablemente falso. Este razonamiento está en línea con la respuesta aceptada por @RPL.

Como segundo escenario, supongamos que los estudios tienen solo un poder del 50% (todo lo demás igual).

Ahora, nuestra probabilidad posterior al estudio disminuye más lentamente, porque cada estudio tenía solo poca potencia para encontrar el efecto, si es que realmente existía.

COOLSerdash
fuente

Tenga en cuenta que obtiene toda la evidencia sobre la hipótesis nula de los casos en que una prueba falla esta hipótesis. Pero la suposición del OP fue que las pruebas corroboran la hipótesis nula ("Si realizamos un estudio grande y no encontramos evidencia estadísticamente significativa contra la hipótesis nula, ¿no es eso evidencia de la hipótesis nula?"). Esto corresponde a la parte más a la izquierda de sus diagramas y, por lo tanto, a un caso en el que la probabilidad del efecto sigue siendo del 50% (o, en general, la probabilidad previa al estudio), por lo que no ha ganado nada.

Thern

@Nebr no entiendo. Si realizamos 1 estudio grande y bien desarrollado (digamos 95% de potencia) y no encontramos evidencia contra la hipótesis nula (es decir, una prueba de hipótesis estadística no es significativa en el nivel del 5%), nuestra probabilidad posterior al estudio lo haría ser 0.05 en el marco mencionado (con una probabilidad previa al estudio del 50%).

COOLSerdash

1

@Nebr Su último comentario no tiene ningún sentido: si el resultado no es significativo, no puede ser un "falso positivo".

ameba dice Reinstate Monica

1

@Nebr If you have a negative, you found evidence against the null- ¿Qué? La palabra "negativo" tiene exactamente el significado opuesto. Un valor p significativo se llama resultado "positivo"; un no significativo es un "negativo".

ameba dice Reinstate Monica

1

@Nebr 100% de potencia NO significa "que si H0 es cierto, podemos estar seguros de que siempre veremos H1". Significa que si H1 es verdadero, siempre veremos H1. No intentaré leer más tu comentario, porque cada oración es confusa.

ameba dice Reinstate Monica

12

La mejor explicación que he visto para esto es de alguien cuyo entrenamiento es en matemáticas.

$H_0$ $H_1$ $H_1$ $H_0$ $H_1$ $H_1$ $H_0$ $H_0$

Clarinetista
fuente

44

Tal vez deberías mirar este hilo: stats.stackexchange.com/questions/163957/…

10

Si no le gusta esta consecuencia de la prueba de hipótesis pero no está preparado para dar el salto completo a los métodos bayesianos, ¿qué tal un intervalo de confianza?

$42078$ $20913$ $[0.492,0.502]$

$\frac12$ $\frac12$

Enrique
fuente

2

¿Qué es Bayesiano acerca de un intervalo de confianza?

kjetil b halvorsen

3

@kjetilbhalvorsen: Un intervalo de confianza no es bayesiano (lo sería un intervalo creíble), pero un intervalo de confianza proporciona más información sobre la evidencia que un simple rechazo / no rechazo de hipótesis

Henry

9

Quizás sería mejor decir que el no rechazo de una hipótesis nula no es en sí misma evidencia de la hipótesis nula. Una vez que consideramos la probabilidad total de los datos, que considera más explícitamente la cantidad de datos, los datos recopilados pueden proporcionar soporte para los parámetros que caen dentro de la hipótesis nula.

Sin embargo, también debemos pensar cuidadosamente sobre nuestras hipótesis. En particular, no rechazar una hipótesis de punto nulo no es una evidencia muy buena de que la hipótesis de punto nulo sea verdadera. Siendo realistas, acumula evidencia de que el verdadero valor del parámetro no está tan lejos del punto en cuestión. Las hipótesis de punto nulo son, en cierta medida, construcciones más bien artificiales y, a menudo, usted no cree realmente que serán exactamente ciertas.

Se vuelve mucho más razonable hablar sobre el no rechazo que respalda la hipótesis nula, si puede revertir significativamente la hipótesis nula y alternativa y si al hacerlo rechazaría su nueva hipótesis nula. Cuando intenta hacer eso con una hipótesis nula de punto estándar, inmediatamente ve que nunca podrá rechazar su complemento, porque su hipótesis nula invertida contiene valores arbitrariamente cercanos al punto en consideración.

$H_0: |\mu| \leq \delta$ $H_A: |\mu| > \delta$ $\mu$ $\mu$ $-\delta$ $+\delta$ $1-\alpha$ $[-\delta, +\delta]$

Björn
fuente

44

+1. Esta en mi humilde opinión debería ser la respuesta aceptada. No entiendo por qué tiene tan pocos votos a favor.

ameba dice Reinstate Monica

1

@amoeba porque se publicó tarde, pero estoy de acuerdo y ya hice +1.

Tim

6

Más bien depende de cómo estés usando el lenguaje. Según la teoría de decisión de Pearson y Neyman, no es evidencia de lo nulo, pero debe comportarse como si lo nulo fuera cierto.

La dificultad proviene de modus tollens. Los métodos bayesianos son una forma de razonamiento inductivo y, como tal, son una forma de razonamiento incompleto. Los métodos de hipótesis nula son una forma probabilística de modus tollens y, como tales, son parte del razonamiento deductivo y, por lo tanto, es una forma completa de razonamiento.

Modus tollens tiene la forma "si A es verdadero, entonces B es verdadero y B no es verdadero; por lo tanto, A no es verdadero". De esta forma, si el nulo es verdadero, los datos aparecerán de una manera particular, no aparecerán de esa manera, por lo tanto (hasta cierto punto de confianza) el nulo no es verdadero (o al menos está "falsificado" ".

El problema es que quieres "Si A, entonces B y B." A partir de esto, desea inferir A, pero eso no es válido. "Si A entonces B", no excluye "si no A entonces B" de ser también una declaración válida. Considere la afirmación "si es un oso, entonces puede nadar. Es un pez (no un oso)". Las declaraciones no dicen nada sobre la capacidad de los no osos para nadar.

La probabilidad y la estadística son una rama de la retórica y no una rama de las matemáticas. Es un gran usuario de las matemáticas, pero no es parte de las matemáticas. Existe por una variedad de razones, persuasión, toma de decisiones o inferencia. Extiende la retórica a una discusión disciplinada de la evidencia.

Dave Harris
fuente

1

+1 por mencionar a Neyman y Pearson (ver stats.stackexchange.com/questions/125541 ).

ameba dice Reinstate Monica el

5

Trataré de ilustrar esto con un ejemplo.

$\mu$ $\bar{x}$ $H_0:\mu=\mu_i$ $\mu_i$ $\mu_0$ $\bar{x}$ $\mu$

$H_1:\mu=M$ $H_0:\mu=\mu_0$ $\mu\ne\mu_0$ $\mu<\mu_0$ $\mu>\mu_0$

Macond
fuente

"Ahora, ¿para qué valor de μ tenemos evidencia?" - Tenemos evidencia más sólida para valores más cercanos a la media muestral y evidencia más débil para valores más alejados de la media muestral. Qué tan fuerte o débil depende del tamaño y la varianza de la muestra. ¿Hay algo malo con esta interpretación?

Atte Juvonen el

Sí, esto es una mala interpretación. El valor P no es la probabilidad de que la hipótesis nula sea verdadera o la fuerza de la evidencia a favor de la hipótesis nula. Del mismo modo, podría hacer una estimación de intervalo, con una media de muestra en el medio del intervalo, pero esto no significa que haya una mayor probabilidad de que la media de la población esté cerca de la mitad del intervalo. Hay una referencia a una buena explicación sobre esta mala interpretación en el comentario de Dominic Comtois a su pregunta.

Macond

"Esto no significa que haya una mayor probabilidad de que la población signifique estar cerca de la mitad del intervalo". - Esto no puede ser correcto. Leí el periódico pero no pude encontrar nada para corroborar esto.

Atte Juvonen el

μ

$\mu$

μ

$\mu$

P (A | B) \neq P (B | A)

$P(A|B) \ne P(B|A)$

4

$\bar x \approx 0$ $t$ $H_0: \bar x = \mu$ $\mu = -0.5$ $p > 0.05$ $H_0$ $\mu = 0.5$ $t$ $p$ $\mu = -0.5$ $\mu = 0.5$

$p$ $H_0$ $p$ $H_0$ $H_1$ $\mu$ $\mu$ $\mu$

L (μ | X) = f (X | μ)

$L(\mu | X) = f(X | \mu)$

$\hat\mu$ $\hat\mu$ $\hat\mu$ $f(\mu|X) \ne f(X|\mu)$ $f(\mu|X)$ $\hat\mu$ . Esto lleva al teorema de Bayes

f (μ | X) = \frac{f (X | μ) f (μ)}{\int f (X | μ) f (μ) d μ}

$f(\mu|X) = \frac{ f(X|\mu) \, f(\mu) }{ \int \, f(X|\mu) \, f(\mu) \, d\mu }$

$\mu$ $\hat\mu$ $\mu$

$H_1$ $H_0$ $H_0$ , etc. Si le pide algunos números, ella se los dará, pero los números no serían comparables . El problema es que la prueba de hipótesis / oráculo opera en un marco, donde puede dar respuestas concluyentes solo para las preguntas que preguntan si los datos son consistentes con alguna hipótesis , y no al revés, ya que no está considerando otras hipótesis.

Tim
fuente

2

Sigamos un ejemplo simple.

Mi hipótesis nula es que mis datos siguen una distribución normal. La hipótesis alternativa es que la distribución de mis datos no es normal.

Extraigo dos muestras aleatorias de una distribución uniforme en [0,1]. No puedo hacer mucho con solo dos muestras, por lo tanto, no podría rechazar mi hipótesis nula.

¿Eso significa que puedo concluir que mis datos siguen una distribución normal? ¡No, es una distribución uniforme!

El problema es que hice la suposición de normalidad en mi hipótesis nula. Por lo tanto, no puedo concluir que mi suposición es correcta porque no puedo rechazarla.

SmallChess
fuente

3

No creo que un estudio con 2 muestras califique como un "estudio". Tan pronto como dibujemos un número razonable de puntos de datos, este ejemplo no funciona. Si dibujamos 1000 puntos de datos y se ven como una distribución uniforme, tenemos evidencia contra nuestra hipótesis nula. Si dibujamos 1000 puntos de datos y se ven como una distribución normal, tenemos evidencia de nuestra hipótesis nula.

Atte Juvonen el

1

@AtteJuvonen Mi respuesta no es un intento de definir qué se supone que es un estudio. Simplemente trato de dar un ejemplo simple para ilustrar la falta de poder estadístico para la pregunta. Todos sabemos que 2 muestras son malas.

SmallChess

44

Derecha. Solo digo que su ejemplo ilustra el problema de sacar conclusiones de 2 muestras. No ilustra el problema de extraer evidencia para una hipótesis nula.

Atte Juvonen el

2

$H_0$ $H_0$

$H_0$ $H_0$ $H_0$

Dmitry Grigoryev
fuente

H_{0}

$H_0$

H_{0}

$H_0$

H_{0}

$H_0$

0

No, no es evidencia a menos que tenga evidencia de que es evidencia. No estoy tratando de ser lindo, sino literal. Solo tiene probabilidad de ver tales datos dado su suposición de que el nulo es verdadero. Eso es TODO lo que obtienes del valor p (si eso es así, ya que el valor p se basa en suposiciones).

¿Puede presentar un estudio que muestre que para los estudios que "no logran" apoyar la hipótesis nula, la mayoría de las hipótesis nulas resultan ser ciertas? Si puede encontrar ESE estudio, entonces su incapacidad para refutar las hipótesis nulas al menos refleja una probabilidad MUY generalizada de que el nulo es verdadero. Apuesto a que no tienes ese estudio. Dado que no se evidencia que las hipótesis nulas sean verdaderas en función de los valores p, solo tiene que alejarse con las manos vacías.

Comenzó asumiendo que su valor nulo era verdadero para obtener ese valor p, por lo que el valor p no puede decirle nada sobre el valor nulo, solo sobre los datos. Piénsalo. Es una inferencia unidireccional, punto.

Roger Dodger
fuente

Si no podemos rechazar la hipótesis nula en un estudio grande, ¿no es evidencia de la nula?

Respuestas: