¿Cuál es la diferencia entre "prueba de hipótesis" y "prueba de significación"?

¿Hay alguna diferencia entre las frases "prueba de hipótesis" y "prueba de significación" o son las mismas?

Después de una respuesta detallada de @Micheal Lew, tengo una confusión de que las hipótesis actuales (p. Ej., Prueba t para probar la media) son ejemplos de "prueba de significación" o "prueba de hipótesis". ¿O es una combinación de ambos? ¿Cómo los diferenciaría con un simple ejemplo?

La prueba de significación es lo que ideó Fisher y la prueba de hipótesis es lo que idearon Neyman y Pearson para reemplazar las pruebas de significación. No son lo mismo y son incompatibles entre sí en un grado que sorprendería a la mayoría de los usuarios de pruebas de hipótesis nulas.

Las pruebas de significancia de Fisher producen un valor p que representa cuán extremas son las observaciones bajo la hipótesis nula. Ese valor p es un índice de evidencia contra la hipótesis nula y el nivel de significancia.

Las pruebas de hipótesis de Neyman y Pearson establecen una hipótesis nula y una hipótesis alternativa y funcionan como una regla de decisión para aceptar la hipótesis nula. Brevemente (hay más de lo que puedo poner aquí) usted elige una tasa aceptable de inferencia positiva falsa, alfa (generalmente 0.05), y acepta o rechaza el valor nulo en función de si el valor p está por encima o por debajo de alfa. Debe cumplir con la decisión de la prueba estadística si desea protegerse contra errores falsos positivos.

El enfoque de Fisher le permite tener en cuenta todo lo que quiera al interpretar el resultado, por ejemplo, las pruebas preexistentes pueden tenerse en cuenta de manera informal en la interpretación y presentación del resultado. En el enfoque NP, eso solo se puede hacer en la etapa de diseño experimental, y parece que rara vez se hace. En mi opinión, el enfoque pesquero es más útil en el trabajo biocientífico básico que el enfoque NP.

Existe una literatura sustancial sobre inconsistencias entre las pruebas de significación y las pruebas de hipótesis y sobre la desafortunada hibridación de las dos. Podría comenzar con este artículo: Goodman, hacia las estadísticas médicas basadas en la evidencia. 1: La falacia del valor P http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

En muchos casos, estas dos declaraciones significan lo mismo. Sin embargo, también pueden ser bastante diferentes.

Probar una hipótesis consiste en decir primero lo que cree que ocurrirá con algún fenómeno, luego desarrollar algún tipo de prueba para este fenómeno y luego determinar si el fenómeno realmente ocurrió o no. En muchos casos, la prueba de una hipótesis no necesita involucrar ningún tipo de prueba estadística. El físico Ernest Rutherford me recuerda esta cita: si su experimento necesita estadísticas, debería haber hecho un experimento mejor. Dicho esto, la prueba de hipótesis normalmente utiliza algún tipo de herramienta estadística.

En contraste, la prueba de significación es un concepto puramente estadístico. En esencia, uno tiene dos hipótesis: la hipótesis nula, que establece que no hay diferencia entre sus dos (o más) colecciones de datos. La hipótesis alternativa es que hay una diferencia entre sus dos muestras que no ocurrió por casualidad.

Basado en el diseño de su estudio, luego compara las dos (o más) muestras usando una prueba estadística, que le da un número, que luego compara con una distribución de referencia (como las distribuciones normales, t o F) y si Esta estadística de prueba excede un valor crítico, rechaza la hipótesis nula y concluye que hay una diferencia entre las dos (o más) muestras. Este criterio es normalmente que la probabilidad de que la diferencia ocurra por casualidad es menor que uno de cada veinte (p <0.05), aunque a veces se usan otros.