Una sola prueba estadística puede dar evidencia de que la hipótesis nula (H0) es falsa y, por lo tanto, la hipótesis alternativa (H1) es verdadera. Pero no se puede usar para mostrar que H0 es verdadero porque no rechazar H0 no significa que H0 sea verdadero.

Pero supongamos que tiene la posibilidad de hacer la prueba estadística muchas veces porque tiene muchos conjuntos de datos, todos independientes entre sí. Todos los conjuntos de datos son el resultado del mismo proceso y desea hacer una declaración (H0 / H1) sobre el proceso en sí y no está interesado en los resultados de cada prueba. Luego, se recopilan todos los valores p resultantes y se ve a través del gráfico de histograma que los valores p están claramente distribuidos uniformemente.

Mi razonamiento ahora es que esto solo puede suceder si H0 es verdadero; de lo contrario, los valores p se distribuirían de manera diferente. ¿Es esto, por lo tanto, suficiente evidencia para concluir que H0 es cierto? ¿O me estoy perdiendo aquí algo esencial, porque me tomó mucha fuerza de voluntad escribir "concluir que H0 es cierto", lo que suena terriblemente mal en mi cabeza.

Me gusta tu pregunta, pero desafortunadamente mi respuesta es NO, no prueba . La razón es muy sencilla. ¿Cómo sabrías que la distribución de los valores p es uniforme? Probablemente deba ejecutar una prueba de uniformidad que le devolverá su propio valor p, y terminará con el mismo tipo de pregunta de inferencia que estaba tratando de evitar, solo un paso más. En lugar de mirar el valor p del original , ahora observa el valor p de otro sobre la uniformidad de distribución de los valores p originales.$H_0$$H_0$$H'_0$

ACTUALIZAR

Aquí está la demostración. Genero 100 muestras de 100 observaciones de distribución gaussiana y de Poisson, luego obtengo 100 valores p para la prueba de normalidad de cada muestra. Entonces, la premisa de la pregunta es que si los valores p provienen de una distribución uniforme, entonces demuestra que la hipótesis nula es correcta, lo cual es una afirmación más fuerte que una "falla al rechazar" habitual en inferencia estadística. El problema es que "los valores p son del uniforme" es una hipótesis en sí misma, que de alguna manera hay que probar.

En la imagen (primera fila) a continuación, muestro los histogramas de los valores p de una prueba de normalidad para la muestra de Guassian y Poisson, y puede ver que es difícil decir si uno es más uniforme que el otro. Ese fue mi punto principal.

La segunda fila muestra una de las muestras de cada distribución. Las muestras son relativamente pequeñas, por lo que no puede tener demasiados contenedores. En realidad, esta muestra gaussiana en particular no se ve mucho gaussiana en el histograma.

En la tercera fila, muestro las muestras combinadas de 10,000 observaciones para cada distribución en un histograma. Aquí, puede tener más contenedores, y las formas son más obvias.

Finalmente, ejecuto la misma prueba de normalidad y obtengo valores p para las muestras combinadas y rechaza la normalidad para Poisson, mientras que no puedo rechazar para Gauss. Los valores p son: [0.45348631] [0.]

Esto no es una prueba, por supuesto, sino la demostración de la idea de que es mejor ejecutar la misma prueba en la muestra combinada, en lugar de tratar de analizar la distribución de los valores p de las submuestras.

Aquí está el código de Python:

import numpy as np
from scipy import stats
from matplotlib import pyplot as plt

def pvs(x):
    pn = x.shape[1]
    pvals = np.zeros(pn)
    for i in range(pn):
        pvals[i] = stats.jarque_bera(x[:,i])[1]
    return pvals

n = 100
pn = 100
mu, sigma = 1, 2
np.random.seed(0)
x = np.random.normal(mu, sigma, size=(n,pn))
x2 = np.random.poisson(15, size=(n,pn))
print(x[1,1])

pvals = pvs(x)
pvals2 = pvs(x2)

x_f = x.reshape((n*pn,1))
pvals_f = pvs(x_f)

x2_f = x2.reshape((n*pn,1))
pvals2_f = pvs(x2_f)
print(pvals_f,pvals2_f)

print(x_f.shape,x_f[:,0])


#print(pvals)
plt.figure(figsize=(9,9))
plt.subplot(3,2,1)
plt.hist(pvals)
plt.gca().set_title('True Normal')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,2)
plt.hist(pvals2)
plt.gca().set_title('Poisson')
plt.gca().set_ylabel('p-value')

plt.subplot(3,2,3)
plt.hist(x[:,0])
plt.gca().set_title('a small sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,4)
plt.hist(x2[:,0])
plt.gca().set_title('a small Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,5)
plt.hist(x_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.subplot(3,2,6)
plt.hist(x2_f[:,0],100)
plt.gca().set_title('Full Sample')
plt.gca().set_ylabel('x')

plt.show()

$\sqrt{n}$

$H_0$$H_0$

David Hume y el problema de la inducción.

$H_0$$H_0$

$\forall_{a \in A} \left[ a \in B \right]$

• Durante siglos, cada cisne observado por los europeos era blanco. Entonces los europeos descubrieron Australia y vieron cisnes negros.

• Durante siglos, la ley de gravedad de Newton estuvo de acuerdo con la observación y se pensó correcta. Sin embargo, fue anulada por la teoría de la relatividad general de Einstein.

$H_0$

Una lista (incompleta) de formas de avanzar:

Karl Popper y el falsacionismo

En Karl Popper vista, ninguna ley científica se ha demostrado cierto nunca. Solo tenemos leyes científicas aún no probadas falsas.

Popper argumentó que la ciencia avanza al adivinar hipótesis y someterlas a un escrutinio riguroso. Continúa hacia adelante a través de la deducción (teorías de prueba de observación falsas), no de inducción (teorías de prueba de observación repetida verdaderas). Gran parte de las estadísticas frecuentistas se construyó de acuerdo con esta filosofía.

La visión de Popper ha sido inmensamente influyente, pero como Kuhn y otros han argumentado, no se ajusta del todo a la práctica empíricamente observada de la ciencia exitosa.

Bayesiano, probabilidad subjetiva

$\theta$

$\theta$$\theta$$\theta$$P(\theta)$$P(\theta \mid X)$$\theta$$X$. La forma en que te comportas en diversas situaciones tiene cierta correspondencia con estas probabilidades subjetivas.

Esta es una forma lógica de modelar sus propias creencias subjetivas, pero no es una forma mágica de producir probabilidades que sean verdaderas en términos de correspondencia con la realidad. Una pregunta difícil para cualquier interpretación bayesiana es ¿de dónde vienen los priors? Además, ¿qué pasa si el modelo está mal especificado?

George P. Box

Un famoso aforismo de George EP Box es que "todos los modelos son falsos, pero algunos son útiles".

La ley de Newton puede no ser cierta, pero sigue siendo útil para muchos problemas. El punto de vista de Box es bastante importante en el contexto moderno de big data donde los estudios están tan dominados que puede rechazar básicamente cualquier propuesta significativa. Estrictamente verdadero versus falso es una mala pregunta: lo que importa es si un modelo te ayuda a comprender los datos.

Comentarios adicionales

$\theta \approx 0$

Quizás también sea de interés, analizar estadísticamente los resultados de múltiples estudios se llama metaanálisis .

Hasta dónde puede llegar más allá de las interpretaciones estadísticas estrechas es una pregunta difícil.

En cierto sentido tiene razón (vea la curva p) con algunas pequeñas advertencias:

1. $p \leq \alpha$$\alpha$$H_0$
2. $H_0$$H_0$

Con aplicaciones realistas, tiendes a tener problemas adicionales. Estos surgen principalmente porque ninguna persona / laboratorio / grupo de estudio generalmente puede hacer todos los estudios necesarios. Como resultado, uno tiende a mirar los estudios de muchos grupos, momento en el que tiene mayores preocupaciones (es decir, si hubiera realizado todos los experimentos relevantes usted mismo, al menos lo sabría) de informes no selectivos y selectivos de hallazgos significativos / sorprendentes, p-hacking, pruebas múltiples / correcciones de pruebas múltiples, etc.

Hipótesis nula (H0): la gravedad hace que todo en el universo caiga hacia la superficie de la Tierra.

Hipótesis alternativa (H1): nada cae nunca.

$p < 0.01$