Pruebas estadísticas comunes como modelos lineales.

(ACTUALIZACIÓN: profundicé en esto y publiqué los resultados aquí )

La lista de pruebas estadísticas con nombre es enorme. Muchas de las pruebas comunes se basan en la inferencia de modelos lineales simples, por ejemplo, una prueba t de una muestra es solo y = β + ε que se prueba contra el modelo nulo y = μ + ε, es decir, que β = μ donde μ es algo nulo valor - típicamente μ = 0.

Considero que esto es bastante más instructivo para propósitos de enseñanza que aprender de memoria modelos con nombre, cuándo usarlos y sus suposiciones como si no tuvieran nada que ver entre sí. Ese enfoque promueve no promueve la comprensión. Sin embargo, no puedo encontrar un buen recurso para recopilar esto. Estoy más interesado en las equivalencias entre los modelos subyacentes que en el método de inferencia de ellos. Aunque, por lo que puedo ver, las pruebas de razón de probabilidad en todos estos modelos lineales arrojan los mismos resultados que la inferencia "clásica".

Aquí están las equivalencias que he aprendido hasta ahora, ignorando el término de error y suponiendo que todas las hipótesis nulas son la ausencia de un efecto:$\varepsilon \sim \mathcal N(0, \sigma^2)$

Prueba t de una muestra: .$y = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Prueba t de muestra emparejada: $y_2-y_1 = \beta_0 \qquad \mathcal{H}_0: \beta_0 = 0$

Esto es idéntico a una prueba t de una muestra sobre diferencias por pares.

Prueba t de dos muestras: $y = \beta_1 * x_i + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

donde x es un indicador (0 o 1).

Correlación de Pearson: $y = \beta_1 * x + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Observe la similitud con una prueba t de dos muestras que es solo una regresión en un eje x binario.

Correlación de Spearman: $rank(y) = \beta_1 * rank(x) + \beta_0 \qquad \mathcal{H}_0: \beta_1 = 0$

Esto es idéntico a una correlación de Pearson en x e y transformados por rango.

ANOVA unidireccional: $y = \beta_1*x_1 + \beta_2*x_2 + \beta_3*x_3 +... \qquad \mathcal{H}_0: \beta_1, \beta_2, \beta_3, ... = \beta$

donde son indicadores que seleccionan la relevante (una es 1; las otras son 0). El modelo probablemente podría ser escrita en forma de matriz como como .$x_i$$\beta$$x$$Y = \beta * X$

ANOVA de dos vías: $y = \beta_1 * X_1 + \beta_2 * X_2 + \beta_3 * X_1 * X_2 \qquad \mathcal{H}_0: \beta_3 = 0$

para dos factores de dos niveles. Aquí son vectores de betas donde uno es seleccionado por el vector indicador . El muestra aquí es el efecto de interacción.$\beta_i$$X_i$$\mathcal{H}_0$

¿Podríamos agregar más "pruebas con nombre" a esta lista de modelos lineales? Por ejemplo, ¿regresión multivariada, otras pruebas "no paramétricas", pruebas binomiales o ANOVA RM?

ACTUALIZACIÓN: se han hecho y respondido preguntas sobre ANOVA y las pruebas t como modelos lineales aquí en SO. Vea esta pregunta y las preguntas relacionadas etiquetadas .

No es una lista exhaustiva, pero si incluye modelos lineales generalizados , el alcance de este problema se vuelve sustancialmente mayor.

Por ejemplo:

La prueba de tendencia de Cochran-Armitage puede formularse mediante:

La prueba de independencia Chi-Square de Pearson para una tabla de contingencia$p \times k$ es un modelo logarítmico lineal para las frecuencias de celda dado por:

Además, la prueba t para las variaciones desiguales se aproxima bien utilizando la estimación robusta de errores de Huber White.