Diferencia entre prueba t y ANOVA en regresión lineal

Me pregunto qué diferencias hay entre la prueba t y ANOVA en regresión lineal.

¿Es una prueba t para probar si alguna de las pendientes e intersecciones tiene media cero, mientras que ANOVA prueba si todas las pendientes tienen media cero? ¿Es esta la única diferencia entre ellos?
En la regresión lineal simple, es decir, donde solo hay una variable predictora, solo hay una pendiente para estimar. Entonces, ¿son equivalentes la prueba t y el ANOVA, y en caso afirmativo, cómo, dado que están usando estadísticas diferentes (la prueba t está usando el estadístico t y ANOVA está usando el estadístico F)?

regression anova t-test Tim
fuente

Ad 1) En regresión lineal, normalmente entiendo ANOVA como una medida de bondad de ajuste del modelo, es decir, para decidir si el modelo (línea de regresión) explica una parte sustancial de la variabilidad total. La pregunta, si es equivalente a que todas las pendientes sean cero, es realmente muy interesante. Anuncio 2) parece que estoy obteniendo casi los mismos valores de p para la prueba t y ANOVA de regresión en este caso. Teorema realmente interesante!

Curioso

Respuestas:

El modelo lineal general nos permite escribir un modelo ANOVA como modelo de regresión. Supongamos que tenemos dos grupos con dos observaciones cada uno, es decir, cuatro observaciones en un vector . Entonces, el modelo original sobreparamizado es , donde es la matriz de predictores, es decir, variables indicadoras codificadas de forma simulada: $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

Los parámetros no son identificables como porque tiene rango 2 ( no es invertible). Para cambiar eso, presentamos la restricción (contrastes de tratamiento), que nos da el nuevo modelo : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

Entonces, , es decir, adquiere el significado del valor esperado de nuestra categoría de referencia (grupo 1). , es decir, toma el significado de la diferencia a la categoría de referencia. Dado que con dos grupos, solo hay un parámetro asociado con el efecto de grupo, la hipótesis nula ANOVA (todos los parámetros de efecto de grupo son 0) es la misma que la hipótesis nula de peso de regresión (el parámetro de pendiente es 0). $\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

Una prueba en el modelo lineal general prueba una combinación lineal de los parámetros contra un valor hipotético bajo la hipótesis nula. Al elegir , podemos probar la hipótesis de que (la prueba habitual para el parámetro de pendiente), es decir, aquí, . El estimador es , donde son Estimaciones de OLS para los parámetros. La estadística de prueba general para tales es: $t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ es un estimador imparcial de la varianza del error, donde es la suma de los residuos al cuadrado. En el caso de dos grupos , , y los estimadores son y . Con siendo 1 en nuestro caso, la estadística de prueba se convierte en: $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ está -distribuido con df (aquí ). Cuando cuadras , obtienes , el estadístico de prueba de la prueba ANOVA para dos grupos ( para entre, para dentro de los grupos) que sigue una - distribución con 1 df. $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

Con más de dos grupos, la hipótesis ANOVA (todos son simultáneamente 0, con ) se refiere a más de un parámetro y no puede expresarse como una combinación lineal , por lo que las pruebas no son equivalentes . $\beta_{j}$ $1 \leq j$ $\psi$

lince
fuente

En 1, ANOVA generalmente evaluará las variables de factor y si la varianza entre grupos es o no significativa. Verá claramente la diferencia si su software permite variables indicadoras en una regresión: para cada ficticio obtendrá un valor p que indica si este grupo obtiene puntajes significativamente diferentes de 0 y, como consecuencia, significativamente diferentes al grupo de referencia o al valor de referencia aplicable . Por lo general, no verá hasta qué punto el indicador en sí es importante hasta que realice una prueba ANOVA.

Una prueba F es una prueba t al cuadrado. Por lo tanto, en 2, es lo mismo.

Labor
fuente

¡Gracias! (1) ¿Qué significan aquí las variables indicadoras? (2) Generalmente, una prueba t es equivalente a ANOVA solo cuando solo hay dos grupos. Pero en la regresión lineal simple puede haber más de dos grupos, donde el número de grupos es el número de valores que la variable predictora toma en el conjunto de datos.

Tim

(1) Indicador o variable categórica o factor ... todo lo mismo. (2) De hecho, pero es posible que desee saber qué tan bien un conjunto de dummies / categorías puntúa de ANOVA.

Labor

¡Gracias! (2) Entonces, en regresión lineal simple, ¿cómo es la prueba t equivalente a ANOVA, dado que hay más de dos grupos? ¿Qué significa "qué tan bien un conjunto de puntajes de maniquíes / categorías de ANOVA" significa, y por qué quiero saberlo?

Tim

En la regresión OLS, R² (varianza explicada) será igual a eta² o MSS / TSS de ANOVA sin importar cuántos grupos defina. A continuación, es posible que desee conocer la contribución de un conjunto de dummies (es decir, una variable indicadora) para decir si el conjunto en sí es relevante y en qué medida, que es diferente de la importancia de la diferencia entre una sola categoría con la categoría de referencia .

Labor