¿Cuál es la relación entre ANOVA para comparar medias de varios grupos y ANOVA para comparar modelos anidados?

12

Hasta ahora he visto a ANOVA usado de dos maneras:

Primero , en mi texto introductorio de estadística, ANOVA se introdujo como una forma de comparar medias de tres o más grupos, como una mejora sobre la comparación por pares, para determinar si una de las medias tiene una diferencia estadísticamente significativa.

En segundo lugar , en mi texto de aprendizaje estadístico, he visto que ANOVA se utiliza para comparar dos (o más) modelos anidados para determinar si el Modelo 1, que usa un subconjunto de predictores del Modelo 2, se ajusta a los datos igualmente bien, o si el total El modelo 2 es superior.

Ahora supongo que de una forma u otra estas dos cosas son realmente muy similares porque ambas están usando la prueba ANOVA, pero en la superficie me parecen bastante diferentes. Por un lado, el primer uso compara tres o más grupos, mientras que el segundo método puede usarse para comparar solo dos modelos. ¿A alguien le importaría dilucidar la conexión entre estos dos usos?

hypothesis-testing anova model-comparison f-test nested-models Austin
fuente

3

Brevemente, creo que la segunda "anova" no es un ANOVA en absoluto (si lees en.wikipedia.org/wiki/Analysis_of_variance no verás ninguna mención de comparación de modelos anidados). Es un en.wikipedia.org/wiki/F-test y se implementa en R como anova()función, porque el primer ANOVA real también está usando una prueba F. Esto lleva a confusión terminológica.

ameba dice Reinstate Monica

Gracias, creo que has dado en el clavo! No había considerado que la anova()función pudiera hacer más que solo ANOVA. Esta publicación respalda su conclusión: stackoverflow.com/questions/20128781/f-test-for-two-models-in-r

Austin

1

Un estadístico graduado me enseñó que ANOVA como prueba multimuestra es lo mismo para ANOVA que una prueba de supremacía de modelo anidado. Lo mismo significa, a mi entender, que comparamos una suma (o media) de los residuos resultantes de ningún modelo o modelo más simple con los residuos resultantes de un modelo, y la prueba F es aplicable a ambas situaciones dado que se cumplen los supuestos. La respuesta que probé es absolutamente sobre eso. Yo mismo estaría interesado en comprender la conexión entre al menos un coeficiente lm diferente de cero (estadísticas F de un modelo) y la suma de los residuos.

Alexey Burnakov

11

En mi opinión, la intuición abstracta de ANOVA es la siguiente: uno descompone las fuentes de variación de la variable observada en varias direcciones e investiga las contribuciones respectivas. Para ser más precisos, uno descompone el mapa de identidad en una suma de proyecciones e investiga qué proyecciones / direcciones hacen una contribución importante para explicar la varianza y cuáles no. La base teórica es el teorema de Cochran .

Para ser menos abstracto, lanzo la segunda forma mencionada por el OP en el marco que acabo de describir. Posteriormente, interpreto la primera forma como un caso especial de la segunda.

Consideremos un modelo de regresión con variables explicativas (el modelo completo) y compárelo con el modelo restringido con variables . WLOG, las últimas variables del modelo completo no están incluidas en el modelo restringido. La pregunta respondida por ANOVA es $K$ $K-J$ $J$

"¿Podemos explicar significativamente más varianza en la variable observada si incluimos variables adicionales" $J$ ?

Esta pregunta se responde comparando las contribuciones de varianza de las primeras variables , las siguientes variables y la parte restante / no explicada (la suma residual de cuadrados). Esta descomposición (obtenida, por ejemplo, del teorema de Cochran) se utiliza para construir la prueba F. Por lo tanto, uno analiza la reducción (al incluir más variables) en la suma residual de cuadrados del modelo restringido (correspondiente a todos los coeficientes pertenecientes a las últimas variables son cero ) al incluir más variables y obtener el estadístico F Si el valor es lo suficientemente grande, entonces la varianza se explica por la adicional $K-J$ $J$ $H_0:$ $J$

\frac{\frac{R S S_{r e s t r} - R S S_{f u l l}}{J}}{\frac{R S S_{f u l l}}{N - K}}

$\frac{ \frac{RSS_{restr} - RSS_{full}}{J} }{ \frac{RSS_{full}}{N-K} }$

J

$J$ Las variables son significativas.

Ahora, la primera forma mencionada por el OP se interpreta como un caso especial de la segunda forma . Considere tres grupos diferentes A, B y C con medias , y . El se prueba comparando la varianza explicada por la regresión en una intercepción (el modelo restringido) con la varianza explicada por el modelo completo que contiene una intercepción, un maniquí para el grupo A y un maniquí para el grupo B. El estadístico F resultante es equivalente al ANOVA- prueba en Wikipedia $\mu_A$ $\mu_B$ $\mu_C$ $H_0: \mu_A = \mu_B = \mu_C$

\frac{\frac{R S S_{i n t e r c e p t} - R S S_{d u m m i e s}}{2}}{\frac{R S S_{d u m m i e s}}{N - 3}}

$\frac{ \frac{RSS_{intercept} - RSS_{dummies}}{2} }{ \frac{RSS_{dummies}}{N-3} }$ . El denominador es igual a la variación dentro de los grupos, el numerador es igual a la variación entre los grupos. Si la variación entre los grupos es mayor que la variación dentro de los grupos, uno rechaza la hipótesis de que todos los medios son iguales.

bmbb
fuente

+1. Me pregunto si estaría de acuerdo con mi comentario sobre la terminología en el comentario aquí: stats.stackexchange.com/questions/315979/#comment602611_315979 .

ameba dice Reinstate Monica

Definitivamente estoy de acuerdo en que hay mucha confusión en la terminología ;-). Coloquialmente, asocio ANOVA solo con la primera forma de OP. Acabo de echar un vistazo al libro de Scheffé "El análisis de la varianza" en el que se mencionan los "diseños anidados".

bmbb

@bmbb, agregaría a su último comentario esto: un caso simple donde comparamos modelos lm anidados, uno de los cuales es solo interceptar. El hecho que me llamó la atención sobre el modelo con intercepción es que cuando nos referimos a sus residuos, en realidad nos referimos a su varianza, ya que los residuos se calculan en relación con una media variable (que es la intersección del modelo), y son desviaciones de muestra promedio. Por lo tanto, todavía hacemos el análisis de varianza en el caso de modelos anidados, incluso si analizamos formalmente los residuos.

Alexey Burnakov

6

Si está haciendo ANOVA unidireccional para probar si hay una diferencia significativa entre los grupos, entonces está comparando implícitamente dos modelos anidados (por lo tanto, solo hay un nivel de anidación, pero todavía está anidando).

Esos dos modelos son:

Modelo 0: Los valores (con el número de muestra el número de grupo) se modelan por la media estimada, de toda la muestra. $y_{ij}$ $i$ $j$ $\hat{\beta}_0$ $y_{i j} = {\hat{β}}_{0} + ϵ_{i}$ $y_{ij} = \hat{\beta}_0 + \epsilon_i$
Modelo 1: los valores se modelan por los medios estimados de los grupos.

(y si representamos el modelo por las variaciones entre grupos, , entonces el modelo 0 está anidado dentro del modelo 1) $\hat{\beta_j}$

$y_{i} = {\hat{β}}_{0} + {\hat{β}}_{j} + ϵ_{i}$ $y_i = \hat{\beta}_0 + \hat{\beta}_j + \epsilon_i$

Un ejemplo de comparación de medias y equivalencia con modelos anidados: tomemos la longitud del sepal (cm) del conjunto de datos del iris (si usamos las cuatro variables, podríamos estar haciendo LDA o MANOVA como lo hizo Fisher en 1936)

Las medias totales y grupales observadas son:

\begin{matrix} μ_{t o t a l} & = 5.83 \\ μ_{s e t o s a} & = 5.01 \\ μ_{v e r s i c o l o r} & = 5.94 \\ μ_{v i r g i n i c a} & = 6.59 \end{matrix}

$\begin{array} \\ \mu_{total} &= 5.83\\ \mu_{setosa} &= 5.01\\ \mu_{versicolor} &= 5.94\\ \mu_{virginica} &= 6.59\\ \end{array}$

Que está en forma de modelo:

\begin{matrix} model 1: & y_{i j} = 5.83 + ϵ_{i} \\ model 2: & y_{i j} = 5.01 + {[\begin{matrix} 0 \\ 0.93 \\ 1.58 \end{matrix}]}_{j} + ϵ_{i} \end{matrix}

$\begin{array}\\ \text{model 1: }& y_{ij} = 5.83 + \epsilon_i\\ \text{model 2: }& y_{ij} = 5.01 + \begin{bmatrix} 0 \\ 0.93 \\ 1.58 \end{bmatrix}_j + \epsilon_i\\ \end{array}$

El en el modelo 1 representa la suma total de cuadrados . $\sum{\epsilon_i^2} = 102.1683$

El en el modelo 2 representa la suma dentro del grupo de los cuadrados . $\sum{\epsilon_i^2} = 38.9562$

Y la tabla ANOVA será como (y calculará implícitamente la diferencia que es la suma de cuadrados entre grupos que es el 63.212 en la tabla con 2 grados de libertad):

> model1 <- lm(Sepal.Length ~ 1 + Species, data=iris)
> model0 <- lm(Sepal.Length ~ 1, data=iris)
> anova(model0, model1)
Analysis of Variance Table

Model 1: Sepal.Length ~ 1
Model 2: Sepal.Length ~ 1 + Species
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1    149 102.168                                  
2    147  38.956  2    63.212 119.26 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

con

F = \frac{\frac{R S S_{d i f f e r e n c e}}{D F_{d i f f e r e n c e}}}{\frac{R S S_{n e w}}{D F_{n e w}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26

$F = \frac{\frac{RSS_{difference}}{DF_{difference}}}{\frac{RSS_{new}}{DF_{new}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26$

conjunto de datos utilizado en el ejemplo:

longitud del pétalo (cm) para tres especies diferentes de flores de iris

Iris setosa            Iris versicolor      Iris virginica
5.1                    7.0                    6.3
4.9                    6.4                    5.8
4.7                    6.9                    7.1
4.6                    5.5                    6.3
5.0                    6.5                    6.5
5.4                    5.7                    7.6
4.6                    6.3                    4.9
5.0                    4.9                    7.3
4.4                    6.6                    6.7
4.9                    5.2                    7.2
5.4                    5.0                    6.5
4.8                    5.9                    6.4
4.8                    6.0                    6.8
4.3                    6.1                    5.7
5.8                    5.6                    5.8
5.7                    6.7                    6.4
5.4                    5.6                    6.5
5.1                    5.8                    7.7
5.7                    6.2                    7.7
5.1                    5.6                    6.0
5.4                    5.9                    6.9
5.1                    6.1                    5.6
4.6                    6.3                    7.7
5.1                    6.1                    6.3
4.8                    6.4                    6.7
5.0                    6.6                    7.2
5.0                    6.8                    6.2
5.2                    6.7                    6.1
5.2                    6.0                    6.4
4.7                    5.7                    7.2
4.8                    5.5                    7.4
5.4                    5.5                    7.9
5.2                    5.8                    6.4
5.5                    6.0                    6.3
4.9                    5.4                    6.1
5.0                    6.0                    7.7
5.5                    6.7                    6.3
4.9                    6.3                    6.4
4.4                    5.6                    6.0
5.1                    5.5                    6.9
5.0                    5.5                    6.7
4.5                    6.1                    6.9
4.4                    5.8                    5.8
5.0                    5.0                    6.8
5.1                    5.6                    6.7
4.8                    5.7                    6.7
5.1                    5.7                    6.3
4.6                    6.2                    6.5
5.3                    5.1                    6.2
5.0                    5.7                    5.9

Sexto empírico
fuente

1

¡+1 pero formatear la tabla de datos como una tabla de látex es una práctica realmente mala! ¡No se puede copiar y pegar en ningún lado! Si realmente desea incluir los datos, ¿por qué no formatearlos como un bloque de código? Pero en este caso también puede vincular al artículo de Wikipedia Fisher Iris que contiene los datos.

ameba dice Reinstate Monica

Además de, ¿cuál es su opinión sobre el problema de terminología que mencioné en este comentario stats.stackexchange.com/questions/315979/#comment602611_315979 ?

ameba dice Reinstate Monica

1

No creo que la terminología difusa sea un gran problema. En mi opinión, en realidad nunca considero a ANOVA tanto como una comparación de la varianza dentro y entre grupos y siempre hago la proyección mental a una comparación de dos modelos. No creo que sea un gran problema ya que la distribución f, una razón de dos variables distribuidas chi-cuadrado independientes, es en cierto sentido, una razón de variaciones. La aplicación de la prueba f para estudiar modelos anidados es una especie de comparación de variaciones, análisis de variaciones, por lo tanto, ANOVA me parece correcto (actualmente estoy tratando de buscar algunas referencias históricas).

Sextus Empiricus

No estoy diciendo que esto sea un problema. Pero me pregunto si el término "ANOVA" se refiere a la prueba F que compara modelos anidados solo en R (como sugerí en mi comentario vinculado) o si es una terminología más amplia aceptada. No revisé los libros de texto, por lo que mi evidencia proviene solo de Wikipedia.

ameba dice Reinstate Monica

En Métodos estadísticos de Fisher para investigadores de 1925, cuando explica "el análisis de varianza", incluye ejemplos que aplican la técnica a las líneas de regresión (pero no a los modelos anidados).

Sextus Empiricus

1

El uso de ANOVA en comparación entre varios modelos significa probar si al menos uno de los coeficientes utilizados en el modelo con orden superior (y ausente en el modelo con orden inferior) es significativamente diferente de cero.

Eso es equivalente a decir que la suma de los residuos para el modelo de orden superior es significativamente menor que la del modelo de orden inferior.

Se trata de dos modelos, ya que la ecuación básica utilizada es

MSM/MSE

Donde MSM es la media de los residuos al cuadrado del modelo de orden inferior (donde el orden más bajo es la media de la variable objetivo, es decir, la intercepción).

( http://www.stat.yale.edu/Courses/1997-98/101/anovareg.htm )

Puedes leer temas similares en CV, como

¿Cómo usar anova para la comparación de dos modelos?

Alexey Burnakov
fuente

En mi humilde opinión esto no responde a la pregunta.

ameba dice Reinstate Monica

1

De lo que he aprendido

Puede usar tablas ANOVA para determinar si sus variables explicativas tienen un efecto significativo en la variable de respuesta y, por lo tanto, se ajustan al modelo apropiado.

Por ejemplo, suponga que tiene 2 variables explicativas y , pero no está seguro de si realmente tiene un efecto en Y. Puede comparar las tablas ANOVA de los dos modelos: $x_1$ $x_2$ $x_2$

y = β_{0} + β_{1} x_{1} + β_{2} x_{2} + ϵ

$y=\beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$ vs

y = β_{0} + β_{1} x_{1} + ϵ

$y=\beta_0 + \beta_1x_1 + \epsilon$

Realiza una prueba de hipótesis con la Suma de cuadrados residual adicional usando la prueba F para determinar si un modelo reducido con solo es más significativo. $x_1$

Aquí hay un ejemplo de salida ANOVA para un proyecto en el que estoy trabajando en R, donde pruebo dos modelos (uno con los días variables y otro sin los días variables):

Como puede ver, el valor p correspondiente de la prueba F es 0.13, que es mayor que 0.05. Por lo tanto, no podemos rechazar la hipótesis nula de que Días no tiene efecto en Y. Por lo tanto, elijo el modelo 1 sobre el modelo 2.

JPMSpoof
fuente

En mi humilde opinión esto no responde a la pregunta.

ameba dice Reinstate Monica

¿Cuál es la relación entre ANOVA para comparar medias de varios grupos y ANOVA para comparar modelos anidados?

Respuestas: