¿ANOVA depende del método de los momentos y no de la probabilidad máxima?

13

Veo mencionado en varios lugares que ANOVA hace su estimación utilizando el método de los momentos.

Esa afirmación me confunde porque, aunque no estoy familiarizado con el método de los momentos, entiendo que es algo diferente y no equivalente al método de máxima probabilidad; Por otro lado, ANOVA puede verse como una regresión lineal con predictores categóricos y la estimación de OLS de los parámetros de regresión es la máxima probabilidad.

Entonces:

  1. ¿Qué califica los procedimientos ANOVA como método de momentos?

  2. Dado que ANOVA es equivalente a OLS con predictores categóricos, ¿no es la máxima probabilidad?

  3. Si estos dos métodos de alguna manera resultan equivalentes en el caso especial de ANOVA habitual, ¿hay algunas situaciones específicas de ANOVA cuando la diferencia se vuelve importante? Diseño desequilibrado? ¿Medidas repetidas? ¿Diseño mixto (entre sujetos + dentro de sujetos)?

ameba dice reinstalar Monica
fuente
44
En la configuración simple, y por simple quiero decir ANOVA de una y dos vías, el ANOVA se deriva de un LRT bajo distribuciones normales con variaciones iguales, por lo que es la máxima probabilidad de que se use. Por supuesto, para el caso normal, los estimadores mle y mom coinciden, por lo que la distinción no es de gran importancia. Sin embargo, en las configuraciones más complejas, en lugar de derivar LRT, confiamos en la regresión de OLS. El OLS es solo el mle bajo una distribución normal y es un estimador básico en el entorno más general, si imponemos la ortogonalidad con los residuos que es.
JohnK
1
@JohnK, muchas gracias por tu comentario, pero me cuesta entender algunas partes, en particular la segunda parte: ¿qué son "configuraciones más complejas" en las que ANOVA se basa en OLS en lugar de LRT (y por qué)? ¿Por qué OLS no es MLE en esta "configuración más general"? Pensé que siempre se suponen errores normales en cualquier escenario ANOVA. ¿Qué tiene que hacer la ortogonalidad con los residuos? Apreciaré mucho si expande su comentario en una respuesta.
ameba dice Reinstate Monica
2
@ameba. Edité mi respuesta para abordar su primer punto sobre que ANOVA es un método de estimador de momentos. Eso solo es cierto para los efectos aleatorios.
Placidia

Respuestas:

12

Encontré el ANOVA por primera vez cuando era estudiante de maestría en Oxford en 1978. Los enfoques modernos, al enseñar variables continuas y categóricas juntas en el modelo de regresión múltiple, dificultan que los estadísticos más jóvenes entiendan lo que está sucediendo. Por lo tanto, puede ser útil volver a tiempos más simples.

En su forma original, el ANOVA es un ejercicio de aritmética mediante el cual se divide la suma total de cuadrados en piezas asociadas con tratamientos, bloques, interacciones, lo que sea. En un entorno equilibrado, las sumas de cuadrados con un significado intuitivo (como SSB y SST) se suman a la suma total ajustada de cuadrados. Todo esto funciona gracias al Teorema de Cochran . Usando Cochran, puede calcular los valores esperados de estos términos bajo las hipótesis nulas habituales, y las estadísticas F fluyen desde allí.

Como beneficio adicional, una vez que comience a pensar en Cochran y las sumas de cuadrados, tiene sentido seguir cortando y cortando en cuadritos las sumas de cuadrados de su tratamiento utilizando contrastes ortogonales. Cada entrada en la tabla ANOVA debe tener una interpretación de interés para el estadístico y generar una hipótesis comprobable.

Recientemente escribí una respuesta donde surgió la diferencia entre los métodos MOM y ML. La pregunta se centró en la estimación de modelos de efectos aleatorios. En este punto, el enfoque ANOVA tradicional separa totalmente a la empresa con la estimación de máxima probabilidad, y las estimaciones de los efectos ya no son las mismas. Cuando el diseño no está equilibrado, tampoco obtienes las mismas estadísticas F.

σp2σ2σ2+nσp2nσb2^. El ANOVA produce un método de estimador de momentos para la varianza del efecto aleatorio. Ahora, tendemos a resolver tales problemas con modelos de efectos mixtos y los componentes de varianza se obtienen a través de la estimación de máxima verosimilitud o REML.

El ANOVA como tal no es un método de procedimiento de momentos. Se trata de dividir la suma de cuadrados (o más generalmente, una forma cuadrática de la respuesta) en componentes que producen hipótesis significativas. Depende en gran medida de la normalidad, ya que queremos que las sumas de cuadrados tengan distribuciones de chi-cuadrado para que las pruebas F funcionen.

El marco de máxima verosimilitud es más general y se aplica a situaciones como modelos lineales generalizados donde no se aplican sumas de cuadrados. Algunos softwares (como R) invitan a la confusión al especificar métodos anova para pruebas de razón de probabilidad con distribuciones asintóticas de chi-cuadrado. Se puede justificar el uso del término "anova", pero estrictamente hablando, la teoría detrás de esto es diferente.

Placidia
fuente
2
La prueba F de ANOVA unidireccional y bidireccional es una prueba de razón de probabilidad y puede consultar Hogg y Craig, Intrducción a las estadísticas matemáticas, capítulo 9 si no me cree. Además, la prueba F utilizada en la regresión normal también es un LRT, numerosas referencias para eso.
JohnK
1
Voy a revisar. Por ahora, he eliminado el párrafo.
Placidia
1
+1, muchas gracias por la respuesta. Por cierto, es exactamente su respuesta vinculada lo que provocó mi pregunta. Hay muchas cosas que no entiendo bien en lo que escribiste. Viajaré en Año Nuevo y no tendré tiempo para pensarlo, pero volveré a este hilo una vez que regrese en enero. Mientras tanto, me gustaría una vez más alentar a @JohnK a publicar una respuesta ampliando los puntos que hizo en los comentarios. Agradecería particularmente alguna explicación más técnica, tal vez con un ejemplo específico. ¡Feliz Navidad y feliz año nuevo a todos!
ameba dice Reinstate Monica
1
Feliz Navidad para ti también. En mi publicación vinculada, solo estaba pensando en la estimación de la varianza del efecto aleatorio, que es MOM en el enfoque tradicional. Lo siento si mi comentario sonó más general de lo que pretendía.
Placidia
2
Después de 1,5 años volví a leer su respuesta y me di cuenta de que estaba bastante clara, así que finalmente la marqué como aceptada :-) Saludos.
ameba dice Reinstate Monica