¿Cuáles son las medidas de bondad de ajuste fáciles de interpretar para los modelos lineales de efectos mixtos?

37

Actualmente estoy usando el paquete R lme4 .

Estoy usando modelos de efectos lineales mixtos con efectos aleatorios:

library(lme4)
mod1 <- lmer(r1 ~ (1 | site), data = sample_set) #Only random effects
mod2 <- lmer(r1 ~ p1 + (1 | site), data = sample_set) #One fixed effect + 
            # random effects
mod3 <- lmer(r1 ~ p1 + p2 + (1 | site), data = sample_set) #Two fixed effects + 
            # random effects

Para comparar modelos, estoy usando la anovafunción y veo diferencias en AIC en relación con el modelo AIC más bajo:

anova(mod1, mod2, mod3)

Lo anterior está bien para comparar modelos.

Sin embargo, también necesito una forma sencilla de interpretar las medidas de bondad de ajuste para cada modelo. ¿Alguien tiene experiencia con tales medidas? He investigado un poco, y hay artículos de revistas sobre R cuadrado para los efectos fijos de los modelos de efectos mixtos:

  • Cheng, J., Edwards, LJ, Maldonado-Molina, MM, Komro, KA y Muller, KE (2010). Análisis de datos longitudinales reales para personas reales: construir un modelo mixto suficientemente bueno. Estadísticas en medicina, 29 (4), 504-520. doi: 10.1002 / sim.3775
  • Edwards, LJ, Muller, KE, Wolfinger, RD, Qaqish, BF y Schabenberger, O. (2008). Una estadística R2 para efectos fijos en el modelo mixto lineal. Estadísticas en medicina, 27 (29), 6137-6157. doi: 10.1002 / sim.3429

Sin embargo, parece que hay algunas críticas en torno al uso de medidas como las propuestas en los documentos anteriores.

¿Podría alguien sugerir algunas medidas de bondad de ajuste fáciles de interpretar que podrían aplicarse a mis modelos?

mjburns
fuente
2
Me gusta mucho la pregunta, pero el uso de pruebas de coeficiente de riesgo para determinar si se necesitan o no efectos fijos es no la estrategia recomendada, consulte la FAQ . Entonces, lo anterior no está bien para comparar modelos.
Henrik
Gracias Henrik Las preguntas frecuentes que enumeró son muy útiles. Parece que el muestreo de Monte Carlo en cadena de Markov podría ser una buena estrategia para comparar mis modelos.
mjburns
1
El problema con MCMC es que solo puede tener efectos aleatorios simples (como en su ejemplo). Iría con la aproximación de Kenward-Rogers a los grados de libertad, ya que también se aplica a modelos más complicados. Eche un vistazo a la función mixed()en mi paquete afex ( la versión de desarrollo también tiene bootstrap paramétrico ). Ver aquí para algunas referencias .
Henrik
OK Henrik Logré que tu función mixta () funcionara desde el paquete afex. ¿Podría aconsejarme cómo podría usar afex para comparar modelos? ¿Qué medida (s) podría usar para decidir si un modelo es más plausible que otro? Gracias.
mjburns
Esto no es fácil de responder, tal vez haga una pregunta por separado dando más detalles. Pero solo brevemente, afex intenta ayudarlo a evaluar si ciertos efectos (o mejores modelos, incluido este efecto) son significativos. Para ello utiliza KRmodcompdesde el paquete pbkrtest. También puede usar KRmodcompdirectamente para comparar modelos.
Henrik

Respuestas:

3

No hay nada como una medida de bondad de ajuste fácil de interpretar para modelos lineales mixtos :)

El ajuste del efecto aleatorio (mod1) puede medirse por ICCy ICC2(la relación entre la varianza explicada por los efectos aleatorios y la varianza residual). El paquete psicométrico R incluye una función para extraerlos de un objeto lme.

Es posible utilizarlo R2para evaluar el efecto fijo (mod2, mod3), pero esto puede ser complicado: cuando dos modelos muestran un R2 similar, puede darse el caso de que uno sea más "preciso", pero eso está enmascarado por su factor fijo " restando "un componente de mayor varianza al efecto aleatorio. Por otro lado, es fácil interpretar un R2 mayor del modelo de orden superior (por ejemplo, mod3). En el capítulo de Baayen sobre modelos mixtos hay una buena discusión sobre esto. Además, su tutorial es muy claro.

Una posible solución es considerar cada uno variance componentindependientemente y luego usarlos para comparar los modelos.

ajeje
fuente
1
¿Puede decirnos a qué referencia se refiere cuando dice el capítulo de Baayen?
KH Kim
sí, la referencia está rota!
Curioso
He encontrado esta cita, no estoy seguro de si es así, pero no puedo obtener el PDF en ninguna parte: BaayenR. H., Análisis de datos lingüísticos: Una introducción práctica a las estadísticas usando R. Cambridge: Cambridge University Press, 2008. Pp. 368. ISBN-13: 978-0-521-70918-7. - Volumen 37, Edición 2 - Grzegorz Krajewski, Danielle Matthews
Curioso
1
Vamos chicos. ¿Dónde está tu google-foo? Haga una búsqueda en "baayenCUPstats.pdf: primer hit: sfs.uni-tuebingen.de/~hbaayen/publications/baayenCUPstats.pdf
DWin