¿Validación cruzada para modelos mixtos?

9

Mi colega y yo estamos ajustando una gama de modelos de efectos mixtos lineales y no lineales en R. Se nos pide que realicemos una validación cruzada en los modelos ajustados para poder verificar que los efectos observados son relativamente generalizables. Esta es normalmente una tarea trivial, pero en nuestro caso, tenemos que dividir todos los datos en una parte de capacitación y una parte de prueba (para fines de CV) que no comparten niveles comunes. Por ejemplo,

Los datos de entrenamiento pueden basarse en los Grupos 1,2,3,4; El modelo ajustado se valida en forma cruzada en el Grupo 5.

Esto crea un problema ya que los efectos aleatorios basados ​​en grupos estimados en los datos de entrenamiento no se aplican a los datos de las pruebas. Por lo tanto, no podemos CV el modelo.

¿Hay una solución relativamente sencilla para esto? ¿O alguien ha escrito un paquete para abordar este problema todavía? Cualquier pista es bienvenida!

¡Gracias!

mixed-model cross-validation Ting Qian
fuente
2
En la estimación de áreas pequeñas, tiene el mismo problema con las áreas pequeñas "fuera de la muestra". Lo que generalmente se hace es estimar los efectos aleatorios fuera de la muestra en cero (su valor más probable, suponiendo que sus efectos aleatorios se distribuyan normalmente). Efectivamente, está utilizando la parte "sintética" o fija del modelo solo para la predicción.
probabilidadislogic
probabilidadislogica / Ting Qian, ahora estoy luchando con este problema y me gustaría ver cómo especificaste los efectos fuera de la muestra como 0. ¿Es posible editar tu respuesta aquí y mostrar el código R? ¡Gracias!
Pradeep Babu

Respuestas:

3

Fang (2011) ha demostrado una equivalencia asintótica entre AIC aplicada a modelos mixtos y validación cruzada de dejar un clúster fuera. ¿Posiblemente esto satisfaría a su revisor, permitiéndole simplemente calcular AIC como una aproximación más fácil de calcular a lo que solicitaron?

Mike Lawrence
fuente
¡Gracias! Esto se ve útil. En realidad, ya calculamos BIC, pero el revisor quiere ver resultados de validación cruzada. ;-) Algunos de los conjuntos de datos que tenemos son relativamente pequeños. Entonces, uno puede argumentar que tal comportamiento asintótico no se espera. Pero sí, ciertamente podríamos citar a Fang (2011) cuando presentamos los resultados de BIC, ya que AIC y BIC también son asintóticamente equivalentes.
Ting Qian
2
No creo que AIC y BIC sean asintóticamente equivalentes, ya que intentan responder preguntas fundamentalmente diferentes. Ver: stats.stackexchange.com/questions/577/…
Mike Lawrence
Y aquí hay una comparación más detallada de AIC y BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065
Mike Lawrence
0

Colby y Bair (2013) habían desarrollado un enfoque de validación cruzada que puede aplicarse a modelos de efectos mixtos no lineales. Puede visitar este enlace para obtener más información.

Api Hounzandji
fuente
1
Bienvenido a Crossvalidated. Agregue más información a su respuesta. Tal vez puedas delinear las partes más importantes del artículo.
Ferdi