¿Cómo informar un modelo lineal de efectos mixtos para aquellos que no están familiarizados y son escépticos?

8

Me he encontrado con este problema varias veces, y los revisores solicitan más justificación para el uso de LMM, pruebas tradicionales en lugar de LMM o además de ellas, y tablas completas de estimaciones de parámetros similares a lo que informaría con un modelo lineal regular. .

En este momento, mi problema específico es un revisor que solicita "Una tabla que contiene las estimaciones de los parámetros principales de los distintos modelos". Estoy pensando que quieren algo como una tabla tradicional que se informaría para un modelo lineal (con pruebas t y valores p), pero en este caso los análisis involucran comparaciones de modelos anidados y no hay pruebas t para cada uno de los parámetros incluidos en cada modelo, sino más bien una prueba única para la comparación del modelo, que sí informo en el documento. Por lo tanto, no estoy seguro de qué hacer: quiero satisfacer al revisor, pero no necesariamente quiero incluir grandes tablas de información que son de poca utilidad para evaluar los resultados. En este momento, simplemente informo el valor beta, SE, chi-cuadrado y p. También dejo en claro qué variables se incluyeron en cada modelo. ¿Alguna sugerencia sobre cómo proceder?

Esto es lo que propongo responder:

Creemos que el revisor está pidiendo algo similar a lo que se informaría en un análisis de regresión múltiple tradicional, con estimaciones de parámetros y sus estadísticas y valores p correspondientes para cada variable incluida en un modelo dado. Sin embargo, dado que los análisis de modelos lineales mixtos utilizan modelos anidados que comparan modelos reducidos con modelos completos con un parámetro adicional, el único parámetro que se prueba es el que se agrega en el modelo completo (CITA) Como tal, incluir una tabla no admitiría la interpretación de los resultados en la forma en que lo haría en un análisis más tradicional. Por lo tanto, para cada análisis, informamos las versiones beta del parámetro probado en cada comparación de modelo, junto con las estadísticas clave, en el cuerpo de la sección de resultados, como se recomienda (CITACIONES).

Además, cuando se me pide una justificación para el uso de LMM en mi caso particular, esto es lo que propongo responder:

Utilizamos modelos mixtos lineales porque este análisis nos permitió tener en cuenta la variabilidad debida al tipo de prueba en nuestros modelos (pruebas de cambio versus pruebas sin cambio), al mismo tiempo que explicamos el hecho de que las pruebas estaban anidadas dentro de los sujetos y las respuestas múltiples de la misma persona. son más similares que las respuestas de otras personas. Se esperaba que la contabilidad tanto del tipo de prueba como de la variación del nivel de sujeto en los tiempos de reacción redujera el error en nuestros modelos y aumentara nuestra capacidad de detectar cualquier efecto del rendimiento de la tarea.

Si tiene alguna sugerencia sobre cómo podría mejorarse, se lo agradecería. Una vez más, esta audiencia no es estadísticamente sofisticada, por lo que es probable que agregar tablas y datos suplementarios solo aumente su confusión / escepticismo.

Además, tenga en cuenta que mi motivación para usar LMM es diferente de lo que he visto en los documentos (por ejemplo, modelar múltiples efectos aleatorios simultáneamente, en mi caso, solo hay un efecto aleatorio, los participantes, y el tipo de ensayo es un efecto fijo), por lo que No estoy seguro de que citar algunos de los documentos comunes sea tan útil. Es posible que haya pasado por alto otras formas de analizar estos datos, por lo que mi justificación para usar LMM no es adecuada.

panpsych77
fuente
¿Puedes dar más información sobre el modelo que utilizas? ¿Qué tan complicado es? ¿De qué "varios modelos" habla el crítico? ¿Habla de modelos anidados en su manuscrito?
ameba
Reporto varias comparaciones de modelos que involucran un modelo reducido con algunas covariables clave y un modelo completo con las mismas variables más la variable independiente de interés. En la sección de enfoque analítico de mi manuscrito explico exactamente cómo funcionará todo esto, pero los revisores claramente no están familiarizados con el enfoque, por lo que todavía tienen esta expectativa que creo que está guiada por su familiaridad con la regresión múltiple.
panpsych77
2
Realmente no veo el problema. Puede informar todas las estimaciones de parámetros y SE para ambos modelos, ya sea en dos tablas separadas o combinadas en una tabla, y luego observar: "una prueba de razón de probabilidad que compara estos dos modelos arrojó ..." Alternativamente, podría hacer el exhaustivo conjunto de comparaciones de modelos e informar las estadísticas LRT junto a cada estimación de parámetros fijos en la tabla de modelos completa, utilizando, por ejemplo,drop1(merMod, type="chisq")
Jake Westfall
@JakeWestfall, gracias! Tenía la impresión de que la convención no era para informar toda esta información (basada en documentos psíquicos que he leído que informan LMM), pero ahora puedo ver por qué tendría sentido hacerlo. ¿Tiene algún ejemplo de sus propios documentos o de otro lugar sobre cómo formatearía estas tablas? ¿Similar a las tablas de regresión múltiple regulares, supongo? Puedo encontrar una forma que me parezca intuitiva, pero siempre es bueno tener ejemplos.
panpsych77
2
@ panpsych77 Solicito habitualmente esta información mientras la reviso, principalmente para que sea absolutamente claro para los lectores cuál era la especificación completa del modelo. Aquí hay un par de ejemplos de cómo hemos formateado tales tablas en documentos de los que soy coautor: jakewestfall.org/publications/ANES_supplement.pdf jakewestfall.org/publications/femininity.pdf
Jake Westfall

Respuestas:

7

En parte, estoy de acuerdo con el crítico en este caso. Está interesado en el efecto de su parámetro de interés, dado el resto del modelo . Es difícil interpretar los resultados y verificar la validez del modelo si solo informa un único parámetro de interés. Yo proporcionaría:

  • la formula de tu modelo
  • estimaciones beta para todos los efectos fijos
  • SE y CI correspondientes
  • estadísticas de prueba correspondientes (z, t, Chi ^ 2, cambio en AIC / BIC, lo que sea que haya usado) con df's / n's
  • valores p correspondientes
  • SD para sus efectos aleatorios y sus correlaciones (si es necesario como tabla separada)

Las limitaciones de espacio en la mayoría de las revistas clásicas harán que sea necesario incluir esta información en un suplemento en línea.

Los ejemplos para informar modelos mixtos se pueden encontrar aquí .

mzunhammer
fuente
He estado buscando pautas para informar modelos mixtos en investigación biomédica / psicológica desde hace algún tiempo, pero no he encontrado ninguna. Estaría feliz por cualquier referencia citable.
mzunhammer
Las únicas pautas que he encontrado son los tutoriales en línea, que no parecen apropiados. Podría citar el libro R (Crawley) o algunos documentos psicológicos que informan sobre LMM en la medida en que establecen un precedente.
panpsych77
Además, ¿podría leer lo que agregué a mi publicación original anterior y decirme si tiene sentido? ¡Gracias!
panpsych77
2
Se actualizó la respuesta anterior. Otro punto que podría utilizar para justificar el uso del análisis LMM en lugar del análisis LM estándar es que es necesario tener en cuenta las medidas repetidas, ya que no hacerlo violaría el supuesto de observaciones independientes.
mzunhammer
2
Los lectores a menudo querrán ver los resultados presentados de una manera que facilite la comparación de un nuevo estudio con estudios anteriores. Por ejemplo, en el análisis de supervivencia, las revistas a menudo prefieren mostrar grandes tablas de muchas relaciones de variable única con el resultado a pesar de que esas relaciones tienen un valor estadístico limitado. Dichas tablas proporcionan cierta seguridad de que la nueva cohorte de pacientes es similar a otras cohortes. Estoy de acuerdo en proporcionar más en lugar de menos en términos de tablas de resultados; La explicación de los límites de las tablas cumple una función educativa útil para los lectores.
EdM