¿Debo excluir los efectos aleatorios de un modelo si no son estadísticamente significativos?

¿Debo incluir efectos aleatorios en un modelo incluso si no son estadísticamente significativos? Tengo un diseño experimental de medidas repetidas, en el que cada individuo experimenta tres tratamientos diferentes en orden aleatorio. Me gustaría controlar cualquier efecto individual y de orden, pero ninguno parece ser estadísticamente significativo en mis modelos. ¿Eso hace que sea correcto excluirlos, o aún debería incluirlos?

Mi recomendación es incluir los efectos aleatorios en el modelo, incluso si no son estadísticamente significativos, sobre la base de que el análisis estadístico representa más fielmente el diseño real del estudio.

Esto le permite escribir algo como esto en su sección de Métodos estadísticos:

Se incluyeron efectos aleatorios para el individuo y el orden para controlar la posible dependencia debido a medidas repetidas o efectos del orden.

Esto probablemente evitará los comentarios de los revisores sobre supuestos de dependencia o pseudo-replicación. Es más fácil hacer esto que "explicar" por qué está bien abandonar esos términos, incluso si parecen esencialmente inútiles.

Además, tener esos términos en el modelo probablemente no le esté costando nada. Me sorprendería y sospecharía si los resultados cambiaran dramáticamente cuando los elimine.

Aquí hay algunas consideraciones:

Pragmático:

A veces, la distribución de los datos no permite ajustar el modelo a los datos. Esto puede ocurrir cuando, debido al costo, el tiempo o el esfuerzo, se recopilan muy pocas pruebas a propósito, cuando los datos son demasiado escasos de alguna manera, o cuando la distribución de los datos resulta ser degenerada o demasiado plana.

En este caso, es posible que no tenga otra forma de proceder que no sea simplificar el modelo, tal vez de manera dramática. Por lo general, trato de eliminar primero los efectos que tienen la mayor granularidad, ya que generalmente hay más de ellos para estimar.

En el peor de los casos, es posible que desee continuar como si los datos se hubieran recopilado de forma independiente. Esto puede ser mejor que nada, pero las pruebas de importancia tendrán que tomarse con un gran grano de sal. La interpretación de los resultados debe ser cubierta bastante.

Práctico:

En algunas situaciones, puede ser razonable agrupar términos para obtener información para continuar. Aquí, estoy pensando más en el diseño experimental en la investigación y el desarrollo en curso, en lugar de en la publicación.

Lorenzen y Anderson (1993) dan reglas de "a veces agrupamiento" para el caso en el que sería útil obtener pruebas más precisas de otros factores en el modelo.

• Un término en el modelo se declarará insignificante y un candidato para su eliminación del modelo y la columna EMS si es insignificante en el nivel .$\alpha=0.25$
• No se debe eliminar un término del modelo si una interacción de orden superior que involucra ese término es significativa en el nivel de .$0.25$

Sin embargo, una vez más, este tipo de regla es más para uso práctico y no para publicación, en mi opinión.

Teórico:

Ahora, puede ser que de hecho obtengas resultados esencialmente "idénticos" cuando elimines esos efectos aleatorios. Eso es bueno, pero debe tener en cuenta que ahora está ajustando dos modelos diferentes, y es posible que los términos deban interpretarse de manera diferente a pesar de que podrían ser "iguales".

Lo que sacaría de eso es que los resultados son sólidos bajo varios supuestos. Eso siempre es algo bueno.

Los términos de descarte también pueden considerarse parte de la "selección de modelo", "construcción de modelo" o "simplificación de modelo". Existe una variedad de metodologías para la selección de modelos. Si bien "descartar los términos con valores insignificantes " es uno de esos métodos, no parece tener mucho apoyo teóricamente en general. No estoy seguro de cómo funcionan las diversas metodologías con modelos mixtos.$p$

Además, dependiendo de cómo desee interpretar los resultados de su modelo, es posible que no desee "simplificarlo". Littell et al (2006) tienen una pequeña discusión (p. 211) sobre la inferencia estrecha versus la amplia y la inferencia de la población versus la inferencia específica del sujeto en un entorno simple. En su caso, probablemente le interese una inferencia amplia, sacar conclusiones que pertenezcan a toda la población en lugar de solo a las personas en su estudio.

De todos modos, en su caso, su estudio se realizó de una manera que introdujo el potencial de dependencia en función del orden y los individuos. Si puede modelar con precisión la estructura de su estudio, entonces debería hacerlo.

Referencias

Littell, Milliken, Stroup, Wolfinger y Schabenberger (2006) SAS para modelos mixtos. SAS.

Lorenzen y Anderson (1993) Diseño de experimentos: un enfoque sin nombre. Marcel Dekker, Inc.