Efecto fijo versus efecto aleatorio cuando se incluyen todas las posibilidades en un modelo de efectos mixtos

En un modelo de efectos mixtos, la recomendación es utilizar un efecto fijo para estimar un parámetro si se incluyen todos los niveles posibles (p. Ej., Hombres y mujeres). Se recomienda además utilizar un efecto aleatorio para tener en cuenta una variable si los niveles incluidos son solo una muestra aleatoria de una población (pacientes inscritos del universo de posibles pacientes) y desea estimar la media y la varianza de la población en lugar de las medias de los niveles de factores individuales.

Me pregunto si está lógicamente obligado a utilizar siempre un efecto fijo de esta manera. Considere un estudio sobre cómo cambia el tamaño del pie / zapato a través del desarrollo y está relacionado, por ejemplo, con la altura, el peso y la edad. ${\rm Side}$claramente debe incluirse en el modelo de alguna manera para tener en cuenta el hecho de que las mediciones a lo largo de los años están anidadas dentro de un pie dado y no son independientes. Además, derecha e izquierda son todas las posibilidades que pueden existir. Además, puede ser muy cierto que para un participante determinado su pie derecho es más grande (o más pequeño) que su izquierdo. Sin embargo, aunque el tamaño del pie difiere algo entre los pies para todas las personas, no hay razón para creer que los pies derechos en promedio sean más grandes que los izquierdos. Si están en su muestra, esto probablemente se deba a algo sobre la genética de las personas en su muestra, en lugar de algo intrínseco a la posición correcta. Por último, ${\rm side}$ parece como un parámetro de ruido, no es algo que realmente importa.

Permítanme señalar que hice este ejemplo. Puede que no sea bueno; es solo para transmitir la idea. Por lo que sé, era necesario tener un pie derecho grande y un pie izquierdo pequeño para sobrevivir en el paleolítico.

En un caso como este, ¿tendría sentido (más / menos / cualquiera) incorporar ${\rm side}$ en el modelo como un efecto aleatorio? ¿Cuáles serían los pros y los contras de usar un efecto fijo versus aleatorio aquí?

El problema general con los efectos "fijos" y "aleatorios" es que no se definen de manera consistente. Andrew Gelman cita varios de ellos:

(1) Los efectos fijos son constantes entre los individuos, y los efectos aleatorios varían. Por ejemplo, en un estudio de crecimiento, un modelo con intersecciones aleatorias y pendiente fija b corresponde a líneas paralelas para diferentes individuos i , o el modelo y i t = a i + b t . Kreft y De Leeuw (1998) distinguen así entre coeficientes fijos y aleatorios.$a_i$$b$$i$$y_{it} = a_i + b_t$

(2) Los efectos son fijos si son interesantes en sí mismos o aleatorios si hay interés en la población subyacente. Searle, Casella y McCulloch (1992, Sección 1.4) exploran esta distinción en profundidad.

(3) “Cuando una muestra agota a la población, la variable correspondiente es fija; cuando la muestra es una parte pequeña (es decir, insignificante) de la población, la variable correspondiente es aleatoria ". (Green y Tukey, 1960)

(4) "Si se supone que un efecto es un valor realizado de una variable aleatoria, se denomina efecto aleatorio". (LaMotte, 1983)

(5) Los efectos fijos se estiman utilizando mínimos cuadrados (o, más generalmente, la máxima probabilidad) y los efectos aleatorios se estiman con contracción ("predicción lineal imparcial" en la terminología de Robinson, 1991). Esta definición es estándar en la literatura de modelado multinivel (ver, por ejemplo, Snijders y Bosker, 1999, Sección 4.2) y en econometría.

y las comunicaciones que son no coherentes. En su libro Análisis de datos usando regresión y modelos multinivel / jerárquicos , generalmente evita el uso de esos términos y en su trabajo se enfoca en intercepciones y pendientes fijas o variables entre grupos porque

Los efectos fijos se pueden ver como casos especiales de efectos aleatorios, en los que la varianza de nivel superior (en el modelo (1.1), esto sería ) se establece en 0 o ∞ . Por lo tanto, en nuestro marco, todos los parámetros de regresión son "aleatorios" y el término "multinivel" lo abarca todo.$\sigma^2_\alpha$$0$$\infty$

Esto es especialmente cierto con el marco bayesiano, comúnmente utilizado para modelos mixtos, donde todos los efectos son aleatorios per se. Si está pensando en Bayesiano, no está realmente preocupado por los efectos "fijos" y las estimaciones puntuales y no tiene ningún problema en tratar todos los efectos como aleatorios.

Cuanto más leo sobre este tema, más estoy convencido de que se trata más bien de una discusión ideológica sobre lo que podemos (o debemos) estimar y lo que solo podemos predecir (aquí podría referirme también a su propia respuesta ). Utiliza efectos aleatorios si tiene una muestra aleatoria de posibles resultados, por lo que no le preocupan las estimaciones individuales y le importan los efectos de la población, y luego los individuos. Por lo tanto, la respuesta a su pregunta depende también de qué piensa si desea o puede estimar los efectos fijos dados sus datos. Si todos los niveles posibles están incluidos en sus datos, puedeestimar efectos fijos: también, como en su ejemplo, el número de niveles podría ser pequeño y eso generalmente no sería bueno para estimar efectos aleatorios y hay algunos requisitos mínimos para esto .

Argumento del mejor escenario posible

Supongamos que tiene cantidades ilimitadas de datos y poder computacional ilimitado. En este caso, podría imaginar estimar cada efecto como fijo, ya que los efectos fijos le brindan más flexibilidad (nos permiten comparar los efectos individuales). Sin embargo, incluso en este caso, la mayoría de nosotros sería reacia a usar efectos fijos para todo.

Por ejemplo, imagine que desea modelar los resultados de los exámenes de las escuelas en alguna región y tiene datos sobre las 100 escuelas de la región. En este caso, podría amenazar a las escuelas como fijas, ya que tiene datos en todos los niveles, pero en la práctica probablemente preferiría considerarlas como aleatorias. ¿Porqué es eso?

1. Una razón es que, en general, en este tipo de casos no le interesan los efectos de las escuelas individuales (y es difícil compararlos todos), sino una variabilidad general entre las escuelas.

2. Otro argumento aquí es la parsimonia modelo. En general, no está interesado en el modelo de "todas las influencias posibles", por lo que en su modelo incluye pocos efectos fijos que desea probar y controlar para las otras posibles fuentes de variabilidad. Esto hace que los modelos de efectos mixtos se ajusten a la forma general de pensar sobre el modelado estadístico en el que se estima algo y se controla para otras cosas. Con datos complicados (multinivel o jerárquicos) tiene muchos efectos para incluir, por lo que amenaza algunos como "fijos" y otros como "aleatorios" para controlarlos.

3. En este escenario, tampoco pensaría que las escuelas tienen cada una su influencia única y única en los resultados, sino más bien que las escuelas tienen cierta influencia en general. Entonces, este argumento sería que creemos que no es realmente posible estimar los efectos únicos de las escuelas individuales y, por lo tanto, los amenazamos como una muestra aleatoria de los posibles efectos de las escuelas.

Los modelos de efectos mixtos se encuentran entre los escenarios "todo arreglado" y "todo al azar". Los datos que encontramos nos hacen bajar nuestras expectativas sobre estimar todo como efectos fijos, por lo que decidimos qué efectos queremos comparar y qué efectos queremos controlar, o tenemos un sentimiento general sobre su influencia. No se trata solo de qué son los datos, sino también de cómo pensamos en los datos mientras los modelamos.

Resumen Ejecutivo

De hecho, a menudo se dice que si todos los niveles de factores posibles se incluyen en un modelo mixto, entonces este factor debe tratarse como un efecto fijo. Esto no es necesariamente cierto PARA DOS RAZONES DISTINTAS:

(1) Si el número de niveles es grande, entonces puede tener sentido tratar el factor [cruzado] como aleatorio.

Estoy de acuerdo con @Tim y @RobertLong aquí: si un factor tiene una gran cantidad de niveles que están incluidos en el modelo (como, por ejemplo, todos los países del mundo; o todas las escuelas de un país; o tal vez toda la población de los sujetos son encuestados, etc.), entonces no hay nada de malo en tratarlo como aleatorio --- esto podría ser más parsimonioso, podría proporcionar cierta contracción, etc.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Si el factor está anidado dentro de otro efecto aleatorio, entonces debe tratarse como aleatorio, independientemente de su número de niveles.

Hubo una gran confusión en este hilo (ver comentarios) porque otras respuestas son sobre el caso # 1 anterior, pero el ejemplo que dio es un ejemplo de una situación diferente , a saber, este caso # 2. Aquí solo hay dos niveles (es decir, ¡"un gran número"!) Y agotan todas las posibilidades, pero están anidados dentro de otro efecto aleatorio , produciendo un efecto aleatorio anidado.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

---

Discusión detallada de su ejemplo.

Los lados y las materias en su experimento imaginario están relacionados, como las clases y las escuelas, en el ejemplo del modelo jerárquico estándar. Quizás cada escuela (# 1, # 2, # 3, etc.) tiene clase A y clase B, y se supone que estas dos clases son aproximadamente las mismas. No modelará las clases A y B como un efecto fijo con dos niveles; Esto sería un error. Pero tampoco modelará las clases A y B como un efecto aleatorio "separado" (es decir, cruzado) con dos niveles; Esto también sería un error. En cambio, modelarás las clases como un efecto aleatorio anidado dentro de las escuelas.

Vea aquí: Efectos aleatorios cruzados versus anidados: ¿en qué se diferencian y cómo se especifican correctamente en lme4?

En su estudio imaginario del tamaño del pie, sujeto y lado son efectos aleatorios y el lado está anidado dentro del sujeto. Esto significa esencialmente que se forma una variable combinada, por ejemplo, John-Left, John-Right, Mary-Left, Mary-Right, etc., y hay dos efectos aleatorios cruzados: sujetos y sujetos-lados. Entonces para el sujeto $i=1\ldots n$$j=1,2$

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk}+\epsilon_i + \color{red}{\epsilon_{ij}} + \epsilon_{ijk}$$ $$\epsilon_i\sim\mathcal N(0,\sigma^2_\mathrm{subjects}),\quad\quad\text{Random intercept for each subject}$$ $$\color{red}{\epsilon_{ij}}\sim\mathcal N(0,\sigma^2_\text{subject-side}),\quad\quad\text{Random int. for side nested in subject}$$ $$\epsilon_{ijk}\sim\mathcal N(0,\sigma^2_\text{noise}),\quad\quad\text{Error term}$$

Como escribió usted mismo, "no hay razón para creer que los pies derechos serán, en promedio, más grandes que los izquierdos". Por lo tanto, no debe haber ningún efecto "global" (ni cruzado fijo ni aleatorio) del pie derecho o izquierdo; en cambio, se puede pensar que cada sujeto tiene "un" pie y "otro" pie, y esta variabilidad deberíamos incluirla en el modelo. Estos pies "uno" y "otro" están anidados dentro de los sujetos, por lo tanto, tienen efectos aleatorios anidados.

Más detalles en respuesta a los comentarios. [26 de septiembre]

Mi modelo anterior incluye Side como un efecto aleatorio anidado dentro de los Sujetos. Aquí hay un modelo alternativo, sugerido por @Robert, donde Side es un efecto fijo:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} + \color{red}{\delta\cdot\text{Side}_j}+\epsilon_i + \epsilon_{ijk}$$

$ij$

No puede.

Lo mismo es cierto para el modelo hipotético de @gung con Side como un efecto aleatorio cruzado:

$$\text{Size}_{ijk} = \mu+\alpha\cdot\text{Height}_{ijk}+\beta\cdot\text{Weight}_{ijk}+\gamma\cdot\text{Age}_{ijk} +\epsilon_i + \color{red}{\epsilon_j} + \epsilon_{ijk}$$

Tampoco tiene en cuenta las dependencias.

Demostración a través de una simulación [2 de octubre]

Aquí hay una demostración directa en R.

Genero un conjunto de datos de juguetes con cinco sujetos medidos en ambos pies durante cinco años consecutivos. El efecto de la edad es lineal. Cada sujeto tiene una intercepción aleatoria. Y cada sujeto tiene uno de los pies (ya sea el izquierdo o el derecho) más grande que otro.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Disculpas por mis terribles habilidades de R. Así es como se ven los datos (cada cinco puntos consecutivos son un pie de una persona medida a lo largo de los años; cada diez puntos consecutivos son dos pies de la misma persona):

Ahora podemos adaptarnos a un montón de modelos:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Todos los modelos incluyen un efecto fijo agey un efecto aleatorio de subject, pero se tratan de manera sidediferente.

1. sideage$t=1.8$

2. sideage$t=1.4$ ), la varianza residual es enorme (29.81).

3. sideage$t=37$ , sí, treinta y siete), la varianza residual es pequeña (0.07).

Esto muestra claramente que sidedebe tratarse como un efecto aleatorio anidado.

Finalmente, en los comentarios @Robert sugirió incluir el efecto global de side como variable de control. Podemos hacerlo, manteniendo el efecto aleatorio anidado:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

side$t=0.5$side

Para agregar a las otras respuestas:

No creo que esté lógicamente obligado a usar siempre un efecto fijo de la manera descrita en el OP. Incluso cuando no se cumplen las definiciones / directrices habituales sobre cuándo tratar un factor como aleatorio, podría inclinarme a modelarlo como aleatorio cuando hay una gran cantidad de niveles, de modo que tratar el factor como fijo consumiría muchos grados de libertad y resultado en un modelo engorroso y menos parsimonioso.

Si habla de la situación en la que conoce todos los niveles posibles de un factor de interés y también tiene datos para estimar los efectos, definitivamente no necesita representar niveles con efectos aleatorios.

La razón por la que desea establecer un efecto aleatorio en un factor es porque desea hacer inferencia sobre los efectos de todos los niveles de ese factor, que generalmente son desconocidos. Para hacer ese tipo de inferencia, usted impone la suposición de que los efectos de todos los niveles forman una distribución normal en general. Pero dada la configuración de su problema, puede estimar los efectos de todos los niveles. Entonces ciertamente no hay necesidad de establecer efectos aleatorios e imponer suposiciones adicionales.

Es como la situación en la que puede obtener todos los valores de la población (por lo tanto, conoce la media real), pero está tratando de tomar una muestra grande de la población y usar el teorema del límite central para aproximar la distribución de muestreo, y luego hacer inferencia sobre la verdadera media.