Efecto fijo versus efecto aleatorio cuando se incluyen todas las posibilidades en un modelo de efectos mixtos

15

En un modelo de efectos mixtos, la recomendación es utilizar un efecto fijo para estimar un parámetro si se incluyen todos los niveles posibles (p. Ej., Hombres y mujeres). Se recomienda además utilizar un efecto aleatorio para tener en cuenta una variable si los niveles incluidos son solo una muestra aleatoria de una población (pacientes inscritos del universo de posibles pacientes) y desea estimar la media y la varianza de la población en lugar de las medias de los niveles de factores individuales.

Me pregunto si está lógicamente obligado a utilizar siempre un efecto fijo de esta manera. Considere un estudio sobre cómo cambia el tamaño del pie / zapato a través del desarrollo y está relacionado, por ejemplo, con la altura, el peso y la edad. Syoremiclaramente debe incluirse en el modelo de alguna manera para tener en cuenta el hecho de que las mediciones a lo largo de los años están anidadas dentro de un pie dado y no son independientes. Además, derecha e izquierda son todas las posibilidades que pueden existir. Además, puede ser muy cierto que para un participante determinado su pie derecho es más grande (o más pequeño) que su izquierdo. Sin embargo, aunque el tamaño del pie difiere algo entre los pies para todas las personas, no hay razón para creer que los pies derechos en promedio sean más grandes que los izquierdos. Si están en su muestra, esto probablemente se deba a algo sobre la genética de las personas en su muestra, en lugar de algo intrínseco a la posición correcta. Por último, syoremi parece como un parámetro de ruido, no es algo que realmente importa.

Permítanme señalar que hice este ejemplo. Puede que no sea bueno; es solo para transmitir la idea. Por lo que sé, era necesario tener un pie derecho grande y un pie izquierdo pequeño para sobrevivir en el paleolítico.

En un caso como este, ¿tendría sentido (más / menos / cualquiera) incorporar syoremi en el modelo como un efecto aleatorio? ¿Cuáles serían los pros y los contras de usar un efecto fijo versus aleatorio aquí?

gung - Restablece a Monica
fuente
¿por qué querrías tratar el lado como un factor aleatorio dado que hay dos y solo dos niveles del factor? ¿De dónde viene la aleatoriedad en la configuración de su problema?
Aaron Zeng
@AaronZeng, dejando a un lado la calidad de mi ejemplo, esa es mi pregunta. ¿Hay alguna razón para representar niveles con efectos aleatorios si tiene todos los niveles posibles? ¿Qué pasa si el factor en cuestión tenía> 2 niveles?
gung - Restablece a Monica
1
@gung Acabo de volver a este hilo, ¿me ayudó alguna de las respuestas? Si no, ¿qué más le interesa aprender? ¿Quizás tenga su propia respuesta (en caso afirmativo, me interesaría saber más sobre este tema!)?
Tim
2
Ha pasado mucho tiempo desde que regresé aquí, @Tim. Aprecio ambas respuestas (las he votado), pero no son exactamente lo que estaba buscando (probablemente debido a una pregunta insuficientemente clara). He pensado en compilar una respuesta de algunas cosas que Ben Bolker ha publicado en varios lugares, pero sería un poco de trabajo y nunca lo he hecho. Sin embargo, todavía es algo que debo hacer. Gracias por el empujón.
gung - Restablece a Monica

Respuestas:

13

El problema general con los efectos "fijos" y "aleatorios" es que no se definen de manera consistente. Andrew Gelman cita varios de ellos:

(1) Los efectos fijos son constantes entre los individuos, y los efectos aleatorios varían. Por ejemplo, en un estudio de crecimiento, un modelo con intersecciones aleatorias y pendiente fija b corresponde a líneas paralelas para diferentes individuos i , o el modelo y i t = a i + b t . Kreft y De Leeuw (1998) distinguen así entre coeficientes fijos y aleatorios.aibiyyot=unyo+sit

(2) Los efectos son fijos si son interesantes en sí mismos o aleatorios si hay interés en la población subyacente. Searle, Casella y McCulloch (1992, Sección 1.4) exploran esta distinción en profundidad.

(3) “Cuando una muestra agota a la población, la variable correspondiente es fija; cuando la muestra es una parte pequeña (es decir, insignificante) de la población, la variable correspondiente es aleatoria ". (Green y Tukey, 1960)

(4) "Si se supone que un efecto es un valor realizado de una variable aleatoria, se denomina efecto aleatorio". (LaMotte, 1983)

(5) Los efectos fijos se estiman utilizando mínimos cuadrados (o, más generalmente, la máxima probabilidad) y los efectos aleatorios se estiman con contracción ("predicción lineal imparcial" en la terminología de Robinson, 1991). Esta definición es estándar en la literatura de modelado multinivel (ver, por ejemplo, Snijders y Bosker, 1999, Sección 4.2) y en econometría.

y las comunicaciones que son no coherentes. En su libro Análisis de datos usando regresión y modelos multinivel / jerárquicos , generalmente evita el uso de esos términos y en su trabajo se enfoca en intercepciones y pendientes fijas o variables entre grupos porque

Los efectos fijos se pueden ver como casos especiales de efectos aleatorios, en los que la varianza de nivel superior (en el modelo (1.1), esto sería ) se establece en 0 o . Por lo tanto, en nuestro marco, todos los parámetros de regresión son "aleatorios" y el término "multinivel" lo abarca todo.σα20 0

Esto es especialmente cierto con el marco bayesiano, comúnmente utilizado para modelos mixtos, donde todos los efectos son aleatorios per se. Si está pensando en Bayesiano, no está realmente preocupado por los efectos "fijos" y las estimaciones puntuales y no tiene ningún problema en tratar todos los efectos como aleatorios.

Cuanto más leo sobre este tema, más estoy convencido de que se trata más bien de una discusión ideológica sobre lo que podemos (o debemos) estimar y lo que solo podemos predecir (aquí podría referirme también a su propia respuesta ). Utiliza efectos aleatorios si tiene una muestra aleatoria de posibles resultados, por lo que no le preocupan las estimaciones individuales y le importan los efectos de la población, y luego los individuos. Por lo tanto, la respuesta a su pregunta depende también de qué piensa si desea o puede estimar los efectos fijos dados sus datos. Si todos los niveles posibles están incluidos en sus datos, puedeestimar efectos fijos: también, como en su ejemplo, el número de niveles podría ser pequeño y eso generalmente no sería bueno para estimar efectos aleatorios y hay algunos requisitos mínimos para esto .

Argumento del mejor escenario posible

Supongamos que tiene cantidades ilimitadas de datos y poder computacional ilimitado. En este caso, podría imaginar estimar cada efecto como fijo, ya que los efectos fijos le brindan más flexibilidad (nos permiten comparar los efectos individuales). Sin embargo, incluso en este caso, la mayoría de nosotros sería reacia a usar efectos fijos para todo.

Por ejemplo, imagine que desea modelar los resultados de los exámenes de las escuelas en alguna región y tiene datos sobre las 100 escuelas de la región. En este caso, podría amenazar a las escuelas como fijas, ya que tiene datos en todos los niveles, pero en la práctica probablemente preferiría considerarlas como aleatorias. ¿Porqué es eso?

  1. Una razón es que, en general, en este tipo de casos no le interesan los efectos de las escuelas individuales (y es difícil compararlos todos), sino una variabilidad general entre las escuelas.

  2. Otro argumento aquí es la parsimonia modelo. En general, no está interesado en el modelo de "todas las influencias posibles", por lo que en su modelo incluye pocos efectos fijos que desea probar y controlar para las otras posibles fuentes de variabilidad. Esto hace que los modelos de efectos mixtos se ajusten a la forma general de pensar sobre el modelado estadístico en el que se estima algo y se controla para otras cosas. Con datos complicados (multinivel o jerárquicos) tiene muchos efectos para incluir, por lo que amenaza algunos como "fijos" y otros como "aleatorios" para controlarlos.

  3. En este escenario, tampoco pensaría que las escuelas tienen cada una su influencia única y única en los resultados, sino más bien que las escuelas tienen cierta influencia en general. Entonces, este argumento sería que creemos que no es realmente posible estimar los efectos únicos de las escuelas individuales y, por lo tanto, los amenazamos como una muestra aleatoria de los posibles efectos de las escuelas.

Los modelos de efectos mixtos se encuentran entre los escenarios "todo arreglado" y "todo al azar". Los datos que encontramos nos hacen bajar nuestras expectativas sobre estimar todo como efectos fijos, por lo que decidimos qué efectos queremos comparar y qué efectos queremos controlar, o tenemos un sentimiento general sobre su influencia. No se trata solo de qué son los datos, sino también de cómo pensamos en los datos mientras los modelamos.

Tim
fuente
Muchos puntos buenos aquí, @Tim. Me pregunto cuál es su opinión sobre el ejemplo del gung en el OP; Hubo una larga discusión en los comentarios bajo mi respuesta, pero creo que ahora está finalmente más o menos resuelto. Sería bueno saber si está de acuerdo o quizás no está de acuerdo con lo que escribí.
ameba dice Reinstate Monica
@amoeba es una respuesta interesante (ya hice +1) y estoy de acuerdo con tu punto. Creo que esencialmente Gung tiene razón (lo mismo que Gelman, que siempre tiene razón :)) que no hay una respuesta única. Existe una gran literatura y múltiples formas de emplear modelos de efectos mixtos y no hay una distinción clara. Además, hay personas que por defecto siempre usan efectos fijos para todo y hay personas que usan efectos aleatorios siempre que pueden, incluso en los casos que generalmente preferiríamos considerar como efectos fijos ... También depende de qué es exactamente lo que desea modelo.
Tim
13

Resumen Ejecutivo

De hecho, a menudo se dice que si todos los niveles de factores posibles se incluyen en un modelo mixto, entonces este factor debe tratarse como un efecto fijo. Esto no es necesariamente cierto PARA DOS RAZONES DISTINTAS:

(1) Si el número de niveles es grande, entonces puede tener sentido tratar el factor [cruzado] como aleatorio.

Estoy de acuerdo con @Tim y @RobertLong aquí: si un factor tiene una gran cantidad de niveles que están incluidos en el modelo (como, por ejemplo, todos los países del mundo; o todas las escuelas de un país; o tal vez toda la población de los sujetos son encuestados, etc.), entonces no hay nada de malo en tratarlo como aleatorio --- esto podría ser más parsimonioso, podría proporcionar cierta contracción, etc.

lmer(size ~ age + subjectID)                     # fixed effect
lmer(size ~ age + (1|subjectID))                 # random effect

(2) Si el factor está anidado dentro de otro efecto aleatorio, entonces debe tratarse como aleatorio, independientemente de su número de niveles.

Hubo una gran confusión en este hilo (ver comentarios) porque otras respuestas son sobre el caso # 1 anterior, pero el ejemplo que dio es un ejemplo de una situación diferente , a saber, este caso # 2. Aquí solo hay dos niveles (es decir, ¡"un gran número"!) Y agotan todas las posibilidades, pero están anidados dentro de otro efecto aleatorio , produciendo un efecto aleatorio anidado.

lmer(size ~ age + (1|subject) + (1|subject:side)  # side HAS to be random

Discusión detallada de su ejemplo.

Los lados y las materias en su experimento imaginario están relacionados, como las clases y las escuelas, en el ejemplo del modelo jerárquico estándar. Quizás cada escuela (# 1, # 2, # 3, etc.) tiene clase A y clase B, y se supone que estas dos clases son aproximadamente las mismas. No modelará las clases A y B como un efecto fijo con dos niveles; Esto sería un error. Pero tampoco modelará las clases A y B como un efecto aleatorio "separado" (es decir, cruzado) con dos niveles; Esto también sería un error. En cambio, modelarás las clases como un efecto aleatorio anidado dentro de las escuelas.

Vea aquí: Efectos aleatorios cruzados versus anidados: ¿en qué se diferencian y cómo se especifican correctamente en lme4?

En su estudio imaginario del tamaño del pie, sujeto y lado son efectos aleatorios y el lado está anidado dentro del sujeto. Esto significa esencialmente que se forma una variable combinada, por ejemplo, John-Left, John-Right, Mary-Left, Mary-Right, etc., y hay dos efectos aleatorios cruzados: sujetos y sujetos-lados. Entonces para el sujeto yo=1...nortej=1,2

Tallayojk=μ+αAlturayojk+βPesoyojk+γAñosyojk+ϵyo+ϵyoj+ϵyojk
ϵyonorte(0 0,σstusijmiCts2),Intercepción aleatoria para cada sujeto.
ϵyojnorte(0 0,σlado del sujeto2),Al azar int. para el lado anidado en el sujeto
ϵyojknorte(0 0,σruido2),Término de error

Como escribió usted mismo, "no hay razón para creer que los pies derechos serán, en promedio, más grandes que los izquierdos". Por lo tanto, no debe haber ningún efecto "global" (ni cruzado fijo ni aleatorio) del pie derecho o izquierdo; en cambio, se puede pensar que cada sujeto tiene "un" pie y "otro" pie, y esta variabilidad deberíamos incluirla en el modelo. Estos pies "uno" y "otro" están anidados dentro de los sujetos, por lo tanto, tienen efectos aleatorios anidados.

Más detalles en respuesta a los comentarios. [26 de septiembre]

Mi modelo anterior incluye Side como un efecto aleatorio anidado dentro de los Sujetos. Aquí hay un modelo alternativo, sugerido por @Robert, donde Side es un efecto fijo:

Tallayojk=μ+αAlturayojk+βPesoyojk+γAñosyojk+δLadoj+ϵyo+ϵyojk

yoj

No puede.

Lo mismo es cierto para el modelo hipotético de @gung con Side como un efecto aleatorio cruzado:

Tallayojk=μ+αAlturayojk+βPesoyojk+γAñosyojk+ϵyo+ϵj+ϵyojk

Tampoco tiene en cuenta las dependencias.

Demostración a través de una simulación [2 de octubre]

Aquí hay una demostración directa en R.

Genero un conjunto de datos de juguetes con cinco sujetos medidos en ambos pies durante cinco años consecutivos. El efecto de la edad es lineal. Cada sujeto tiene una intercepción aleatoria. Y cada sujeto tiene uno de los pies (ya sea el izquierdo o el derecho) más grande que otro.

set.seed(17)

demo = data.frame(expand.grid(age = 1:5,
                              side=c("Left", "Right"),
                              subject=c("Subject A", "Subject B", "Subject C", "Subject D", "Subject E")))
demo$size = 10 + demo$age + rnorm(nrow(demo))/3

for (s in unique(demo$subject)){
  # adding a random intercept for each subject 
  demo[demo$subject==s,]$size = demo[demo$subject==s,]$size + rnorm(1)*10

  # making the two feet of each subject different     
  for (l in unique(demo$side)){
    demo[demo$subject==s & demo$side==l,]$size = demo[demo$subject==s & demo$side==l,]$size + rnorm(1)*7
  }
}

plot(1:50, demo$size)

Disculpas por mis terribles habilidades de R. Así es como se ven los datos (cada cinco puntos consecutivos son un pie de una persona medida a lo largo de los años; cada diez puntos consecutivos son dos pies de la misma persona):

ingrese la descripción de la imagen aquí

Ahora podemos adaptarnos a un montón de modelos:

require(lme4)
summary(lmer(size ~ age + side + (1|subject), demo))
summary(lmer(size ~ age + (1|side) + (1|subject), demo))
summary(lmer(size ~ age + (1|subject/side), demo))

Todos los modelos incluyen un efecto fijo agey un efecto aleatorio de subject, pero se tratan de manera sidediferente.

  1. sideaget=1,8

  2. sideaget=1.4 ), la varianza residual es enorme (29.81).

  3. sideaget=37 , sí, treinta y siete), la varianza residual es pequeña (0.07).

Esto muestra claramente que sidedebe tratarse como un efecto aleatorio anidado.

Finalmente, en los comentarios @Robert sugirió incluir el efecto global de side como variable de control. Podemos hacerlo, manteniendo el efecto aleatorio anidado:

summary(lmer(size ~ age + side + (1|subject/side), demo))
summary(lmer(size ~ age + (1|side) + (1|subject/side), demo))

sidet=0.5 0.5side

ameba dice Reinstate Monica
fuente
2
Realmente no creo que, en este ejemplo, sidecumpla con ninguna de las definiciones / pautas habituales de cuándo un factor debe tratarse como aleatorio o fijo. En particular, hacer inferencias más allá de los niveles muestreados del factor no tiene sentido. Además, con solo 2 niveles del factor, tratarlo como fijo parece una manera directa y sin ambigüedades de abordar el modelado.
Robert Long
Robert, gracias por la respuesta. O estoy completamente confundido o no he explicado correctamente lo que quiero decir. Tratar sidecomo un efecto fijo significa suponer que uno de los lados (por ejemplo, el derecho) siempre es más grande que el otro (izquierdo), en cierta cantidad. Esta cantidad es la misma para todas las personas. Esto no es explícitamente lo que el OP tenía en mente. Escribió que en algunas personas, la derecha podría ser más grande y en otras personas, la izquierda. Sin embargo, debemos tener en cuenta la sidecausa de los errores correlacionados. ¿Por qué no podemos tratar como un efecto aleatorio anidado entonces? Es exactamente como las clases dentro de las escuelas.
ameba dice Reinstate Monica
No sé si eso necesariamente implica eso. Lo que sí dice es que, en esta muestra, puede haber una diferencia sistemática entre los lados (que puede o no ser un artefacto debido a la variación del muestreo). Prefiero pensar en incluirlo como un efecto fijo como "control" para la no independencia y nada más, de la misma manera que agregaríamos un factor de confusión a un modelo y ni siquiera soñaríamos con intentar interpretar su coeficiente.
Robert Long
2
Estoy votando tu respuesta después de una mayor reflexión. Planteas algunos puntos realmente interesantes. No tengo tiempo en este momento para profundizar en las matemáticas de esto. Me gustaría encontrar un conjunto de datos de juguete para jugar si es posible (si conoce uno, por favor hágamelo saber)
Robert Long
2
+1, en una reflexión más profunda, parece tener razón sobre las peculiaridades de este estudio. ¿El punto más amplio es que no hay una sola respuesta al efecto fijo versus aleatorio cuando se incluyen todas las posibilidades, y cada caso debe evaluarse individualmente, me pregunto?
gung - Restablecer Monica
7

Para agregar a las otras respuestas:

No creo que esté lógicamente obligado a usar siempre un efecto fijo de la manera descrita en el OP. Incluso cuando no se cumplen las definiciones / directrices habituales sobre cuándo tratar un factor como aleatorio, podría inclinarme a modelarlo como aleatorio cuando hay una gran cantidad de niveles, de modo que tratar el factor como fijo consumiría muchos grados de libertad y resultado en un modelo engorroso y menos parsimonioso.

Robert Long
fuente
Esto parece un punto razonable, y agradezco que mi ejemplo no te haya cegado. De esto deduzco, y su comentario a la respuesta de @ amoeba, que "cuando hay una gran cantidad de niveles" (vs "con solo 2 niveles del factor") parece ser clave.
gung - Restablece a Monica
1
+1 porque estoy de acuerdo con este punto, pero me vuelve loco que no haya explicado mi punto y que ni tú ni @gung vean lo que quise decir. Tratar el sideefecto aleatorio fijo o cruzado significa necesariamente suponer que uno de los lados (por ejemplo, el derecho) siempre es más grande que el otro (izquierdo) para todos los sujetos. Esto explícitamente no es lo que Gung escribió en su OP, afirmando que "no hay razón para creer que los pies derechos serán, en promedio, más grandes que los izquierdos". Todavía veo el ejemplo de Gung como un caso claro de efecto aleatorio anidado, en total analogía con las clases dentro de las escuelas.
ameba dice Reinstate Monica
@amoeba punto interesante pero no estoy de acuerdo. Voy a comentar en los comentarios a su respuesta ...
Robert Long
4

Si habla de la situación en la que conoce todos los niveles posibles de un factor de interés y también tiene datos para estimar los efectos, definitivamente no necesita representar niveles con efectos aleatorios.

La razón por la que desea establecer un efecto aleatorio en un factor es porque desea hacer inferencia sobre los efectos de todos los niveles de ese factor, que generalmente son desconocidos. Para hacer ese tipo de inferencia, usted impone la suposición de que los efectos de todos los niveles forman una distribución normal en general. Pero dada la configuración de su problema, puede estimar los efectos de todos los niveles. Entonces ciertamente no hay necesidad de establecer efectos aleatorios e imponer suposiciones adicionales.

Es como la situación en la que puede obtener todos los valores de la población (por lo tanto, conoce la media real), pero está tratando de tomar una muestra grande de la población y usar el teorema del límite central para aproximar la distribución de muestreo, y luego hacer inferencia sobre la verdadera media.

Aaron Zeng
fuente
2
Un comentario: a veces tienes todos los niveles pero aún usas efectos aleatorios para ellos. Por ejemplo, lleva a cabo un estudio nacional sobre educación y tiene datos sobre todas las escuelas, pero aún así utilizará el efecto aleatorio para las escuelas en lugar de utilizar dummies para cada escuela.
Tim