¿Cuál es la ventaja de tratar un factor como aleatorio en un modelo mixto?

Tengo un problema para aprovechar los beneficios de etiquetar un factor modelo como aleatorio por varias razones. Para mí, parece que en casi todos los casos la solución óptima es tratar todos los factores como fijos.

Primero, la distinción entre fijo y aleatorio es bastante arbitraria. La explicación estándar es que, si uno está interesado en las unidades experimentales particulares per se, entonces debe usar efectos fijos y, si está interesado en la población representada por las unidades experimentales, debe usar efectos aleatorios. Esto no es de mucha ayuda porque implica que uno puede alternar entre vistas fijas y aleatorias incluso si los datos y el diseño experimental siguen siendo los mismos. Además, esta definición promueve una ilusión de que, si un factor se etiqueta como aleatorio, la inferencia extraída del modelo es de alguna manera más aplicable a la población que en el caso en que el factor se etiqueta como fijo. Finalmente, Gelman muestra que la distinción fijo-aleatorio es confusa incluso en el nivel de definición porque hay cuatro definiciones más de lo que son los efectos fijos y aleatorios.

En segundo lugar, la estimación de modelos mixtos es bastante complicada. A diferencia de un modelo "puramente fijo", hay más de unas pocas formas de obtener los valores p. El profesor Bates, que implementó la estimación REML en el paquete lme4 en R, llegó a negarse a informar los valores p por completo. .

En tercer lugar, existe una cuestión turbia sobre cuántos parámetros implícitos se introducen por un factor aleatorio. El siguiente ejemplo es mi adaptación de eso en Burnham & Anderson, Selección de modelos e inferencia multimodelo: un enfoque teórico de información práctica . Desde la perspectiva de compensación de sesgo-varianza, el papel de los efectos aleatorios se puede ilustrar de la siguiente manera. Considere un ANOVA unidireccional con tratamientos y K efectos principales del factor, de los cuales K - 1 son estimables. El término de error tiene N ( 0 , σ 2 ) sube. Supongamos que decimos que los efectos principales K se extraen de N$K$$K$$K - 1$$\mathcal N(0, \sigma^2)$ distribución . Si se fija el número de observaciones, la compensación de sesgo-varianza se deteriorará a medida que $K$$K$distribución ) . El modelo correspondiente tendrá una complejidad que se encuentra en algún lugar entre la versión fija (sobreajustada) y el modelo subadaptado que contiene solo la intercepción. El número de parámetros efectivos en el modelo fijo es$\mathcal N(0, \sigma_K)$

El número de parámetros efectivos en el modelo aleatorio es al menos tres: . Además, el modelo aleatorio tiene varios parámetros "ocultos" implicados por la restricción distributiva (normal en este caso) impuesta a los efectos principales.$\mathrm{intercept}, \sigma, \sigma_K$

En particular, si hay un factor con dos niveles, no tiene sentido llamarlo aleatorio, incluso si sabemos con certeza que sus niveles han sido muestreados al azar de alguna población. Esto se debe a que la versión de efecto fijo tiene tres parámetros, y la versión de efecto aleatorio tiene más de tres parámetros. En este caso, el modelo aleatorio resulta tener más complejidad que la versión fija. Aparentemente, un cambio de la versión fija a la aleatoria está más basado en K más grande$K$. Sin embargo, se desconoce el número de parámetros "ocultos" en el modelo aleatorio, por lo que es imposible comparar las versiones fija y aleatoria en función de criterios de información como AIC. Por lo tanto, si bien este ejemplo ilumina la contribución de los efectos aleatorios (la posibilidad de un mejor equilibrio de sesgo-varianza), también muestra que es difícil decir cuándo es justificable volver a etiquetar el factor de fijo a aleatorio.

Ninguno de los problemas anteriores está presente en un modelo "puramente fijo". Por lo tanto, estoy dispuesto a preguntar:

1. ¿Alguien puede dar un ejemplo cuando algo muy malo sucedió cuando se usó un factor aleatorio como si fuera fijo? Creo que debería haber algunos estudios de simulación que aborden el problema explícitamente.

2. ¿Existe un método cuantitativo comprobado para decidir cuándo tiene sentido cambiar de etiqueta fija a aleatoria?

1. Herb Clark (1973; siguiendo a Coleman, 1964) describe un ejemplo famoso en psicología y lingüística: "La falacia del lenguaje como efecto fijo: una crítica de las estadísticas del lenguaje en la investigación psicológica".

Clark es un psicolingüista que discute experimentos psicológicos en los que una muestra de sujetos de investigación responde a un conjunto de materiales de estímulo, comúnmente varias palabras extraídas de algún corpus. Señala que el procedimiento estadístico estándar utilizado en estos casos, basado en ANOVA de medidas repetidas, y referido por Clark como , trata a los participantes como un factor aleatorio pero (quizás implícitamente) trata los materiales de estímulo (o "lenguaje") como fijo Esto lleva a problemas en la interpretación de los resultados de las pruebas de hipótesis sobre el factor de condición experimental: naturalmente, queremos suponer que un resultado positivo nos dice algo sobre la población de la que extrajimos nuestra muestra participante y la población teórica de la que extrajimos Los materiales del lenguaje. Pero $F_1$ , al tratar a los participantes como aleatorios y a los estímulos como fijos, solo nos informa sobre el efecto del factor de condición en otros participantes similares que respondenexactamente a los mismos estímulos. Llevar a cabo elanálisis F 1 cuando tanto los participantes como los estímulos se ven más apropiadamente como aleatorios puede conducir a tasas de error de Tipo 1 que exceden sustancialmente elnivel α nominal, generalmente 0.05, y la extensión depende de factores como el número y la variabilidad de estímulos y el diseño del experimento. En estos casos, el análisis más adecuado, al menos en el marco clásico ANOVA, es utilizar lo que se llama cuasi- F estadísticas basadas en las proporciones decombinaciones lineales de$F_1$$F_1$$\alpha$$F$ cuadrados medios.

El artículo de Clark causó un gran revuelo en la psicolingüística en ese momento, pero no logró hacer una gran mella en la literatura psicológica más amplia. (E incluso dentro de la psicolingüística, el consejo de Clark se distorsionó un poco con el paso de los años, como lo documentan Raaijmakers, Schrijnemakers y Gremmen, 1999). Pero en años más recientes, el tema ha visto un resurgimiento, debido en gran parte a los avances estadísticos. en modelos de efectos mixtos, de los cuales el modelo mixto clásico ANOVA puede verse como un caso especial. Algunos de estos documentos recientes incluyen Baayen, Davidson y Bates (2008), Murayama, Sakaki, Yan y Smith (2014) y ( ejem ) Judd, Westfall y Kenny (2012). Estoy seguro de que hay algunos que estoy olvidando.

2. No exactamente. No son métodos de conseguir en si un factor es mejor incluye como un efecto aleatorio o no en el modelo en absoluto (véase, por ejemplo, Pinheiro y Bates, 2000, pp 83-87;. Sin embargo ver Barr, Levy, Scheepers, y Tily, 2013). Y, por supuesto, existen técnicas clásicas de comparación de modelos para determinar si un factor se incluye mejor como efecto fijo o no (es decir,pruebas ). Pero creo que determinar si un factor se considera mejor como fijo o aleatorio generalmente es mejor dejarlo como una pregunta conceptual, que debe responderse considerando el diseño del estudio y la naturaleza de las conclusiones que se extraigan de él.$F$

A uno de mis instructores de estadística graduados, Gary McClelland, le gustaba decir que quizás la pregunta fundamental de la inferencia estadística es: "¿Comparado con qué?" Siguiendo a Gary, creo que podemos enmarcar la pregunta conceptual que mencioné anteriormente como: ¿Cuál es la clase de referencia de resultados experimentales hipotéticos con los que quiero comparar mis resultados observados reales? Manteniéndome en el contexto de la psicolingüística, y considerando un diseño experimental en el que tenemos una muestra de Sujetos que responden a una muestra de Palabras que se clasifican en una de dos Condiciones (el diseño particular discutido extensamente por Clark, 1973), me enfocaré en dos posibilidades:

1. El conjunto de experimentos en el que, para cada experimento, extraemos una nueva muestra de Sujetos, una nueva muestra de Palabras y una nueva muestra de errores del modelo generativo. Bajo este modelo, Temas y Palabras son ambos efectos aleatorios.
2. El conjunto de experimentos en el que, para cada experimento, extraemos una nueva muestra de Sujetos y una nueva muestra de errores, pero siempre usamos el mismo conjunto de Palabras . Según este modelo, los sujetos son efectos aleatorios, pero las palabras son efectos fijos.

Para hacer esto totalmente concreto, a continuación se presentan algunas gráficas de (arriba) 4 conjuntos de resultados hipotéticos de 4 experimentos simulados bajo el Modelo 1; (abajo) 4 conjuntos de resultados hipotéticos de 4 experimentos simulados bajo el Modelo 2. Cada experimento ve los resultados de dos maneras: (paneles de la izquierda) agrupados por Sujetos, con los medios Sujeto por Condición trazados y unidos para cada Sujeto; (paneles de la derecha) agrupados por palabras, con cuadros que resumen la distribución de respuestas para cada palabra. Todos los experimentos involucran 10 sujetos que responden a 10 palabras, y en todos los experimentos la "hipótesis nula" de ninguna diferencia de condición es verdadera en la población relevante.

Sujetos y palabras al azar: 4 experimentos simulados

Observe aquí que en cada experimento, los perfiles de respuesta para los Sujetos y las Palabras son totalmente diferentes. Para los Sujetos, a veces tenemos respuestas generales bajas, a veces respondedores altos, a veces Sujetos que tienden a mostrar grandes diferencias de Condición, y a veces Sujetos que tienden a mostrar una pequeña diferencia de Condición. Del mismo modo, para las palabras, a veces obtenemos palabras que tienden a provocar respuestas bajas, y a veces obtenemos palabras que tienden a generar respuestas altas.

Sujetos al azar, palabras fijas: 4 experimentos simulados

Observe aquí que a través de los 4 experimentos simulados, los Sujetos se ven diferentes cada vez, pero los perfiles de respuestas para las Palabras se ven básicamente iguales, consistentes con el supuesto de que estamos reutilizando el mismo conjunto de Palabras para cada experimento bajo este modelo.

Nuestra elección de si creemos que el Modelo 1 (Sujetos y palabras son al azar) o el Modelo 2 (Sujetos al azar, Palabras fijas) proporciona la clase de referencia adecuada para los resultados experimentales que observamos realmente puede marcar una gran diferencia en nuestra evaluación de si la manipulación de la Condición "trabajó." Esperamos una mayor variación de probabilidad en los datos bajo el Modelo 1 que bajo el Modelo 2, porque hay más "partes móviles". Entonces, si las conclusiones que deseamos extraer son más consistentes con los supuestos del Modelo 1, donde la variabilidad de probabilidad es relativamente más alta, pero analizamos nuestros datos bajo los supuestos del Modelo 2, donde la variabilidad de probabilidad es relativamente menor, entonces nuestro error Tipo 1 La tasa para probar la diferencia de condición se inflará en cierta medida (posiblemente bastante). Para obtener más información, consulte las referencias a continuación.

Referencias

Baayen, RH, Davidson, DJ y Bates, DM (2008). Modelado de efectos mixtos con efectos aleatorios cruzados para sujetos y artículos. Revista de memoria y lenguaje, 59 (4), 390-412. PDF

Barr, DJ, Levy, R., Scheepers, C. y Tily, HJ (2013). Estructura de efectos aleatorios para la prueba de hipótesis confirmatoria: manténgala al máximo. Revista de memoria y lenguaje, 68 (3), 255-278. PDF

Clark, HH (1973). La falacia del lenguaje como efecto fijo: una crítica de las estadísticas del lenguaje en la investigación psicológica. Revista de aprendizaje verbal y comportamiento verbal, 12 (4), 335-359. PDF

Coleman, EB (1964). Generalizando a una población lingüística. Informes psicológicos, 14 (1), 219-226.

Judd, CM, Westfall, J. y Kenny, DA (2012). Tratar los estímulos como un factor aleatorio en la psicología social: una solución nueva e integral a un problema generalizado pero en gran parte ignorado. Revista de personalidad y psicología social, 103 (1), 54. PDF

Murayama, K., Sakaki, M., Yan, VX y Smith, GM (2014). Inflación de errores tipo I en el análisis tradicional por participante para la precisión de la metamemoria: una perspectiva del modelo de efectos mixtos generalizados. Revista de psicología experimental: aprendizaje, memoria y cognición. PDF

Pinheiro, JC y Bates, DM (2000). Modelos de efectos mixtos en S y S-PLUS. Saltador.

Raaijmakers, JG, Schrijnemakers, J. y Gremmen, F. (1999). Cómo lidiar con “la falacia del lenguaje como efecto fijo”: conceptos erróneos comunes y soluciones alternativas. Revista de memoria y lenguaje, 41 (3), 416-426. PDF

Supongamos que tengo un proceso de fabricación que implica hacer material en varias máquinas diferentes. Son las únicas máquinas que tengo, por lo que "máquina" es un efecto fijo. Pero hago muchos lotes de material en cada máquina y estoy interesado en predecir cosas sobre lotes futuros. Haré que el "Número de lote" sea un factor aleatorio porque estoy interesado en los resultados que obtendré para futuros lotes.

Por lo tanto, los trata como aleatorios para que haya un efecto promedio entre el promedio general y el promedio de ese factor en particular en función del tamaño de la muestra del factor y el número general de observaciones. Esto le permite decir que sus resultados se aplican a la población en general, ya que tiene un tipo de promedio ponderado y una estimación de la variación debido a ese factor; de lo contrario, solo puede decir que sus resultados se aplican a los niveles de factores usted usó ya que la regresión los tratará como factores discretos y no aleatorios que obtienen el promedio ponderado.

También son útiles cuando tiene medidas repetidas sobre el mismo tema, ya que puede usarlas para explicar la correlación entre las medidas sobre el mismo tema.

Cuando tenemos una estructura de agrupación para nuestros datos $Y_{ij} = \beta_1 X_{ij} + \beta_2 Z_{i} + e_{i} + \mu_{ij}$ dónde $X_{ij}$ son los observables de nuestras observaciones individuales y $Z_{i}$ son observaciones invariables entre ellas y solo se observan a nivel de agrupación, no podemos usar efectos fijos si queremos estimar $\beta_2$, ya que si usamos el estimador interno, $Z_{i}$ cae, y si usamos variables ficticias para cada $i$, $Z_{i}$es colineal con ellos. Entonces, si usamos un estimador de efectos fijos en esta situación, estamos ignorando información potencialmente importante.

Incluso en el caso $Y_{ij} = \beta_1 X_{ij} + e_{i} + \mu_{ij}$ donde no tenemos $Z_{i}$, es posible que aún deseemos usar efectos aleatorios por algunas razones, a pesar de los problemas que pueden surgir con ellos, algunos de los cuales se enumeran en su pregunta.

En este tipo de configuraciones, la variación aleatoria tiene dos (o más si hay múltiples niveles de agrupación) fuentes de variación: variación "dentro de" un grupo y variación "entre" grupos. El estimador de efectos fijos (o "dentro") elimina completamente la variación entre grupos en la estimación$\beta_1$. El estimador de efectos aleatorios / mixtos permite que la variación "entre" contribuya a la estimación de$\beta_1$, teóricamente resultando en errores estándar más pequeños.

(Respuesta original)

Un lugar donde se requiere esencialmente que use efectos aleatorios es cuando desea incluir parámetros que son invariables en el nivel de agrupación del efecto fijo.

Por ejemplo, supongamos que desea investigar el impacto de las características del médico (por ejemplo, / educación) en los resultados del paciente. El conjunto de datos está a nivel del paciente con resultados observados del paciente y características del paciente / médico. Dado que los pacientes tratados con un solo médico probablemente estén correlacionados, debe controlar esto. Puede insertar un efecto fijo de médico aquí, pero al hacerlo, no incluye ninguna de las características del médico en el modelo. Lo cual es problemático si el interés está en las características de nivel médico.

Creo que está relacionado con la consistencia de las estimaciones.

Digamos $x_{ij} = a_i+b_j+e$ dónde $a_i$ significa efecto fijo (alguna condición experimental)

y $b_j$ significa efecto aleatorio (puede ser persona).

Neyman y Scott (1948) señalan el problema de la consistencia de

Estimaciones de máxima verosimilitud de $a_i$ y $b_j$.

Si tomamos $a_i$ y $b_j$ como ambos efecto fijo, las estimaciones ya no son

consistente. Al menos, así es como entendí ...