¿Cuál es la diferencia matemática entre efectos aleatorios y efectos fijos?

He encontrado mucho en Internet con respecto a la interpretación de efectos aleatorios y fijos. Sin embargo, no pude obtener una fuente que establezca lo siguiente:

¿Cuál es la diferencia matemática entre efectos aleatorios y efectos fijos?

Con eso quiero decir la formulación matemática del modelo y la forma en que se estiman los parámetros.

El modelo más simple con efectos aleatorios es el modelo ANOVA unidireccional con efectos aleatorios, dado por observaciones con supuestos de distribución: ( y i j ∣ μ i ) ∼ iid N ( μ i , σ 2 w ) $y_{ij}$

Aquí los efectos aleatorios son . Son variables aleatorias, mientras que son números fijos en el modelo ANOVA con efectos fijos.$\mu_i$

Por ejemplo, cada uno de los tres técnicos en un laboratorio registra una serie de mediciones, y es la -ésima medición del técnico . Llame a el "valor medio verdadero" de la serie generada por el técnico ; Este es un parámetro poco artificial, se puede ver como el valor medio ese técnico se habría obtenido si él / ella había registrado una enorme serie de mediciones.y i j j i μ i i μ i$i=1,2,3$$y_{ij}$$j$$i$$\mu_i$$i$$\mu_i$$i$

Si está interesado en evaluar , , (por ejemplo, para evaluar el sesgo entre operadores), debe usar el modelo ANOVA con efectos fijos.μ 2 μ $\mu_1$$\mu_2$$\mu_3$

usar el modelo ANOVA con efectos aleatorios cuando esté interesado en las varianzas y definen el modelo, y la varianza total (ver más abajo). La varianza es la varianza de las grabaciones generadas por un técnico (se supone que es la misma para todos los técnicos), y se denomina varianza entre técnicos. Quizás lo ideal es que los técnicos se seleccionen al azar. σ 2 b σ 2 b + σ 2 w σ 2 w σ 2 $\sigma^2_w$$\sigma^2_b$ $\sigma^2_b+\sigma^2_w$$\sigma^2_w$$\sigma^2_b$

Este modelo refleja la fórmula de descomposición de la varianza para una muestra de datos:

Varianza total = varianza de medias medias de intravarianzas$+$

que se refleja en el modelo ANOVA con efectos aleatorios:

De hecho, la distribución de se define por su distribución condicional dada y por la distribución de . Si se calcula la distribución "incondicional" de entonces encontramos . ( y i j ) μ i μ i y i j y i j ∼ N ( μ , σ 2 b + σ 2 w$y_{ij}$$(y_{ij})$$\mu_i$$\mu_i$$y_{ij}$$\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$

Vea la diapositiva 24 y la diapositiva 25 aquí para obtener mejores imágenes (debe guardar el archivo pdf para apreciar las superposiciones, no vea la versión en línea).

Básicamente, lo que creo que es la diferencia más clara si modelas un factor como aleatorio, es que se supone que los efectos provienen de una distribución normal común.

Por ejemplo, si tiene algún tipo de modelo con respecto a las calificaciones y desea contabilizar los datos de sus alumnos provenientes de diferentes escuelas y modela la escuela como un factor aleatorio, esto significa que asume que los promedios por escuela normalmente se distribuyen. Eso significa que dos fuentes de variación son los modelos: la variabilidad en la escuela de las calificaciones de los estudiantes y la variabilidad entre escuelas.

Esto da como resultado algo llamado agrupación parcial . Considere dos extremos:

1. La escuela no tiene ningún efecto (la variabilidad entre escuelas es cero). En este caso, un modelo lineal que no tiene en cuenta la escuela sería óptimo.
2. La variabilidad escolar es mayor que la variabilidad del estudiante. Entonces, básicamente, debe trabajar en el nivel escolar en lugar del nivel de los estudiantes (menos # muestras). Este es básicamente el modelo en el que cuentas la escuela usando efectos fijos. Esto puede ser problemático si tiene pocas muestras por escuela.

Al estimar la variabilidad en ambos niveles, el modelo mixto hace un compromiso inteligente entre estos dos enfoques. Especialmente si tiene un #estudiante no tan grande por escuela, esto significa que obtendrá una reducción de los efectos para las escuelas individuales según lo estimado por el modelo 2 hacia la media general del modelo 1.

Esto se debe a que los modelos dicen que si tiene una escuela con dos estudiantes incluidos, lo cual es mejor de lo que es "normal" para la población de las escuelas, entonces es probable que parte de este efecto se deba a que la escuela tuvo la suerte de elegir de los dos estudiantes miraron. No hace esto a ciegas, lo hace dependiendo de la estimación de la variabilidad dentro de la escuela. Esto también significa que los niveles de efecto con menos muestras se atraen más hacia la media general que las escuelas grandes.

Lo importante es que necesita intercambiabilidad en los niveles del factor aleatorio. Eso significa en este caso que las escuelas son (según su conocimiento) intercambiables y no sabe nada que las haga distintas (aparte de algún tipo de identificación). Si tiene información adicional, puede incluir esto como un factor adicional, es suficiente que las escuelas sean intercambiables condicional a la otra información contabilizada.

Por ejemplo, tendría sentido suponer que los adultos de 30 años que viven en Nueva York son condicionales intercambiables de género. Si tiene más información (edad, etnia, educación), también tendría sentido incluir esa información.

OTH si tiene estudios con un grupo de control y tres grupos de enfermedades muy diferentes, no tiene sentido modelar el grupo como aleatorio, ya que las enfermedades específicas no son intercambiables. Sin embargo, a muchas personas les gusta el efecto de contracción tan bien que todavía argumentarían por un modelo de efectos aleatorios, pero esa es otra historia.

Noté que no me metí demasiado en las matemáticas, pero básicamente la diferencia es que el modelo de efectos aleatorios estimó un error distribuido normalmente tanto en el nivel de las escuelas como en el nivel de los estudiantes, mientras que el modelo de efectos fijos solo tiene el error El nivel de los estudiantes. Especialmente esto significa que cada escuela tiene su propio nivel que no está conectado a los otros niveles por una distribución común. Esto también significa que el modelo fijo no permite extrapolar a un alumno de la escuela que no está incluido en los datos originales, mientras que el modelo de efectos aleatorios lo hace, con una variabilidad que es la suma del nivel del alumno y la variabilidad del nivel escolar. Si está específicamente interesado en la probabilidad de que podamos trabajar en eso.

En la economía, dichos efectos son intercepciones (o constantes) específicas de cada individuo que no se observan, pero que pueden estimarse utilizando datos de panel (observación repetida en las mismas unidades a lo largo del tiempo). El método de estimación de efectos fijos permite la correlación entre las intercepciones específicas de la unidad y las variables explicativas independientes. Los efectos aleatorios no. El costo de usar los efectos fijos más flexibles es que no se puede estimar el coeficiente en variables que son invariables en el tiempo (como el género, la religión o la raza).

NB Otros campos tienen su propia terminología, que puede ser bastante confusa.

En un paquete de software estándar (por ejemplo, R lmer), la diferencia básica es:

• los efectos fijos se estiman por la máxima verosimilitud (mínimos cuadrados para un modelo lineal)
• los efectos aleatorios se estiman mediante Bayes empírico (mínimos cuadrados con cierta contracción para un modelo lineal, donde el parámetro de contracción se elige por la máxima probabilidad)

Si estás siendo bayesiano (por ejemplo, WinBUGS), entonces no hay una diferencia real.

@Joke Un modelo de efectos fijos implica que el tamaño del efecto generado por un estudio (o experimento) es fijo, es decir, las mediciones repetidas para una intervención resultan del mismo tamaño del efecto. Presumiblemente, las condiciones externas e internas para el experimento no cambian. Si tiene varios ensayos y / o estudios en diferentes condiciones, tendrá diferentes tamaños de efecto. Las estimaciones paramétricas de la media y la varianza para un conjunto de tamaños de efectos pueden realizarse suponiendo que se trata de efectos fijos o de efectos aleatorios (realizados a partir de una superpoblación). Creo que es una cuestión que puede resolverse con la ayuda de estadísticas matemáticas.