¿Cuál es la diferencia entre efectos aleatorios, efectos fijos y modelo marginal?

Estoy tratando de ampliar mi conocimiento de las estadísticas. Vengo de un fondo de ciencias físicas con un enfoque "basado en recetas" para las pruebas estadísticas, donde decimos que es continuo, normalmente se distribuye: regresión OLS .

En mi lectura he encontrado los términos: modelo de efectos aleatorios, modelo de efectos fijos, modelo marginal. Mis preguntas son:

• En términos muy simples, ¿qué son?
• Cuáles son las diferencias entre ellos?
• ¿Alguno de ellos es sinónimo?
• ¿Dónde caen en esta clasificación las pruebas tradicionales como la regresión OLS, ANOVA y ANCOVA?

Solo trato de decidir a dónde ir después con el autoestudio.

Esta pregunta se ha discutido parcialmente en este sitio como a continuación, y las opiniones parecen mixtas.

• ¿Cuál es la diferencia entre los modelos de efecto fijo, efecto aleatorio y efecto mixto?
• ¿Cuál es la diferencia matemática entre efectos aleatorios y efectos fijos?
• Conceptos detrás de los modelos de efectos fijos / aleatorios

Todos los términos están generalmente relacionados con datos longitudinales / panel / agrupados / jerárquicos y medidas repetidas (en el formato de regresión avanzada y ANOVA), pero tienen múltiples significados en diferentes contextos. Me gustaría responder la pregunta en fórmulas basadas en mi conocimiento.

Modelo de efectos fijos

• En bioestadística, los efectos fijos, denotados como en la ecuación (*) a continuación, generalmente se combinan con efectos aleatorios. Pero el modelo de efectos fijos también se define para suponer que las observaciones son independientes, como la configuración transversal, como en el Análisis de datos longitudinales de Hedeker y Gibbons (2006).$\color{red}{\boldsymbol\beta}$
• En econometría, el modelo de efectos fijos puede escribirse como where es una fija (no aleatoria) para cada sujeto ( ), o también podemos tener un efecto fijo como para cada medición repetida ( ); denota covariables. $$y_{ij}=\boldsymbol x_{ij}^{'}\boldsymbol\beta+\color{red}{u_i}+\epsilon_{ij}$$ $\color{red}{u_i}$$i$$u_j$$j$$\boldsymbol x_{ij}$
• En el metanálisis, el modelo de efectos fijos supone que el efecto subyacente es el mismo en todos los estudios (por ejemplo, Mantel y Haenszel, 1959).

Modelo de efectos aleatorios

• En bioestadística, el modelo de efectos aleatorios (Laird y Ware, 1982) se puede escribir como donde se supone que sigue una distribución. denota covariables para efectos fijos, y denota covariables para efectos aleatorios. $$\tag{*} y_{ij}=\boldsymbol x_{ij}^{'}\color{red}{\boldsymbol\beta}+\boldsymbol z_{ij}^{'}\color{blue}{\boldsymbol u_i}+e_{ij}$$ $\color{blue}{\boldsymbol u_i}$$\boldsymbol x_{ij}$$\boldsymbol z_{ij}$
• En econometría, el modelo de efectos aleatorios solo puede referirse al modelo de intercepción aleatoria como en bioestadística, es decir, y es un escalar.$\boldsymbol z_{ij}^{'}=1$$\boldsymbol u_i$
• En el metanálisis, el modelo de efectos aleatorios supone efectos heterogéneos entre los estudios (DerSimonian y Laird, 1986).

Modelo marginal

El modelo marginal generalmente se compara con el modelo condicional (modelo de efectos aleatorios), y el primero se centra en la media de la población (tome el modelo lineal como ejemplo) mientras que el último trata de la media condicionalLa interpretación y la escala de los coeficientes de regresión entre el modelo marginal y el modelo de efectos aleatorios serían diferentes para los modelos no lineales (por ejemplo, la regresión logística). Sea , entonces

$$E(y_{ij})=\boldsymbol x_{ij}^{'}\boldsymbol\beta,$$ $$E(y_{ij}|\boldsymbol u_i)=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i.$$ $h(E(y_{ij}|\boldsymbol u_i))=\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i$ $$E(y_{ij})=E(E(y_{ij}|\boldsymbol u_i))=E(h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta + \boldsymbol z_{ij}^{'}\boldsymbol u_i))\neq h^{-1}(\boldsymbol x_{ij}^{'}\boldsymbol\beta),$$ menos que trivialmente la función de enlace sea ​​el enlace de identidad (modelo lineal ) o (sin efectos aleatorios). Buenos ejemplos incluyen ecuaciones de estimación generalizadas (GEE; Zeger, Liang y Albert, 1988) y modelos de niveles múltiples marginados (Heagerty y Zeger, 2000).$h$$u_i=0$

Corrígeme si me equivoco aquí:

Conceptualmente, hay cuatro efectos posibles: intercepción fija, coeficiente fijo, intercepción aleatoria, coeficiente aleatorio. La mayoría de los modelos de regresión son 'efectos aleatorios', por lo que tienen intercepciones aleatorias y coeficientes aleatorios. El término 'efecto aleatorio' entró en uso en contraste con 'efecto fijo'.

El 'efecto fijo' es cuando una variable afecta a parte de la muestra, pero no a toda. La versión más simple de un modelo de efectos fijos (conceptualmente) sería una variable ficticia, para un efecto fijo con un valor binario. Estos modelos tienen una sola intersección aleatoria, coeficientes de efectos fijos y coeficientes variables aleatorios.

El siguiente nivel de complicación (conceptualmente) es cuando el efecto fijo no es binario, sino nominal, con muchos valores. En este caso, lo que se genera es un modelo con muchas intersecciones (uno para cada uno de los valores nominales). Aquí es donde obtienes las clásicas 'líneas múltiples' de un modelo de datos de panel , donde cada una de las 'opciones' de una variable de efecto fijo obtiene su propio efecto. La virtud de incluir todas las diferentes series de datos específicos de factores en una sola regresión (en lugar de hacer que cada factor del efecto fijo sea su propia regresión) es que puedes agrupar la varianza de todos los diferentes efectos en una ecuación, y así obtenga mejores (más seguros) valores para todos sus coeficientes.

El "nivel tres" de complicación sería cuando el "efecto fijo" es en sí mismo una variable aleatoria, excepto que sus efectos son "fijos" para afectar solo un subconjunto de la muestra. En ese momento, el modelo tendría una intersección aleatoria, múltiples intersecciones fijas y múltiples variables aleatorias. Creo que esto es lo que se conoce como modelo de 'efectos mixtos'.

Los modelos de 'efectos mixtos' se utilizan para el modelado multinivel (MLM), ya que los 'efectos fijos' se pueden usar para anidar un subconjunto de datos dentro de otro. Esta agrupación puede tener múltiples niveles, con estudiantes anidados en aulas, anidados en escuelas. La escuela tiene un efecto fijo en las aulas y las aulas en los estudiantes. (La escuela puede o no ser un efecto fijo en el estudiante, dependiendo del diseño experimental, no estoy seguro)

Los modelos de datos de panel son modelos de 'efecto mixto', pero usan dos dimensiones para la agrupación, generalmente tiempo y algún tipo de categoría.