¿Cuál es la diferencia entre efectos aleatorios, efectos fijos y modelo marginal?

49

Estoy tratando de ampliar mi conocimiento de las estadísticas. Vengo de un fondo de ciencias físicas con un enfoque "basado en recetas" para las pruebas estadísticas, donde decimos que es continuo, normalmente se distribuye: regresión OLS .

En mi lectura he encontrado los términos: modelo de efectos aleatorios, modelo de efectos fijos, modelo marginal. Mis preguntas son:

  • En términos muy simples, ¿qué son?
  • Cuáles son las diferencias entre ellos?
  • ¿Alguno de ellos es sinónimo?
  • ¿Dónde caen en esta clasificación las pruebas tradicionales como la regresión OLS, ANOVA y ANCOVA?

Solo trato de decidir a dónde ir después con el autoestudio.

N26
fuente
1
@gung: La respuesta a la que le otorgará la recompensa realmente supera con creces todas las respuestas en el hilo "principal" sobre las diferencias entre los efectos fijos / aleatorios (vinculados en el comentario anterior). Esa pregunta tiene más de 40 votos a favor y una respuesta aceptada con 25 votos a favor, lo que desafortunadamente no es muy útil. ¿Deberíamos quizás fusionar estos hilos? Supongo que esto significaría que el OP N26 perderá los votos a favor de la pregunta, pero su cuenta ya no parece estar activa de todos modos. No estoy seguro de cuál es el mejor curso de acción.
ameba dice Reinstate Monica
1
Gracias @amoeba, creo que esto también merece más atención. Me parece que esa pregunta, aunque se titula de manera similar, en realidad es ligeramente diferente (y quizás mal titulada). No tengo la autoridad para fusionar estos. Acabo de agregar un comentario enlazando a este hilo. ¿Por qué no plantear la pregunta de qué hacer con estos hilos en meta.CV y veremos qué piensa la gente?
gung - Restablece a Monica

Respuestas:

53

Esta pregunta se ha discutido parcialmente en este sitio como a continuación, y las opiniones parecen mixtas.

Todos los términos están generalmente relacionados con datos longitudinales / panel / agrupados / jerárquicos y medidas repetidas (en el formato de regresión avanzada y ANOVA), pero tienen múltiples significados en diferentes contextos. Me gustaría responder la pregunta en fórmulas basadas en mi conocimiento.

Modelo de efectos fijos

  • En bioestadística, los efectos fijos, denotados como en la ecuación (*) a continuación, generalmente se combinan con efectos aleatorios. Pero el modelo de efectos fijos también se define para suponer que las observaciones son independientes, como la configuración transversal, como en el Análisis de datos longitudinales de Hedeker y Gibbons (2006).β
  • En econometría, el modelo de efectos fijos puede escribirse como where es una fija (no aleatoria) para cada sujeto ( ), o también podemos tener un efecto fijo como para cada medición repetida ( ); denota covariables.
    yij=xijβ+ui+ϵij
    uiiujjxij
  • En el metanálisis, el modelo de efectos fijos supone que el efecto subyacente es el mismo en todos los estudios (por ejemplo, Mantel y Haenszel, 1959).

Modelo de efectos aleatorios

  • En bioestadística, el modelo de efectos aleatorios (Laird y Ware, 1982) se puede escribir como donde se supone que sigue una distribución. denota covariables para efectos fijos, y denota covariables para efectos aleatorios.
    (*)yij=xijβ+zijui+eij
    uixijzij
  • En econometría, el modelo de efectos aleatorios solo puede referirse al modelo de intercepción aleatoria como en bioestadística, es decir, y es un escalar.zij=1ui
  • En el metanálisis, el modelo de efectos aleatorios supone efectos heterogéneos entre los estudios (DerSimonian y Laird, 1986).

Modelo marginal

El modelo marginal generalmente se compara con el modelo condicional (modelo de efectos aleatorios), y el primero se centra en la media de la población (tome el modelo lineal como ejemplo) mientras que el último trata de la media condicionalLa interpretación y la escala de los coeficientes de regresión entre el modelo marginal y el modelo de efectos aleatorios serían diferentes para los modelos no lineales (por ejemplo, la regresión logística). Sea , entonces

E(yij)=xijβ,
E(yij|ui)=xijβ+zijui.
h(E(yij|ui))=xijβ+zijui
E(yij)=E(E(yij|ui))=E(h1(xijβ+zijui))h1(xijβ),
menos que trivialmente la función de enlace sea ​​el enlace de identidad (modelo lineal ) o (sin efectos aleatorios). Buenos ejemplos incluyen ecuaciones de estimación generalizadas (GEE; Zeger, Liang y Albert, 1988) y modelos de niveles múltiples marginados (Heagerty y Zeger, 2000).hui=0
Randel
fuente
Gracias Randel. Una pregunta más, sobre la terminología de "modelo mixto". Por lo que entiendo, en bioestadística su ecuación (*) se llamaría un modelo mixto porque contiene efectos aleatorios y fijos. ¿Es eso correcto? ¿Pero el término "modelo mixto" también se usa en econometría? Si es así, ¿a qué se refiere?
ameba dice Reinstate Monica
Sí, la ecuación (*) también se denomina modelo mixto en (bio) estadística. Hasta donde yo sé, el economista no puede llamarlo "modelo mixto", sino "modelo de efectos aleatorios" o "modelo de coeficiente aleatorio", si están interesados ​​en la heterogeneidad de conglomerados. Para mí, la única diferencia es la suposición del efecto específico del clúster, fijo o aleatorio.
Randel
1
@skan denota covariables para efectos aleatorios. Es un vector, y es la transposición. zijzij
Randel
1
Aquí hay un ejemplo detallado. Espero eso ayude. @skan
Randel
1
@skan No se sugiere tener ambos, tampoco es suficiente. Aquí hay un ejemplo perfecto.
Randel
1

Corrígeme si me equivoco aquí:

Conceptualmente, hay cuatro efectos posibles: intercepción fija, coeficiente fijo, intercepción aleatoria, coeficiente aleatorio. La mayoría de los modelos de regresión son 'efectos aleatorios', por lo que tienen intercepciones aleatorias y coeficientes aleatorios. El término 'efecto aleatorio' entró en uso en contraste con 'efecto fijo'.

El 'efecto fijo' es cuando una variable afecta a parte de la muestra, pero no a toda. La versión más simple de un modelo de efectos fijos (conceptualmente) sería una variable ficticia, para un efecto fijo con un valor binario. Estos modelos tienen una sola intersección aleatoria, coeficientes de efectos fijos y coeficientes variables aleatorios.

El siguiente nivel de complicación (conceptualmente) es cuando el efecto fijo no es binario, sino nominal, con muchos valores. En este caso, lo que se genera es un modelo con muchas intersecciones (uno para cada uno de los valores nominales). Aquí es donde obtienes las clásicas 'líneas múltiples' de un modelo de datos de panel , donde cada una de las 'opciones' de una variable de efecto fijo obtiene su propio efecto. La virtud de incluir todas las diferentes series de datos específicos de factores en una sola regresión (en lugar de hacer que cada factor del efecto fijo sea su propia regresión) es que puedes agrupar la varianza de todos los diferentes efectos en una ecuación, y así obtenga mejores (más seguros) valores para todos sus coeficientes.

El "nivel tres" de complicación sería cuando el "efecto fijo" es en sí mismo una variable aleatoria, excepto que sus efectos son "fijos" para afectar solo un subconjunto de la muestra. En ese momento, el modelo tendría una intersección aleatoria, múltiples intersecciones fijas y múltiples variables aleatorias. Creo que esto es lo que se conoce como modelo de 'efectos mixtos'.

Los modelos de 'efectos mixtos' se utilizan para el modelado multinivel (MLM), ya que los 'efectos fijos' se pueden usar para anidar un subconjunto de datos dentro de otro. Esta agrupación puede tener múltiples niveles, con estudiantes anidados en aulas, anidados en escuelas. La escuela tiene un efecto fijo en las aulas y las aulas en los estudiantes. (La escuela puede o no ser un efecto fijo en el estudiante, dependiendo del diseño experimental, no estoy seguro)

Los modelos de datos de panel son modelos de 'efecto mixto', pero usan dos dimensiones para la agrupación, generalmente tiempo y algún tipo de categoría.

Mox
fuente
No estoy seguro de lo que quiere decir con "Los efectos fijos cubren 'conjuntos' de opciones: A o B; ... Los efectos aleatorios incluyen cosas como el peso corporal". ¿Quieres decir que los efectos fijos son para variables discretas, los efectos aleatorios son para variables continuas? Tampoco estoy seguro de por qué "usar múltiples variables ficticias para la misma cosa es estadísticamente inapropiado". El modelo de efectos fijos en econometría tiene una variable ficticia para cada "panel". No puedo estar de acuerdo con los modelos "mixtos" ... Al tener intercepciones "fijas" por agrupación, ya no tienen una intercepción aleatoria ". Muchos modelos de efectos mixtos tienen una intercepción aleatoria.
Randel
Mi comprensión es imperfecta. Editaré mi respuesta e intentaré nuevamente.
Mox
¿Es posible que una variable aparezca simultáneamente como efecto fijo y como efecto aleatorio?
skan