¿Qué pasa si la interacción elimina mis efectos directos en la regresión?

25

En una regresión, el término de interacción elimina ambos efectos directos relacionados. ¿Dejo caer la interacción o informo el resultado? La interacción no era parte de la hipótesis original.

regression interaction Jen
fuente

66

probablemente podría obtener una mejor respuesta si proporcionara más detalles sobre su diseño experimental, pregunta de investigación y modelo estadístico.

David LeBauer

Tengo datos de encuestas, v1 y v2 predicen el resultado, como esperaba; sin embargo, la interacción entre v1 (dicotómica) y v2 (5 grupos) no es significativa, y (mi pregunta) hace que mis efectos directos v1 y v2 tampoco sean significativos. No puedo encontrar un ejemplo sobre cómo informar esto en la literatura.

Jen

Si la interacción v1: v2 no es significativa, ¿necesita incluirla en el modelo?

Christopher Aden

Tal vez esta pregunta es relevante? stats.stackexchange.com/questions/5184/…

Glen

Otra posibilidad es la confusión paradójica: Ejemplo 1: epm.sagepub.com/content/56/3/430.abstract Ejemplo 2: opticalprediction.com/files/pdf/V1A19.pdf

user31256

24

Creo que este es complicado; Como insinúa, aquí hay un 'riesgo moral': si no hubiera mirado la interacción en absoluto, sería libre y claro, pero ahora que tiene sospecha de dragado de datos si la abandona.

La clave es probablemente un cambio en el significado de sus efectos cuando pasa del modelo de efectos principales solo al modelo de interacción. Lo que obtienes por los "efectos principales" depende en gran medida de cómo se codifican tus tratamientos y contrastes. En R, el valor predeterminado es el tratamiento contrasta con los niveles de primer factor (los que tienen los primeros nombres en orden alfabético a menos que haya hecho todo lo posible para codificarlos de manera diferente) como los niveles de referencia.

Digamos (por simplicidad) que tiene dos niveles, 'control' y 'trt', para cada factor. Sin la interacción, el significado del parámetro 'v1.trt' (asumiendo que el tratamiento contrasta como el valor predeterminado en R) es "diferencia promedio entre 'v1.control' y el grupo 'v1.trt'"; el significado del parámetro 'v2.trt' es "diferencia promedio entre 'v2.control' y 'v2.trt'".

Con la interacción, 'v1.trt' es la diferencia promedio entre 'v1.control' y 'v1.trt' en el grupo 'v2.control' , y de manera similar 'v2.trt' es la diferencia promedio entre los grupos v2 en el grupo 'v1.control'. Por lo tanto, si tiene efectos de tratamiento bastante pequeños en cada uno de los grupos de control, pero un efecto importante en los grupos de tratamiento, podría ver fácilmente lo que está viendo.

Sin embargo, la única forma en que puedo ver que esto suceda sin un término de interacción significativo es si todos los efectos son bastante débiles (de modo que lo que realmente quiere decir con "el efecto desapareció" es que pasó de p = 0.06 a p = 0.04, a través de la línea de significado mágico).

Otra posibilidad es que esté 'usando demasiados grados de libertad', es decir, las estimaciones de los parámetros en realidad no cambian tanto, pero el término de error residual se infla lo suficiente al tener que estimar otros 4 [= (2- 1) * (5-1)] parámetros que sus términos significativos se vuelven no significativos. Nuevamente, solo esperaría esto con un pequeño conjunto de datos / efectos relativamente débiles.

Una posible solución es moverse para sumar contrastes, aunque esto también es delicado: debe estar convencido de que el "efecto promedio" es significativo en su caso. Lo mejor es trazar sus datos y observar los coeficientes y comprender lo que está sucediendo en términos de los parámetros estimados.

Espero que ayude.

Ben Bolker
fuente

44

No hay riesgo moral. El cálculo de los efectos principales con la interacción incluida es bastante diferente del cálculo sin él. Debe hacer el modelo aditivo para informar los efectos principales y luego incluir la interacción en un modelo separado de todos modos. Ignora los efectos principales en el modelo que incluye la interacción porque no son realmente efectos principales, son efectos en niveles específicos de los otros predictores (incluida la interacción).

John

John: uno, por esa lógica, también ignoraría el término de interacción en un modelo que evalúa una interacción cuadrática / efecto moderador (es decir, que incluye (1) efectos principales, (2) interacción entre esos efectos principales y (3) un término cuadrático para uno de los principales efectos y un efecto de interacción curvilínea (moderación)?

Bento

11

¿Estás seguro de que las variables se han expresado adecuadamente? Considere dos variables independientes y . La declaración del problema afirma que está obteniendo un buen ajuste en el formulario $X_1$ $X_2$

Y = β_{0 0} + β_{12} X_{1} X_{2} + ϵ

$Y = \beta_0 + \beta_{12} X_1 X_2 + \epsilon$

$Y$

Y = β_{0 0} + (β_{12} X_{1} X_{2}) δ

$Y = \beta_0 + \left( \beta_{12} X_1 X_2 \right) \delta$

Esto puede ser reescrito

Iniciar sesión (Y - β_{0 0}) = Iniciar sesión (β_{12}) + Iniciar sesión (X_{1}) + Iniciar sesión (X_{2}) + Iniciar sesión (δ);

$\log(Y - \beta_0) = \log(\beta_{12}) + \log(X_1) + \log(X_2) + \log(\delta);$

es decir, si vuelve a expresar sus variables en el formulario

\begin{aligned} η = & Iniciar sesión (Y - β_{0 0}) \\ ξ_{1} = & Iniciar sesión (X_{1}) \\ ξ_{2} = & Iniciar sesión (X_{2}) \\ ζ = & Iniciar sesión (δ) \sim norte (0 0, σ^{2}) \end{aligned}

$\eqalign{ \eta =& \log(Y - \beta_0) \cr \xi_1 =& \log(X_1)\cr \xi_2 =& \log(X_2)\cr \zeta =& \log(\delta) \sim N(0, \sigma^2) }$

entonces el modelo es lineal y probablemente tiene residuos homoscedasticos:

η = γ_{0 0} + γ_{1} ξ_{1} + γ_{2} ξ_{2} + ζ,

$\eta = \gamma_0 + \gamma_1 \xi_1 + \gamma_2 \xi_2 + \zeta,$

$\gamma_1$ $\gamma_2$

$\beta_0$ $Y$

$\beta_0$ $\sqrt{\beta_0}$

Y = (θ_{1} + X_{1}) (θ_{2} + X_{2}) + ϵ

$Y = (\theta_1 + X_1) (\theta_2 + X_2) + \epsilon$

$\theta_1 \theta_2 = \beta_0$ $\theta_1$ $\theta_2$ $\theta_1 X_2$ $\theta_2 X_1$ $\epsilon$

Este análisis muestra cómo es posible, incluso probable en algunas aplicaciones, tener un modelo en el que los únicos efectos parecen ser interacciones. Esto surge cuando las variables (independientes, dependientes o ambas) se le presentan de forma inadecuada y sus logaritmos son un objetivo más efectivo para el modelado. Las distribuciones de las variables y de los residuos iniciales proporcionan las pistas necesarias para determinar si este puede ser el caso: las distribuciones sesgadas de las variables y la heterocedasticidad de los residuos (específicamente, que tienen variaciones aproximadamente proporcionales a los valores pronosticados) son los indicadores.

whuber
fuente

Hmmm Todo esto parece plausible pero más complejo que mi solución (los comentarios sobre la pregunta original sugieren que los predictores son categóricos). Pero como de costumbre, la respuesta es "mirar los datos" (o los residuos).

Ben Bolker,

1

@Ben Estoy de acuerdo pero no entiendo de dónde viene la percepción de "más complejo", porque el análisis de distribuciones univariadas y el análisis post-hoc de los residuos son esenciales en cualquier ejercicio de regresión. El único trabajo adicional requerido aquí es pensar en lo que significan estos análisis.

whuber

1

Quizás por "más complejo" me refiero a "En mi experiencia, he visto que los problemas a los que me referí en mi respuesta (codificación de contraste) surgen con más frecuencia que aquellos a los que se refirió (no aditividad)", pero esto es realmente un declaración sobre los tipos de datos / personas con las que trabajo en lugar de sobre el mundo.

Ben Bolker,

5

$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \beta_3 (X_1 \cdot X_2) = (b_0 + b_2 X_2) + (b_1 + b_3 X_2) X_1$

Esto generalmente introduce una alta multicolinealidad ya que el producto se correlacionará fuertemente con ambas variables originales. Con la multicolinealidad, las estimaciones de parámetros individuales dependen en gran medida de qué otras variables se consideran, como en su caso. Como contramedida, centrar las variables a menudo reduce la multicolinealidad cuando se considera la interacción.

No estoy seguro de si esto se aplica directamente a su caso, ya que parece tener predictores categóricos, pero utiliza el término "regresión" en lugar de "ANOVA". Por supuesto, el último caso es esencialmente el mismo modelo, pero solo después de elegir el esquema de codificación de contraste como explicó Ben.

lince
fuente

5

Esto puede ser un problema de interpretación, un malentendido de lo que realmente es el llamado coeficiente de "efecto directo".

En los modelos de regresión con variables predictoras continuas y sin términos de interacción, es decir, sin términos que se construyan como producto de otros términos, el coeficiente de cada variable es la pendiente de la superficie de regresión en la dirección de esa variable. Es constante, independientemente de los valores de las variables, y obviamente es una medida del efecto de esa variable.

En los modelos con interacciones, es decir, con términos que se construyen como productos de otros términos, esa interpretación puede hacerse sin calificación adicional solo para variables que no están involucradas en ninguna interacción. El coeficiente de una variable que está implicado en interacciones es la pendiente de la superficie de regresión en la dirección de esa variable cuando los valores de todas las variables que interactúan con la variable en cuestión son cero , y la prueba de significación del coeficiente se refiere a la pendiente de la superficie de regresión solo en esa región del espacio predictor. Dado que no existe el requisito de que realmente haya datos en esa región del espacio, el coeficiente de efecto directo aparente puede tener poca semejanza con la pendiente de la superficie de regresión en la región del espacio predictor donde los datos se observaron realmente. No existe un verdadero "efecto directo" en tales casos; el mejor sustituto es probablemente el "efecto promedio": la pendiente de la superficie de regresión en la dirección de la variable en cuestión, tomada en cada punto de datos y promediada sobre todos los puntos de datos. Para más información sobre esto, vea ¿Por qué centrar variables independientes puede cambiar los efectos principales con moderación?

Ray Koopman
fuente

¿Qué pasa si la interacción elimina mis efectos directos en la regresión?

Respuestas: