¿Cómo puede manejar estimaciones

¿Estabilidad beta en regresión lineal con alta multicolinealidad?

Digamos que en una regresión lineal, las variables y x 2 tienen una alta multicolinealidad (la correlación es de alrededor de 0.9).$x_1$$x_2$

Nos preocupa la estabilidad del coeficiente , por lo que debemos tratar la multicolinealidad.$\beta$

La solución del libro de texto sería simplemente tirar una de las variables.

Pero no queremos perder información útil simplemente desechando variables.

¿Alguna sugerencia?

Puede intentar el enfoque de regresión de cresta en el caso cuando la matriz de correlación está cerca de singular (es decir, las variables tienen correlaciones altas). Le proporcionará una estimación sólida de .$\beta$

La única pregunta es cómo elegir el parámetro de regularización . No es un problema simple, aunque sugiero probar diferentes valores.$\lambda$

¡Espero que esto ayude!

Bueno, hay un método ad hoc que he usado antes. No estoy seguro de si este procedimiento tiene un nombre, pero tiene sentido intuitivamente.

Supongamos que su objetivo es adaptarse al modelo

$$Y_i = \beta_0 + \beta_1 X_i + \beta_2 Z_i + \varepsilon_i$$

donde los dos predictores - - están altamente correlacionados. Como ha señalado, usarlos en el mismo modelo puede hacer cosas extrañas en las estimaciones de coeficientes y los valores p . Una alternativa es ajustar el modelo.$X_i, Z_i$$p$

$$Z_i = \alpha_0 + \alpha_1 X_i + \eta_i$$

Entonces el residual no estará correlacionado con X i y, en cierto sentido, puede considerarse como la parte de Z i que no está subsumida por su relación lineal con X i . Luego, puede proceder a ajustar el modelo$\eta_i$$X_i$$Z_i$$X_i$

$$Y_i = \theta_0 + \theta_1 X_i + \theta_2 \eta_i + \nu_i$$

que capturará todos los efectos del primer modelo (y tendrá, de hecho, exactamente el mismo que el primer modelo) pero los predictores ya no son colineales.$R^2$

Editar: El OP ha pedido una explicación de por qué los residuos no tienen, por definición, una correlación de muestra de cero con el predictor cuando se omite la intersección, como lo hacen cuando se incluye la intersección. Esto es demasiado largo para publicar en los comentarios, así que hice una edición aquí. Esta derivación no es particularmente esclarecedora (desafortunadamente no pude encontrar un argumento intuitivo razonable) pero muestra lo que solicitó el OP :

Cuando el punto de intersección se omite en la regresión lineal simple , β = Σ x i y i , entoncesei=yi-xi∑xiy$\hat \beta = \frac{ \sum x_i y_i}{\sum x_i^2}$ . La correlación muestral entrexiyeies proporcional a ¯ x e - ¯ x ¯ e donde ¯ ⋅ denota la media muestral de la cantidad debajo de la barra. Ahora mostraré que esto no es necesariamente igual a cero.$e_i = y_i - x_i \frac{ \sum x_i y_i}{\sum x_i^2}$$x_i$$e_i$

$$\overline{xe} - \overline{x}\overline{e}$$ $\overline{\cdot}$

Primero tenemos

$$\overline{xe} = \frac{1}{n} \left( \sum x_i y_i - x_{i}^2 \cdot \frac{ \sum x_i y_i}{\sum x_i^2} \right) = \overline{xy} \left( 1 - \frac{ \sum x_{i}^2}{ \sum x_{i}^2 } \right) = 0$$

pero

$$\overline{x} \overline{e} = \overline{x} \left( \overline{y} - \frac{\overline{x} \cdot \overline{xy}}{\overline{x^2}} \right) = \overline{x}\overline{y} - \frac{\overline{x}^2 \cdot \overline{xy}}{\overline{x^2}}$$

$e_i$$x_i$$\overline{x}\overline{e}$$0$

$$\overline{y} = \frac{ \overline{x} \cdot \overline{xy}}{\overline{x^2}}$$

$x, y$

Me gustan las dos respuestas dadas hasta ahora. Déjame agregar algunas cosas.

Otra opción es que también puedes combinar las variables. Esto se hace estandarizando ambos (es decir, convirtiéndolos en puntajes z), promediando y luego ajustando su modelo con solo la variable compuesta. Este sería un buen enfoque cuando crees que son dos medidas diferentes de la misma construcción subyacente. En ese caso, tiene dos mediciones que están contaminadas con error. El valor verdadero más probable para la variable que realmentela preocupación se encuentra entre ellos, por lo que promediarlos proporciona una estimación más precisa. Primero los estandariza para colocarlos en la misma escala, de modo que los problemas nominales no contaminen el resultado (por ejemplo, no querría promediar varias mediciones de temperatura si algunas son Fahrenheit y otras son Celsius). Por supuesto, si ya están en la misma escala (por ejemplo, varias encuestas de opinión pública altamente correlacionadas), puede omitir ese paso. Si cree que una de sus variables podría ser más precisa que la otra, podría hacer un promedio ponderado (quizás utilizando los recíprocos de los errores de medición).

$r>.98$los hemos combinado, pero ¿por qué molestarse? Sin embargo, esto depende críticamente del hecho de que sus variables están correlacionadas porque son dos versiones diferentes de la misma cosa; Si hay una razón diferente por la que están correlacionados, esto podría ser totalmente inapropiado.

$X_1\rightarrow X_2\rightarrow Y$$X$$Z$ $X$$x_1$$x_2$$X$$Z$

Estoy de acuerdo en que la regresión de la cresta es posiblemente mejor, porque le permite usar las variables que había planeado originalmente y es probable que produzca beta que estén muy cerca de sus valores reales (aunque estarán sesgados; consulte aquí o aquí para obtener más información) ) Sin embargo, creo que también tiene dos desventajas potenciales: es más complicado (requiere más sofisticación estadística), y el modelo resultante es más difícil de interpretar, en mi opinión.

Entiendo que quizás el enfoque final sería ajustar un modelo de ecuación estructural. Esto se debe a que le permitiría formular el conjunto exacto de relaciones que considera operativas, incluidas las variables latentes. Sin embargo, no conozco SEM lo suficientemente bien como para decir algo al respecto aquí, aparte de mencionar la posibilidad. (También sospecho que sería excesivo en la situación que describe con solo dos covariables).