Regresión cuando los residuos de OLS no se distribuyen normalmente

Hay varios hilos en este sitio que discuten cómo determinar si los residuos de OLS se distribuyen asintóticamente normalmente. Otra forma de evaluar la normalidad de los residuos con el código R se proporciona en este excelente respuesta . Esta es otra discusión sobre la diferencia práctica entre los residuos estandarizados y observados.

Pero digamos que los residuos definitivamente no se distribuyen normalmente, como en este ejemplo . Aquí tenemos varios miles de observaciones y claramente debemos rechazar la suposición de residuos distribuidos normalmente. Una forma de abordar el problema es emplear alguna forma de estimador robusto como se explica en la respuesta. Sin embargo, no estoy limitado a OLS y, de hecho, me gustaría comprender los beneficios de otras metodologías glm o no lineales.

¿Cuál es la forma más eficiente de modelar datos que violan la suposición de normalidad de residuos de MCO? ¿O al menos cuál debería ser el primer paso para desarrollar una metodología sólida de análisis de regresión?

La estimación de mínimos cuadrados ordinarios sigue siendo un estimador razonable frente a errores no normales. En particular, el teorema de Gauss-Markov establece que la estimación de mínimos cuadrados ordinarios es el mejor estimador imparcial lineal (AZUL) de los coeficientes de regresión ('Mejor' significa óptimo en términos de minimizar el error cuadrático medio ) siempre que los errores

(1) tiene media cero

(2) no están correlacionados

(3) tienen varianza constante

Tenga en cuenta que no hay condición de normalidad aquí (o incluso cualquier condición de que los errores sean IID ).

La condición de normalidad entra en juego cuando intentas obtener intervalos de confianza y / o valores . Como @MichaelChernick menciona (+1, por cierto), puede usar una inferencia robusta cuando los errores no son normales siempre que el método pueda manejar la desviación de la normalidad, por ejemplo, (como discutimos en este hilo) el Huber -estimator puede proporcionar una inferencia robusta cuando la verdadera distribución de errores es la mezcla entre una distribución normal y una distribución de cola larga (como se ve en su ejemplo) pero puede no ser útil para otras desviaciones de la normalidad. Una posibilidad interesante a la que Michael alude es el arranque para obtener intervalos de confianza para las estimaciones de OLS y ver cómo esto se compara con la inferencia basada en Huber.$p$$M$

Editar: a menudo escucho decir que puede confiar en el Teorema del límite central para encargarse de los errores no normales; esto no siempre es cierto (no solo estoy hablando de contraejemplos donde falla el teorema). En el ejemplo de datos reales al que se refiere el OP, tenemos un gran tamaño de muestra, pero podemos ver evidencia de una distribución de errores de cola larga; en situaciones en las que tiene errores de cola larga, no necesariamente puede confiar en el Teorema del límite central para dar tiene una inferencia aproximadamente imparcial para tamaños de muestra finitos realistas Por ejemplo, si los errores siguen una distribución con grados de libertad (que claramente no es más$t$$2.01$ de cola larga que los errores vistos en los datos del OP), las estimaciones de los coeficientes se distribuyen asintóticamente normalmente, pero se tarda mucho más en "patear" que en otras distribuciones de cola más corta.

A continuación, demuestro con una simulación cruda en Rque cuando , donde , la distribución de muestreo de todavía tiene una cola bastante larga, incluso cuando el tamaño de la muestra es :$y_{i} = 1 + 2x_{i} + \varepsilon_i$$\varepsilon_{i} \sim t_{2.01}$$\hat{\beta}_{1}$$n=4000$

set.seed(5678)
B = matrix(0,1000,2)
for(i in 1:1000)
{
    x = rnorm(4000) 
    y = 1 + 2*x + rt(4000,2.01)
    g = lm(y~x)
    B[i,] = coef(g)
}
qqnorm(B[,2])
qqline(B[,2])

Creo que quieres ver todas las propiedades de los residuos.

1. normalidad
2. varianza constante
3. correlacionado con una covariable.
4. combinaciones de lo anterior

Si es solo 1 y se debe a colas pesadas o asimetría debido a una cola pesada, la regresión robusta podría ser un buen enfoque o posiblemente una transformación a la normalidad. Si es una varianza no constante, intente una transformación estabilizadora de varianza o intente modelar la función de varianza. Si es solo 3, eso sugiere una forma diferente de modelo que involucra esa covariable. Cualquiera que sea el problema, el arranque de los vectores o reiduales siempre es una opción.

Mi experiencia está completamente de acuerdo con Michael Chernick. La aplicación de una transformación de datos no solo hace que el error de modelado se distribuya normalmente, sino que también puede corregir la heterocedasticidad.

Lo siento, pero sugerir lo contrario, como recopilar una cantidad increíble de datos, o emplear métodos de regresión robustos menos eficientes, es erróneo, en mi opinión, practicar esta ciencia / arte.

Macro (jsut arriba) declaró la respuesta correcta. Solo un poco de precisión porque tenía la misma pregunta

La condición de normalidad de los residuos es útil cuando los residuos también son homoskedastic. El resultado es que OLS tiene la varianza más pequeña entre todos los estimadores (lineal O no lineal).

Los supuestos extendidos de OLS:

1. $E(u|X_i = x) = 0$
2. $(X_i,Y_i), i=1,…,n,$ son iid
3. Los valores atípicos grandes son raros
4. eres homoskedastic
5. u se distribuye$N(0,σ^2)$

si se verifica 1-5, entonces OLS tiene la varianza más pequeña entre todos los estimadores (lineal O no lineal) .

si solo se verifica 1-4, entonces, según Gauss-Markov, OLS es el mejor estimador lineal (¡solo!) (AZUL).

Fuente: Stock and Watson, Econometría + mi curso (EPFL, Econometría)

Para condiciones no normales, a veces se recurría a una regresión robusta , especialmente usando los enlaces a los métodos .

Para presentar el contexto de no normalidad, puede ser útil revisar los supuestos para la regresión lineal de OLS , que son:

• Débil exogeneidad . Esto significa esencialmente que las variables predictoras, x , pueden tratarse como valores fijos, en lugar de variables aleatorias. Esto significa, por ejemplo, que se supone que las variables predictoras están libres de errores, es decir, que no están contaminadas con errores de medición. Esta suposición es la que se viola con mayor frecuencia y conduce a errores enumerados a continuación de esta lista de suposiciones.
• Linealidad Esto significa que la media de la variable de respuesta es una combinación lineal de los parámetros (coeficientes de regresión) y las variables predictoras. Tenga en cuenta que esta suposición es mucho menos restrictiva de lo que parece a primera vista. Debido a que las variables predictoras se tratan como valores fijos (ver arriba), la linealidad es realmente solo una restricción en los parámetros. Las variables predictoras en sí mismas pueden transformarse arbitrariamente y, de hecho, pueden agregarse varias copias de la misma variable predictora subyacente, cada una transformada de manera diferente.
• Variación constante (también conocida como homocedasticidad). Esto significa que diferentes valores de la variable de respuesta tienen la misma varianza en sus errores, independientemente de los valores de las variables predictoras. En la práctica, esta suposición no es válida (es decir, los errores son heterocedásticos) si la variable de respuesta puede variar a gran escala. Para verificar la varianza heterogénea del error, o cuando un patrón de residuos viola los supuestos del modelo de homocedasticidad (el error es igualmente variable alrededor de la "línea de mejor ajuste" para todos los puntos de x), es prudente buscar un "efecto de abanico" entre el error residual y los valores pronosticados. Esto quiere decir que habrá un cambio sistemático en los residuos absolutos o cuadrados cuando se grafican contra las variables predictivas. Los errores no se distribuirán uniformemente en la línea de regresión. La heterocedasticidad dará como resultado el promedio de las variaciones distinguibles alrededor de los puntos para obtener una única variación que representa de manera inexacta todas las variaciones de la línea. En efecto, los residuos aparecen agrupados y separados en sus gráficos predichos para valores más grandes y más pequeños para los puntos a lo largo de la línea de regresión lineal, y el error al cuadrado medio para el modelo será incorrecto.
• Independencia de errores. Esto supone que los errores de las variables de respuesta no están correlacionados entre sí. (La independencia estadística real es una condición más fuerte que la mera falta de correlación y, a menudo, no es necesaria, aunque puede explotarse si se sabe que es válida. Esto último puede examinarse con análisis de conglomerados y corrección de interacción). Algunos métodos (por ejemplo, generalizados mínimos cuadrados) son capaces de manejar errores correlacionados, aunque generalmente requieren significativamente más datos a menos que se utilice algún tipo de regularización para sesgar el modelo hacia la suposición de errores no correlacionados. La regresión lineal bayesiana es una forma general de manejar este problema.

• La relación estadística entre los términos de error y los regresores juega un papel importante para determinar si un procedimiento de estimación tiene propiedades de muestreo deseables, como ser imparcial y consistente.

• La disposición o distribución de probabilidad de las variables predictoras x tiene una influencia importante en la precisión de las estimaciones de β. El muestreo y el diseño de experimentos son subcampos de estadísticas altamente desarrollados que proporcionan orientación para recopilar datos de tal manera que se pueda obtener una estimación precisa de β.

Como esta respuesta ilustra, simulado Student's- distribuye eje x errores a partir de una línea de plomo a las líneas de regresión por mínimos cuadrados con intervalos de confianza para pendiente y la intersección que el aumento de tamaño que los grados de libertad ( ) disminución. Para , Student's- es una distribución de Cauchy y los intervalos de confianza para la pendiente se convierten en .$t$$y$$df$$df=1$$t$$(-\infty,+\infty)$

Es arbitrario invocar la distribución de Cauchy con respecto a los residuos en el sentido de que cuando los errores de generación se distribuyen con Cauchy, los residuos de OLS de una línea espuria a través de los datos serían aún menos confiables, es decir, la basura en la basura. En esos casos, uno puede usar la regresión de regresión de Theil-Sen . Theil-Sen es ciertamente más robusto que el OLS para residuos no normales, por ejemplo, el error distribuido de Cauchy no degradaría los intervalos de confianza y, a diferencia del OLS, también es una regresión bivariada, sin embargo, en el caso bivariado todavía está sesgado. La regresión Passing-Bablok puede ser más imparcial bivariada, pero no se aplica a las pendientes de regresión negativa. Se usa más comúnmente para los estudios de comparación de métodos. Uno debería mencionar la regresión de Demingaquí, a diferencia de las regresiones de Theil-Sen y Passing-Bablok, es una solución real al problema bivariado, pero carece de la solidez de esas otras regresiones. La robustez se puede aumentar truncando los datos para incluir los valores más centrales, por ejemplo, el consenso de muestras aleatorias (RANSAC) es un método iterativo para estimar los parámetros de un modelo matemático a partir de un conjunto de datos observados que contiene valores atípicos.

¿Qué es entonces la regresión bivariada? La falta de pruebas para la naturaleza bivariada de los problemas es la causa más frecuente de la dilución de la regresión de OLS y se ha presentado muy bien en otras partes de este sitio. El concepto de sesgo de OLS en este contexto no está bien reconocido, véase, por ejemplo, Frost y Thompson, presentado por Longford et al. (2001), que remite al lector a otros métodos, ampliando el modelo de regresión para reconocer la variabilidad en la variable , de modo que no surja sesgo . En otras palabras, la regresión de casos bivariada a veces no se puede ignorar cuando tanto como$x$$^1$$x$$y$-los valores se distribuyen aleatoriamente. La necesidad de una regresión bivariada puede probarse ajustando una línea de regresión OLS a los residuos de una regresión OLS de los datos. Entonces, si los residuos de OLS tienen una pendiente distinta de cero, el problema es bivariado y la regresión de OLS de los datos tendrá una magnitud de pendiente que es demasiado superficial y una intersección de magnitud demasiado grande para ser representativa de la relación funcional entre e . En esos casos, el estimador lineal de menor error de los valores aún sería de la regresión OLS, y su valor R estará en un valor máximo posible, pero la línea de regresión OLS no representará la función de línea real que se relaciona la y$x$$y$$y$$^2$$x$$y$ variables aleatorias. Como contraejemplo, cuando, como ocurre entre otros problemas en una serie de tiempo con valores equidistantes , los MCO de los datos sin procesar no siempre son inapropiados, pueden representar la mejor línea , pero aún están sujetos a transformación variable, por ejemplo, para datos de recuento, se tomaría la raíz cuadrada de los recuentos para convertir los errores para el error distribuido de Poisson en condiciones más normales, y aún se debe verificar la pendiente de los residuos que no sea cero. $x$$y=f(x)$

1. Longford, NT (2001). "Correspondencia". Revista de la Royal Statistical Society, Serie A. 164: 565. doi: 10.1111 / 1467-985x.00219