¿Cuáles son los méritos de los diferentes enfoques para detectar la colinealidad?

11

Quiero detectar si la colinealidad es un problema en mi regresión OLS. Entiendo que los factores de inflación de varianza y el índice de condición son dos medidas comúnmente utilizadas, pero me resulta difícil encontrar algo definitivo sobre los méritos de cada enfoque, o cuáles deberían ser los puntajes.

Sería muy útil una fuente prominente que indique qué enfoque hacer y / o qué puntajes son apropiados.

Se hizo una pregunta similar en "¿Hay alguna razón para preferir una medida específica de multicolinealidad?" pero idealmente busco una referencia que pueda citar.

Kyrenia
fuente
44
Recuerde que la colinealidad es en gran medida una cuestión de grado , por lo que incluso si encuentra un texto que da un número agradable y citable, no es algo que deba tratar como un valor límite estricto para "no hay problema" frente a "tenemos un problema ".
Silverfish
44
@Silverfish da buenos consejos. Belsley, Kuh y Welsch también enfatizan que la colinealidad, incluso cuando está presente, no es necesariamente dañina: debe determinar si realmente está causando un problema para su análisis.
whuber

Respuestas:

11

Belsley, Kuh y Welsch es el texto al que acudir para este tipo de preguntas. Incluyen una extensa discusión sobre diagnósticos anteriores en una sección titulada "Perspectiva histórica". Sobre VIF escriben

XRXX

R1=(XX)1R1riiVIFi

VIFi=11Ri2
Ri2XiRi2R

RR1XXβ^ien componentes asociados con los valores singulares. El poder de esta descomposición radica en su capacidad (en muchos casos) para revelar la naturaleza de la colinealidad, en lugar de solo indicar su presencia.

Xi1,,Xik

Finalmente, BKW recomienda diagnosticar la colinealidad mediante

... la siguiente doble condición:

  1. Un valor singular que se considera que tiene un índice de condición alto y que está asociado con
  2. Altas proporciones de varianza y descomposición para dos o más variaciones estimadas del coeficiente de regresión.

30X0.5

whuber
fuente
10
  • R21/(1R2)

    Sin embargo, los VIF implementados normalmente no pueden informarle sobre la colinealidad con la intercepción, ya que la intercepción generalmente se incluye silenciosamente en estas regresiones "auxiliares". Además, si un regresor tiene un VIF alto, no sabe de inmediato qué otros regresores son responsables de la colinealidad. Debería observar los coeficientes estandarizados en las regresiones auxiliares.

  • Los índices de condición y las proporciones de descomposición de colinealidad de Belsley, Kuh y Welsch (Belsley, DA; Kuh, E. y Welsch, RE Diagnóstico de regresión: identificación de datos influyentes y fuentes de colinealidad. John Wiley & Sons, 1980) son mucho más difíciles de entender. Solía ​​trabajar con esto hace unos años, pero no intentaré explicarlos aquí sin obtener un repaso ;-)

    Estos diagnósticos no permiten la detección de colinealidad con el punto de intersección. Y puede investigar las proporciones de descomposición de la colinealidad para deducir qué otros regresores son responsables de la colinealidad de un regresor dado.

Stephan Kolassa
fuente
Gracias, muy útil, ¿conoce por casualidad una cita para el VIF de más de 10 reglas generales? Puedo encontrar muchas notas de clase económica, pero no puedo encontrar nada publicado que diga eso ... .
kyrenia
¡@kyrenia "mayor que 10" está lejos del único umbral que he visto sugerido! Me pregunto si hay variación entre los campos, o simplemente entre los autores.
Silverfish
3
2100
@whuber Gracias por eso. Esa es una observación muy interesante y muy relevante para la pregunta planteada por el OP: dada la importancia de "segundo rango" de los comentarios dentro del sistema StackExchange, creo que debería considerar incorporar eso en su excelente respuesta.
Silverfish
6

Para referencias ampliamente disponibles para citar, el libro de Faraway en la página 117 proporciona una regla general de más de 30 para detectar problemas basados ​​en números de condición, y Una Introducción al Aprendizaje Estadístico , página 101, dice que los valores de VIF superiores a 5 o 10 indican un problema .

Probablemente más importante que el método que use para identificar la multicolinealidad será cómo lo maneje.

EdM
fuente