Comparación de la importancia de diferentes conjuntos de predictores

Estaba asesorando a un estudiante de investigación con un problema particular, y estaba ansioso por obtener la opinión de otros en este sitio.

Contexto:

El investigador tenía tres tipos de variables predictoras. Cada tipo contenía un número diferente de variables predictoras. Cada predictor era una variable continua:

• Social: S1, S2, S3, S4 (es decir, cuatro predictores)
• Cognitivo: C1, C2 (es decir, dos predictores)
• Comportamiento: B1, B2, B3 (es decir, tres predictores)

La variable de resultado también fue continua. La muestra incluyó alrededor de 60 participantes.

El investigador quería comentar sobre qué tipo de predictores eran más importantes para explicar la variable de resultado. Esto se relacionó con preocupaciones teóricas más amplias sobre la importancia relativa de este tipo de predictores.

Preguntas

• ¿Cuál es una buena manera de evaluar la importancia relativa de un conjunto de predictores en relación con otro conjunto?
• ¿Cuál es una buena estrategia para lidiar con el hecho de que hay diferentes números de predictores en cada conjunto?
• ¿Qué advertencias en la interpretación podría sugerir?

Cualquier referencia a ejemplos o discusión de técnicas también sería bienvenida.

Suponga que el primer conjunto de predictores requiere un grado de libertad (a 4 que permite términos no lineales), el segundo conjunto requiere b y el tercero requiere c (c ≥ 3) que permite términos no lineales. Calcule la prueba de razón de verosimilitud χ 2 para los efectos parciales combinados de cada conjunto, produciendo L 1 , L 2 , L 3 . El valor esperado de una variable aleatoria χ 2 con d grados de libertad es d, así que reste d para nivelar el campo de juego. Es decir, calcule L 1 - a , L 2 - b , $\geq$$\geq$$\chi^2$$L_{1}, L_{2}, L_{3}$$\chi^2$. Si usa pruebas F, multiplique F por su numerador df para obtener laescala χ 2 .$L_{1}-a, L_{2}-b, L_{3}-c$$\chi^2$

Sugerencias

• Puede realizar regresiones múltiples individuales para cada tipo de predictor y comparar entre regresiones múltiples, r-cuadrado ajustado, r-cuadrado generalizado o alguna otra medida de varianza ajustada por parsimonia explicada.
• Alternativamente, puede explorar la literatura general sobre importancia variable ( consulte aquí una discusión con enlaces ). Esto fomentaría un enfoque en la importancia de los predictores individuales.
• En algunas situaciones , la regresión jerárquica puede proporcionar un marco útil. Debería ingresar un tipo de variable en un bloque (por ejemplo, variables cognitivas), y en el segundo bloque otro tipo (por ejemplo, variables sociales). Esto ayudaría a responder la pregunta de si un tipo de variable predice más allá de otro tipo.
• Como examen lateral, puede ejecutar un análisis factorial en las variables predictoras para examinar si las correlaciones entre las variables predictoras se asignan a la asignación de variables a tipos.

Advertencias

• Los tipos de variables como cognitiva, social y conductual son clases amplias de variables. Un estudio dado siempre incluirá solo un subconjunto de las posibles variables, y típicamente dicho subconjunto es pequeño en relación con las posibles variables. Además, las variables medidas pueden no ser los medios más confiables o válidos para medir la construcción prevista. Por lo tanto, debe tener cuidado al dibujar la inferencia más amplia sobre la importancia relativa de un tipo dado de variable más allá de lo que realmente se midió.
• También debe considerar cualquier sesgo en la forma en que se midió la variable dependiente. Particularmente en los estudios psicológicos, existe una tendencia a que las medidas de autoinforme se correlacionen bien con el autoinforme, la habilidad con la habilidad, el otro informe con otro informe, etc. El problema es que el modo de medición tiene un gran efecto más allá de la construcción real de interés. Por lo tanto, si la variable dependiente se mide de una manera particular (por ejemplo, autoinforme), entonces no sobre interprete las correlaciones más grandes con un tipo de predictor si ese tipo también usa el autoinforme.

Importancia

Lo primero que debe hacer es operacionalizar la "importancia de los predictores". Asumiré que significa algo así como 'sensibilidad del resultado medio a los cambios en los valores predictores'. Dado que sus predictores están agrupados, la sensibilidad del resultado medio a los grupos de predictores es más interesante que una variable por análisis variable. Lo dejo abierto si la sensibilidad se entiende causalmente. Ese problema se retoma más tarde.

Tres versiones de importancia

Mucha variación explicada : supongo que el primer puerto de atención de los psicólogos es probablemente una descomposición de la varianza que conduce a una medida de cuánta varianza del resultado se explica por la estructura de covarianza de la varianza en cada grupo de predictores. Al no ser un experimentalista, no puedo sugerir mucho aquí, excepto para notar que todo el concepto de "explicación de varianza" es un poco infundado para mi gusto, incluso sin el problema de "qué suma de cuadrados". Otros son bienvenidos para estar en desacuerdo y desarrollarlo más.

Grandes coeficientes estandarizados : SPSS ofrece la beta (mal nombrada) para medir el impacto de una manera comparable a través de la variable. Hay varias razones para no usar esto, discutidas en el libro de texto de regresión de Fox, aquí y en otros lugares. Todos aplican aquí. También ignora la estructura del grupo.

Por otro lado, me imagino que uno podría estandarizar predictores en grupos y usar información de covarianza para juzgar el efecto de un movimiento de desviación estándar en todos ellos. Personalmente, el lema: "si algo que no vale la pena hacer, no vale la pena hacerlo bien" reduce mi interés en hacerlo.

Grandes efectos marginales : el otro enfoque es mantenerse en la escala de las mediciones y calcular los efectos marginales entre los puntos de muestra cuidadosamente seleccionados. Debido a que le interesan los grupos, es útil elegir puntos para variar grupos de variables en lugar de individuales, por ejemplo, manipular ambas variables cognitivas a la vez. (Muchas oportunidades para parcelas geniales aquí). Documento básico aquí . El effectspaquete en R hará esto muy bien.

Hay dos advertencias aquí:

1. Si lo hace, querrá tener cuidado de no elegir dos variables cognitivas que, aunque sean plausibles individualmente, por ejemplo, medianas, estén lejos de cualquier observación de los sujetos.

2. Algunas variables ni siquiera son manipulables teóricamente, por lo que la interpretación de los efectos marginales como causales es más delicada, aunque sigue siendo útil.

Diferentes números de predictores

Los problemas surgen debido a la estructura de covarianza de las variables agrupadas, que normalmente tratamos de no preocuparnos, pero para esta tarea deberíamos hacerlo.

En particular, al calcular los efectos marginales (o coeficientes estandarizados para esa materia) en grupos en lugar de variables individuales, la maldición de la dimensionalidad para grupos más grandes facilitará que las comparaciones se desvíen hacia regiones donde no hay casos. Más predictores en un grupo conducen a un espacio menos poblado, por lo que cualquier medida de importancia dependerá más de los supuestos del modelo y menos de las observaciones (pero no le dirá eso ...) Pero estos son los mismos problemas que en la fase de ajuste del modelo De Verdad. Ciertamente, los mismos que surgirían en una evaluación de impacto causal basada en el modelo.

Un método es combinar los conjuntos de variables en variables de fajo. Este método se ha utilizado ampliamente en sociología y áreas relacionadas.

Refs:

Whitt, Hugh P. 1986. "El coeficiente de la gavilla: un enfoque simplificado y ampliado". Social Science Research 15: 174-189.