Coeficientes de regresión de crestas que son mayores que los coeficientes MCO o que cambian de signo dependiendo de

14

Al ejecutar la regresión de cresta, ¿cómo interpreta los coeficientes que terminan siendo más grandes que sus coeficientes correspondientes bajo mínimos cuadrados (para ciertos valores de )? ¿No se supone que la regresión de cresta reduce los coeficientes monotónicamente?λ

En una nota relacionada, ¿cómo se interpreta un coeficiente cuyo signo cambia durante la regresión de cresta (es decir, el trazado de cresta cruza de negativo a positivo en un gráfico de trazado de cresta)?

usuario21833
fuente
La regresión de crestas solo reduce monotónicamente los coeficientes en el caso de una matriz de diseño ortogonal. En presencia de correlaciones, es imposible decir algo de esa generalidad.
Matthew Drury

Respuestas:

5

Como λaumenta desde cero la contribución de varios cambios de coeficientes para adaptarse a la optimización, lo que permite tanto aumentos de valor como cambios de signo. Eche un vistazo a las tablas de regresión de cresta (PDF) de Ryan Tibshirani que ilustran sus dos preguntas (tablas 17, 19).

mrbcuda
fuente