¿Cómo puedo estimar los errores estándar del coeficiente cuando uso la regresión de cresta?

Estoy usando la regresión de cresta en datos altamente multicolineales. Usando OLS obtengo grandes errores estándar en los coeficientes debido a la multicolinealidad. Sé que la regresión de crestas es una forma de lidiar con este problema, pero en todas las implementaciones de regresión de crestas que he visto, no hay errores estándar reportados para los coeficientes. Me gustaría alguna forma de estimar cuánto ayuda la regresión de cresta al ver cuánto está disminuyendo los errores estándar de coeficientes específicos. ¿Hay alguna forma de estimarlos en la regresión de cresta?

Creo que boostrap sería la mejor opción para obtener SE robustas. Esto se realizó en algunos trabajos aplicados utilizando métodos de contracción, por ejemplo, Análisis de datos del Consorcio de Artritis Reumatoide de América del Norte utilizando un enfoque de regresión logística penalizado (BMC Proceedings 2009). También hay un buen artículo de Casella sobre cálculo SE con modelo penalizado, regresión penalizada , errores estándar y lazos bayesianos (Bayesian Analysis 2010 5 (2)). Pero están más preocupados con la penalización de lazo y elástico .

Siempre pensé en la regresión de cresta como una forma de obtener mejores predicciones que la OLS estándar, donde el modelo generalmente no es indiferente. Para la selección de variables, los criterios de lazo o elasticnet son más apropiados, pero luego es difícil aplicar un procedimiento de arranque (dado que las variables seleccionadas cambiarían de una muestra a otra, e incluso en el bucle de plegado en interno utilizado para optimizar el / ); Este no es el caso con la regresión de cresta, ya que siempre considera todas las variables.$k$$\ell_1$$\ell_2$

No tengo idea de los paquetes R que darían esta información. No parece estar disponible en el paquete glmnet (consulte el documento de Friedman en JSS, Rutas de regularización para modelos lineales generalizados a través de descenso coordinado ). Sin embargo, Jelle Goeman, autor del paquete penalizado , también discute este punto. No puedo encontrar el PDF original en la web, así que simplemente cito sus palabras:

Es una pregunta muy natural pedir errores estándar de coeficientes de regresión u otras cantidades estimadas. En principio, estos errores estándar se pueden calcular fácilmente, por ejemplo, utilizando el bootstrap.

Aún así, este paquete deliberadamente no los proporciona. La razón de esto es que los errores estándar no son muy significativos para estimaciones fuertemente sesgadas, como las que surgen de los métodos de estimación penalizados. La estimación penalizada es un procedimiento que reduce la varianza de los estimadores al introducir un sesgo sustancial. Por lo tanto, el sesgo de cada estimador es un componente principal de su error cuadrático medio, mientras que su varianza puede contribuir solo con una pequeña parte.

Desafortunadamente, en la mayoría de las aplicaciones de regresión penalizada es imposible obtener una estimación suficientemente precisa del sesgo. Cualquier cálculo basado en bootstrap solo puede dar una evaluación de la varianza de las estimaciones. Las estimaciones confiables del sesgo solo están disponibles si se cuenta con estimaciones imparciales confiables, lo que generalmente no es el caso en situaciones en las que se utilizan estimaciones penalizadas.

Por lo tanto, informar un error estándar de una estimación penalizada solo cuenta una parte de la historia. Puede dar una impresión errónea de gran precisión, ignorando por completo la inexactitud causada por el sesgo. Ciertamente es un error hacer declaraciones de confianza que solo se basan en una evaluación de la varianza de las estimaciones, como lo hacen los intervalos de confianza basados ​​en bootstrap.

Suponiendo que el proceso de generación de datos sigue los supuestos estándar detrás de OLS, los errores estándar para la regresión de cresta vienen dados por:

$\sigma^2 (A^T A + \Gamma^T \Gamma)^{-1} A^T A (A^T A + \Gamma^T \Gamma)^{-1}$

La notación anterior sigue la notación wiki para la regresión de cresta . Específicamente,

$A$ es la matriz covraiada,

$\sigma^2$ es la varianza del error.

$\Gamma$ es la matriz de Tikhonov elegida adecuadamente en la regresión de cresta.

$\Gamma ^T\Gamma$$\text{$\lambda $I}$$\text{I}$$\lambda$integrales y otros problemas inversos. "Un problema inverso en la ciencia es el proceso de calcular a partir de un conjunto de observaciones los factores causales que los produjeron: por ejemplo, calcular una imagen en tomografía computarizada, reconstruir fuentes en acústica o calcular la densidad de la Tierra a partir de mediciones de su gravedad campo. aquí "SPSS contiene código suplementario que proporciona la desviación estándar de todos los parámetros y se pueden derivar parámetros adicionales utilizando la propagación de errores como en el apéndice de este documento .

Lo que generalmente se malinterpreta acerca de la regularización de Tikhonov es que la cantidad de suavizado tiene muy poco que ver con el ajuste de la curva, el factor de suavizado debe usarse para minimizar el error de los parámetros de interés. Tendría que explicar mucho más sobre el problema específico que está tratando de resolver para usar la regresión de crestas correctamente en algún contexto de problema inverso válido, y muchos de los documentos sobre la selección de factores de suavizado, y muchos de los usos publicados de la regularización de Tikhonov son un poco heurístico

Además, la regularización de Tikhonov es solo un tratamiento de problema inverso entre muchos. Siga el enlace a la revista Inverse Problems .