¿Por qué la regresión de cresta se llama "cresta", por qué es necesaria y qué sucede cuando va al infinito?

Estimación del coeficiente de regresión de cresta son los valores que minimizan la$\hat{\beta}^R$

$$\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2.$$

Mis preguntas son:

1. Si , vemos que la expresión anterior se reduce al RSS habitual. ¿Qué pasa si ? No entiendo la explicación del libro de texto del comportamiento de los coeficientes.$\lambda = 0$$\lambda \to \infty$

2. Para ayudar a comprender el concepto detrás de un término en particular, ¿por qué el término se llama Regresión RIDGE? (¿Por qué cresta?) ¿Y qué podría haber estado mal con la regresión habitual / común que existe la necesidad de introducir un nuevo concepto llamado regresión de cresta?

Tus ideas serían geniales.

Como pides ideas , voy a adoptar un enfoque bastante intuitivo en lugar de una táctica más matemática:

1. Siguiendo los conceptos en mi respuesta aquí , podemos formular una regresión de cresta como una regresión con datos ficticios agregando (en su formulación) observaciones, donde , y para . Si escribe el nuevo RSS para este conjunto de datos ampliado, verá que las observaciones adicionales agregan un término de la forma , entonces el nuevo RSS es el original - y minimizar el RSS en este nuevo conjunto de datos ampliado es lo mismo que minimizar el criterio de regresión de cresta.$p$$y_{n+j}=0$$x_{j,n+j}=\sqrt{\lambda}$$x_{i,n+j}=0$$i\neq j$$(0-\sqrt{\lambda}\beta_j)^2=\lambda\beta_j^2$$\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2$

   Entonces, ¿qué podemos ver aquí? A medida que aumenta, las líneas adicionales tienen un componente que aumenta, por lo que la influencia de estos puntos también aumenta. Tiran del hiperplano ajustado hacia ellos. Luego, como y los componentes correspondientes de las se disparan al infinito, todos los coeficientes involucrados se "aplanan" a .$\lambda$$x$$\lambda$$x$$0$

   Es decir, como , la penalización dominará la minimización, por lo que los s irán a cero. Si la intercepción no se penaliza (el caso habitual), el modelo se reduce cada vez más hacia la media de la respuesta.$\lambda\to\infty$$\beta$

2. Daré una idea intuitiva de por qué estamos hablando primero de crestas (lo que también sugiere por qué es necesario), luego abordaré un poco de historia. El primero está adaptado de mi respuesta aquí :

   Si hay multicolinealidad, se obtiene una "cresta" en la función de probabilidad (la probabilidad es una función de los 's). Esto a su vez produce un largo "valle" en el RSS (ya que RSS = ).$\beta$$-2\log\mathcal{L}$

   La regresión de la cresta "arregla" la cresta: agrega una penalización que convierte la cresta en un pico agradable en el espacio de probabilidad, equivalente a una depresión agradable en el criterio que estamos minimizando:

   
   [ Imagen más clara ]

   La historia real detrás del nombre es un poco más complicada. En 1959, AE Hoerl [1] introdujo el análisis de cresta para la metodología de superficie de respuesta, y muy pronto [2] se adaptó para tratar la multicolinealidad en la regresión ('regresión de cresta'). Véase, por ejemplo, la discusión de RW Hoerl en [3], donde describe el uso de Hoerl (AE no RW) de los contornos de la superficie de respuesta * en la identificación de dónde dirigirse para encontrar los óptimos locales cresta'). En problemas mal condicionados, surge el problema de una cresta muy larga, y las ideas y la metodología del análisis de cresta se adaptan al problema relacionado con la probabilidad / RSS en la regresión, produciendo regresión de cresta.

* Aquí se pueden ver ejemplos de gráficos de contorno de superficie de respuesta (en el caso de la respuesta cuadrática) (Fig. 3.9-3.12).

Es decir, "cresta" en realidad se refiere a las características de la función que estábamos tratando de optimizar, en lugar de agregar una "cresta" (+ ve diagonal) a la matriz (por lo tanto, si bien la regresión de cresta se suma a la diagonal, no es por eso que lo llamamos 'regresión de cresta').$X^TX$

Para obtener información adicional sobre la necesidad de la regresión de crestas, consulte el primer enlace en el elemento de la lista 2. anterior.

---

Referencias

[1]: Hoerl, AE (1959). Solución óptima de ecuaciones de muchas variables. Progreso de ingeniería química , 55 (11) 69-78.

[2]: Hoerl, AE (1962). Aplicaciones del análisis de crestas a problemas de regresión. Progreso de ingeniería química , 58 (3) 54-59.

[3] Hoerl, RW (1985). Análisis de crestas 25 años después. Estadístico estadounidense , 39 (3), 186-192

1. Si nuestro término de penalización será infinito para cualquier no sea , entonces ese es el que obtendremos. No hay otro vector que nos dé un valor finito de la función objetivo.$\lambda \rightarrow \infty$$\beta$$\beta = 0$

(Actualización: consulte la respuesta de Glen_b. ¡Esta no es la razón histórica correcta!)

2. Esto proviene de la solución de regresión de crestas en notación matricial. La solución resulta ser El término agrega una "cresta" a la diagonal principal y garantiza que la matriz resultante sea invertible. Esto significa que, a diferencia de OLS, siempre obtendremos una solución. $$\hat \beta = (X^TX + \lambda I)^{-1} X^TY.$$ $\lambda I$

La regresión de cresta es útil cuando los predictores están correlacionados. En este caso, los OLS pueden dar resultados descabellados con coeficientes enormes, pero si son penalizados podemos obtener resultados mucho más razonables. En general, una gran ventaja de la regresión de crestas es que la solución siempre existe, como se mencionó anteriormente. Esto se aplica incluso al caso donde , para el cual OLS no puede proporcionar una solución (única).$n < p$

La regresión de cresta también es el resultado cuando se coloca un previo normal en el vector .$\beta$

Aquí está la regresión bayesiana de la cresta: supongamos que nuestro anterior para es . Entonces porque [por supuesto] tenemos que $\beta$$\beta \sim N(0, \frac{\sigma^2}{\lambda}I_p)$$(Y|X, \beta) \sim N(X\beta, \sigma^2 I_n)$

$$\pi(\beta | y) \propto \pi(\beta) f(y|\beta)$$

$$\propto \frac{1}{(\sigma^2/\lambda)^{p/2}} \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta \right) \times \frac{1}{(\sigma^2)^{n/2}} \exp \left( \frac{-1}{2\sigma^2} ||y - X\beta||^2 \right)$$

$$\propto \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right).$$

Busquemos el modo posterior (podríamos ver la media posterior u otras cosas también, pero para esto veamos el modo, es decir, el valor más probable). Esto significa que queremos que es equivalente a

$$\max_{\beta \in \mathbb R^p} \ \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right)$$

$$\max_{\beta \in \mathbb R^p} \ -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2$$ porque es estrictamente monótono y esto a su vez es equivalente a $\log$ $$\min_{\beta \in \mathbb R^p} ||y - X\beta||^2 + \lambda \beta^T\beta$$

que debería parecer bastante familiar.

Así vemos que si ponemos un previo normal con media 0 y varianza en nuestro vector , el valor de que maximiza el posterior es el estimador de cresta. Tenga en cuenta que esto trata a más como un parámetro frecuenta porque no hay antecedentes, pero no se conoce, por lo que no es completamente bayesiano.$\frac{\sigma^2}{\lambda}$$\beta$$\beta$$\sigma^2$

Editar: usted preguntó sobre el caso donde . Sabemos que un hiperplano en está definido por exactamente puntos. Si estamos ejecutando una regresión lineal entonces exactamente interpolamos nuestros datos y obtenemos . Esta es una solución, pero es terrible: nuestro rendimiento en los datos futuros probablemente será abismal. Ahora suponga que : ya no hay un hiperplano único definido por estos puntos. Podemos ajustar una multitud de hiperplanos, cada uno con 0 suma residual de cuadrados.$n < p$$\mathbb R^p$$p$$n = p$$||y - X\hat\beta||^2 = 0$$n < p$

Un ejemplo muy simple: supongamos que . Luego, obtendremos una línea entre estos dos puntos. Ahora suponga que pero . Imagina un avión con estos dos puntos. Podemos rotar este plano sin cambiar el hecho de que estos dos puntos están en él, por lo que hay innumerables modelos, todos con un valor perfecto de nuestra función objetivo, por lo que incluso más allá del tema del sobreajuste, no está claro cuál elegir.$n = p = 2$$n = 2$$p = 3$

Como comentario final (según la sugerencia de @ gung), el LASSO (que usa una penalización ) se usa comúnmente para problemas de alta dimensión porque realiza automáticamente la selección de variables (establece algunos ). Deliciosamente, resulta que el LASSO es equivalente a encontrar el modo posterior cuando se usa un doble exponencial (también conocido como Laplace) antes en el vector . El LASSO también tiene algunas limitaciones, tales como la saturación en predictores y no grupos de predictores correlacionados necesariamente la manipulación de una manera ideal, a lo que la red elástica (combinación convexa de y sanciones) puede ser llevado a soportar.$L_1$$\beta_j = 0$$\beta$$n$$L_1$$L_2$