¿Por qué la norma L1 para modelos dispersos?

Estoy leyendo los libros sobre regresión lineal. Hay algunas oraciones sobre la norma L1 y L2. Los conozco, simplemente no entiendo por qué la norma L1 para modelos dispersos. ¿Puede alguien usar dar una explicación simple?

Considere el vector donde ε > 0 es pequeño. Las normas l 1 y l 2 de → x , respectivamente, están dadas por$\vec{x}=(1,\varepsilon)\in\mathbb{R}^2$$\varepsilon>0$$l_1$$l_2$$\vec{x}$

Ahora digamos que, como parte de algún procedimiento de regularización, vamos a reducir la magnitud de uno de los elementos de en δ ≤ ε . Si cambiamos x 1 a 1 - δ , las normas resultantes son$\vec{x}$$\delta\leq\varepsilon$$x_1$$1-\delta$

Por otro lado, reducir en δ da normas$x_2$$\delta$

Lo que hay que notar aquí es que, para una penalización de , regularizar el término más grande x 1 da como resultado una reducción mucho mayor en la norma que hacerlo al término más pequeño x 2 ≈ 0 . Para el l 1 pena, sin embargo, la reducción es el mismo. Por lo tanto, cuando se penaliza un modelo que utiliza la norma l 2 , es muy poco probable que algo se establezca en cero, ya que la reducción en la norma l 2 que va de ε a 0 es casi inexistente cuando ε es pequeño. Por otro lado, la reducción en l $l_2$$x_1$$x_2\approx 0$$l_1$$l_2$$l_2$$\varepsilon$$0$$\varepsilon$$l_1$la norma siempre es igual a , independientemente de la cantidad penalizada.$\delta$

Otra forma de pensar de la misma: no es tanto que sanciones animan escasez, pero que l 2 sanciones en algún sentido desalentar escasez cediendo rendimientos decrecientes como elementos se mueven más cerca de cero.$l_1$$l_2$

Con un modelo disperso, pensamos en un modelo donde muchos de los pesos son 0. Por lo tanto, razonemos acerca de cómo la regularización L1 es más probable que cree pesos 0.

Considere un modelo que consta de los pesos .$(w_1, w_2, \dots, w_m)$

Con la regularización L1, penaliza el modelo con una función de pérdida = Σ i | w i | .$L_1(w)$$\Sigma_i |w_i|$

Con la regularización L2, penaliza el modelo con una función de pérdida = $L_2(w)$$\frac{1}{2} \Sigma_i w_i^2$

Si usa el descenso de gradiente, hará que los pesos cambien de forma iterativa en la dirección opuesta del gradiente con un tamaño de paso multiplicado por el gradiente. Esto significa que un gradiente más empinado nos hará dar un paso más grande, mientras que un gradiente más plano nos hará dar un paso más pequeño. Veamos los gradientes (subgradiente en el caso de L1):$\eta$

$\frac{dL_1(w)}{dw} = sign(w)$$sign(w) = (\frac{w_1}{|w_1|}, \frac{w_2}{|w_2|}, \dots, \frac{w_m}{|w_m|})$

$\frac{dL_2(w)}{dw} = w$

Si trazamos la función de pérdida y es derivada para un modelo que consta de un solo parámetro, se verá así para L1:

Y así para L2:

$L_1$$w_1 = 0$$L_2$

$w_1 = 5$$\eta = \frac{1}{2}$$w_1 := w_1 - \eta \cdot \frac{dL_1(w)}{dw} = w_1 - \frac{1}{2} \cdot 1$$w_1 = 0$

$\eta = \frac{1}{2}$$w_1$$w_1 := w_1 - \eta \cdot \frac{dL_2(w)}{dw} = w_1 - \frac{1}{2} \cdot w_1$

$\eta$

La figura 3.11 de Elementos de aprendizaje estadístico de Hastie, Tibshirani y Friedman es muy ilustrativa:

$\hat{\beta}$$\beta_1$$\beta_2$$\hat{\beta}$$L_1$$L_2$) regresión respectivamente. Heurísticamente, para cada método, buscamos la intersección de las elipses rojas y la región azul ya que el objetivo es minimizar la función de error mientras se mantiene la viabilidad.

$L_1$

$\hat \beta$$\hat \beta$$\ell_1 (\hat \beta) < t$$\ell_2 (\hat \beta) < t$

$\ell_1$$\ell_1$$\{ x : \ell_1(x) \le 1\}$

En términos más generales, este libro es una buena referencia sobre este tema: tanto explicaciones rigurosas como bien ilustradas, excelentes.

Una respuesta simple no matemática sería:

Para L2: el término de penalización es cuadrado , por lo que elevar al cuadrado un valor pequeño lo reducirá. No tenemos que ponerlo a cero para lograr nuestro objetivo de obtener un error mínimo cuadrado, lo conseguiremos antes.

Por L1: término de penalización es absoluta , nos podríamos necesitamos ir a cero , ya que hay ningún catalizador para hacer más pequeña pequeña .

Este es mi punto de vista.

La imagen muestra las formas del área ocupada por las Normas L1 y L2. La segunda imagen consiste en varios contornos de Pendiente de Gradiente para varios problemas de regresión. En todas las gráficas de contorno, observe el círculo rojo que se cruza con la Norma Ridge o L2. La intersección no está en los ejes. El círculo negro en todos los contornos representa el que interesa la Norma L1 o Lazo. Se cruza relativamente cerca de los ejes. Esto da como resultado que los coeficientes sean 0 y, por lo tanto, la selección de características. Por lo tanto, la norma L1 hace que el modelo sea escaso.

Explicación más detallada en el siguiente enlace: Haga clic en Publicar en Towards Data Science