Que muestra la equivalencia entre el Norma regularizada Regresión y Norma restringida de regresión utilizando KKT

Según las referencias Libro 1 , Libro 2 y papel .

Se ha mencionado que existe una equivalencia entre la regresión regularizada (Ridge, LASSO y Elastic Net) y sus fórmulas de restricción.

También he visto Cross Validated 1 y Cross Validated 2 , pero no puedo ver una respuesta clara que muestre esa equivalencia o lógica.

Mi pregunta es

¿Cómo mostrar esa equivalencia usando Karush – Kuhn – Tucker (KKT)?

Las siguientes fórmulas son para la regresión de Ridge.

NOTA

Esta pregunta no es tarea. Es solo para aumentar mi comprensión de este tema.

ACTUALIZAR

Aún no tengo la idea.

regression optimization lasso ridge-regression elastic-net jeza
fuente

¿Por qué necesitas más de 1 respuesta? La respuesta actual parece abordar la pregunta de manera integral. Si desea obtener más información sobre los métodos de optimización, Convex Optimization Lieven Vandenberghe y Stephen P. Boyd es un buen lugar para comenzar.

Sycorax dice Reinstate Monica el

@Sycorax, gracias por tus comentarios y el libro que me proporcionas. La respuesta no es tan clara para mí y no puedo pedir más aclaraciones. Por lo tanto, más de una respuesta puede permitirme ver una perspectiva diferente y una forma de descripción.

jeza

@jeza, ¿qué falta en mi respuesta?

Royi

Escriba su pregunta como texto, no solo publique una fotografía (consulte aquí ).

gung - Restablece a Monica

Respuestas:

La respuesta más técnica es porque el problema de optimización restringida puede escribirse en términos de multiplicadores de Lagrange. En particular, el lagrangiano asociado con el problema de optimización restringida viene dado por donde es un multiplicador elegido para satisfacer las restricciones del problema. Las condiciones de primer orden (que son suficientes ya que está trabajando con buenas funciones convexas adecuadas) para este problema de optimización pueden obtenerse diferenciando el Lagrangiano con respecto a

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} + μ {(1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$

μ

$\mu$

β

$\beta$ y establecer las derivadas iguales a 0 (es un poco más matizado ya que la parte LASSO tiene puntos indiferenciables, pero hay métodos del análisis convexo para generalizar la derivada para que la condición de primer orden todavía funcione). Está claro que estas condiciones de primer orden son idénticas a las condiciones de primer orden del problema sin restricciones que anotó.

Sin embargo, creo que es útil ver por qué, en general, con estos problemas de optimización, a menudo es posible pensar sobre el problema a través de la lente de un problema de optimización restringido o a través de la lente de un problema sin restricciones. Más concretamente, supongamos que tenemos un problema de optimización sin restricciones de la siguiente forma: Siempre podemos intentar resolver esta optimización directamente, pero a veces, puede tener sentido dividir este problema en subcomponentes En particular, no es difícil ver que Entonces, para un valor fijo de

max_{x} f (x) + λ g (x)

$\max_x f(x) + \lambda g(x)$

max_{x} f (x) + λ g (x) = max_{t} (max_{x} f (x) s . t g (x) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$

λ

$\lambda$ (y suponiendo que las funciones que se van a optimizar realmente alcanzan su nivel óptimo), podemos asociarle un valor que resuelva el problema de optimización externa. Esto nos da una especie de mapeo desde problemas de optimización sin restricciones hasta problemas restringidos. En su entorno particular, dado que todo se comporta bien para la regresión neta elástica, este mapeo debería de hecho ser uno a uno, por lo que será útil poder cambiar entre estos dos contextos dependiendo de cuál sea más útil para una aplicación en particular. En general, esta relación entre problemas restringidos y no restringidos puede comportarse peor, pero aún puede ser útil pensar en qué medida puede moverse entre el problema restringido y el no restringido.

t^{*}

$t^*$

Editar: según lo solicitado, incluiré un análisis más concreto para la regresión de crestas, ya que captura las ideas principales y evita tener que lidiar con los tecnicismos asociados con la no diferenciabilidad de la penalización LASSO. Recuerde, estamos resolviendo el problema de optimización (en notación matricial):

\underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} s . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

Sea la solución OLS (es decir, cuando no hay restricción). Luego me enfocaré en el caso donde(siempre que esto exista) ya que de lo contrario, la restricción no es interesante ya que no se une. El lagrangiano para este problema se puede escribir Luego , al diferenciar , obtenemos condiciones de primer orden: que es solo un sistema de ecuaciones lineales y, por lo tanto, puede resolverse: $\beta^{OLS}$ $M < \left|\left|\beta^{OLS}\right|\right|$

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$

0 = - 2 (\sum_{i = 1}^{N} y_{i} x_{i} + (\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$

\hat{β} = {(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$ para alguna elección de multiplicador . El multiplicador se elige simplemente para hacer que la restricción sea verdadera, es decir, necesitamos

μ

$\mu$

{({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i}))}^{T} ({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ que existe ya que el LHS es monotónico en . Esta ecuación proporciona un mapeo explícito de multiplicadores a restricciones, con cuando existe el RHS y Esta asignación en realidad corresponde a algo bastante intuitivo. El teorema de la envoltura nos dice que

μ

$\mu$

μ \in (0, \infty)

$\mu \in (0,\infty)$

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$

μ (M)

$\mu(M)$ corresponde a la disminución marginal en el error que reciben de una pequeña relajación de la restricción . Esto explica por qué cuando corresponde a. Una vez que la restricción no es vinculante, ya no tiene valor relajarla, por lo que el multiplicador desaparece.

M

$M$

μ \to 0

$\mu \to 0$

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$

stats_model
fuente

¿podría proporcionarnos una respuesta detallada paso a paso con un ejemplo práctico si es posible?

jeza

muchas gracias, ¿por qué no mencionas KKT? No estoy familiarizado con esta área, así que trátame como un estudiante de secundaria.

jeza

Las condiciones de KKT en este caso son una generalización de las "condiciones de primer orden" que menciono al diferenciar el lagrangiano y establecer la derivada igual a 0. Dado que en este ejemplo, las restricciones se mantienen con igualdad, no necesitamos las condiciones de KKT en lleno en general. En casos más complicados, todo lo que sucede es que algunas de las igualdades anteriores se convierten en desigualdades y el multiplicador se convierte en 0 para que las restricciones se vuelvan no vinculantes. Por ejemplo, esto es exactamente lo que sucede cuandoen lo anterior

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$

stats_model

Hay un gran análisis por stats_model en su respuesta .

Traté de responder una pregunta similar en La prueba de fórmulas equivalentes de regresión de cresta .

Tomaré más enfoque Hand On para este caso.
Intentemos ver la asignación entre y en los 2 modelos. $t$ $\lambda$

Como escribí y se puede ver en stats_model en su análisis, la asignación depende de los datos. Por lo tanto, elegiremos una realización específica del problema. Sin embargo, el código y el bosquejo de la solución agregarán intuición a lo que está sucediendo.

Compararemos los siguientes 2 modelos:

The Regularized Model: \arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

The Constrained Model: \begin{aligned} \arg min_{x} & \frac{1}{2} {‖ A x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

Supongamos que sea la solución del modelo regularizado y para ser la solución del modelo restringido. $\hat{x}$ $\tilde{x}$

Estamos viendo la asignación de a modo que . Mirando mi solución para Solver for Norm Constraint Least Squares, uno podría ver que resolver el Modelo restringido implica resolver el Modelo regularizado y encontrar el que coincida con (El código real se presenta en Least Squares con Euclidean ( ) Restricción de la norma ). $t$ $\lambda$ $\hat{x} = \tilde{x}$
$\lambda$ $t$ ${L}_{2}$

Entonces ejecutaremos el mismo solucionador y para cada mostraremos la óptima . $t$ $\lambda$

El solucionador básicamente resuelve:

\begin{aligned} \arg_{λ} & λ \\ subject to & {‖ {(A^{T} A + 2 λ I)}^{- 1} A^{T} b ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

Así que aquí está nuestra matriz:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

Y aquí está nuestro vector:

Este es el mapeo:

Como se puede ver arriba, para un valor suficientemente alto de el parámetro como se esperaba. $t$ $\lambda = 0$

Acercamiento al rango [0, 10]:

El código completo está disponible en mi repositorio GitHub Q401212 validado cruzado de StackExchange .

Royi
fuente