¿Existe un conjunto claro de condiciones bajo las cuales las rutas de lazo, cordón o solución de red elástica son monótonas?

La pregunta ¿Qué concluir de este diagrama de lazo (glmnet) demuestra caminos de solución para el estimador de lazo que no son monótonos? Es decir, algunos de los cofficientes crecen en valor absoluto antes de reducirse.

He aplicado estos modelos a varios tipos diferentes de conjuntos de datos y nunca he visto este comportamiento "en la naturaleza", y hasta hoy había asumido que siempre eran monótonos.

¿Existe un conjunto claro de condiciones bajo las cuales se garantiza que las rutas de solución sean monótonas? ¿Afecta la interpretación de los resultados si las rutas cambian de dirección?

lasso ridge-regression elastic-net Shadowtalker
fuente

Monótono en qué sentido? No me parece muy significativo si quieres tratarlo como un gráfico de alguna función.

Henry.L

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

nota: entender la forma en que el lazo reduce los coeficientes es el tema de esta pregunta y de stats.stackexchange.com/questions/145299/…

user795305

No sé cómo me perdí esto antes, la pregunta se responde por lazo en la respuesta del OP a su propia pregunta en la pregunta anterior.

user795305

Respuestas:

Te puedo dar una suficiente condición para la ruta a ser monótona: un diseño ortonormal de $X$ .

Supongamos una matriz de diseño ortonormal, es decir, con variables en , tenemos que . Con un diseño ortonormal, los coeficientes de regresión de OLS son simplemente . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Las condiciones de Karush-Khun-Tucker para LASSO se simplifican así a:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Donde es el subdegradado. Por lo tanto, para cada tenemos que , y nosotros tener una solución de forma cerrada para las estimaciones de lazo: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Lo cual es monótono en . Si bien esto no es una condición necesaria, vemos que la no monotonicidad debe venir de la correlación de las covariables en . $\lambda$ $X$

Carlos Cinelli
fuente