Red elástica grupal

El lazo y la red elástica no pueden manejar variables con más de dos categorías y, por lo tanto, es necesaria una división de variables categóricas en dummies para la aplicación de estos métodos. Esto puede dar lugar a varios problemas y, por lo tanto, existen extensiones para el lazo al grupo o al grupo disperso .

Sin embargo, me pregunto si tales extensiones también existen para la red elástica. Desafortunadamente, no pude encontrar ninguna literatura estadística sobre el tema.

Pregunta: ¿Existe una red elástica grupal?

machine-learning categorical-data feature-selection lasso elastic-net JSP
fuente

Mira el paquete glmnet de R ...

kjetil b halvorsen

Sí, creo que eso es correcto.

kjetil b halvorsen

En un sentido muy real, esta "red elástica grupal" es solo una versión del "lazo de grupo" donde los grupos pueden superponerse. Por ejemplo, si es su conjunto de grupos, ejecute el lazo de grupo en , donde consideramos que hay características . Esto será equivalente a la red elástica del grupo hasta una nueva parametrización del parámetro de ajuste que controla .

G

$\mathcal{G}$

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{ \{1, \dots, p\} \}$

p

$p$

{1, \dots, p}

$\{1, \dots, p\}$

user795305

El conjunto ya no es una partición, a diferencia de sí. (Este es el comentario superpuesto.) La parte sobre la diferente parametrización solo se relaciona con la función objetivo que discuto como una reparametrización de la que probablemente esté discutiendo. Este comentario puede ser ignorado en gran medida. Además, el procedimiento que recomienda @kjetilbhalvorsen no parece ser correcto. La agrupación discutida allí es para cuando hay una respuesta multivariada. Eso es diferente. Sin embargo, puede, por ejemplo, usar el paquete para hacer esto.

G \cup {{1, \dots, p}}

$\mathcal{G} \cup \{\{1, \dots, p\}\}$

G

$\mathcal{G}$ gglasso

user795305

(Nota: no ponga un espacio después de la "@", de lo contrario el usuario no

será

Deje que sea la agrupación que le interesa; es decir, dejemos que sea una partición de , donde consideramos que hay características . Con la respuesta matriz de diseño , el estimador de lazo de grupo esAplicando otra penalización al cuadrado para inducir una contracción general, obtendríamos el estimador $\mathcal{G}$ $\mathcal{G}$ $\{1, \dots, p\}$ $p$ $y \in \mathbb{R}^n$ $X \in \mathbb{R}^{n \times p}$

\arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2.$

ℓ_{2}

$\ell_2$

\arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} .

$\arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2.$ Podríamos llamar a esto la "red elástica de grupo". Por la dualidad lagrangiana, podemos escribir

\begin{aligned} \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + μ ‖ β ‖_{2}^{2} \\ = \arg min_{β \in R^{p} : ‖ β ‖_{2}^{2} \leq C} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = \arg min_{β \in R^{p} : ‖ β ‖_{2} \leq \sqrt{C}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} \\ = \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + \tilde{μ} ‖ β ‖_{2} \\ = \arg min_{β \in R^{p}} & \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + (λ \sum_{g \in G} | G |^{1 / 2} ‖ β_{g} ‖_{2} + {\tilde{μ}}^{'} p^{1 / 2} ‖ β ‖_{2}), \end{aligned}

$\begin{align*} \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \mu \|\beta\|_2^2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2^2 \leq C} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p \, : \, \|\beta\|_2 \leq \sqrt{C}} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu \|\beta\|_2 \\ = \, \arg\min_{\beta \in \mathbb{R}^p} & \frac{1}{2n} \|y - X \beta \|_2^2 + \left( \lambda \sum_{g \in \mathcal{G}} |\mathcal{G}|^{1/2} \|\beta_g\|_2 + \tilde\mu' p^{1/2} \|\beta\|_2 \right), \end{align*}$ donde es la variable dual correspondiente y . Como podemos ver, esta última expresión es un lazo de grupo con grupos "superpuestos", ya que ya no es una partición. Además, el grupo tiene una variable dual (o variable de ajuste) que es distinta de la variable dual para los otros grupos.

\tilde{μ}

$\tilde\mu$

{\tilde{μ}}^{'} = p^{- 1 / 2} \tilde{μ}

$\tilde\mu' = p^{-1/2} \tilde\mu$

G \cup {1, \dots, p}

$\mathcal{G} \cup \{1, \dots, p\}$

{1, \dots, p}

$\{1, \dots, p\}$

\tilde{μ}

$\tilde\mu$

λ

$\lambda$

Este puede ser un problema de optimización que se puede resolver utilizando el paquete gglasso. La lectura de la sección en la página 9 de la documentación aquí le informará sobre la gglassofunción, que debe usarse. Tenga en cuenta que el argumento pmaxdeberá proporcionarse manualmente con un último componente que servirá como parámetro de ajuste.

usuario795305
fuente

Red elástica grupal

Respuestas: