Estoy realizando una regresión logística de red elástica en un conjunto de datos de atención médica usando el glmnetpaquete en R seleccionando valores lambda en una cuadrícula de de 0 a 1. Mi código abreviado está a continuación:$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

que genera el error cruzado medio validado para cada valor de alfa de a con un incremento de :$0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Según lo que he leído en la literatura, la elección óptima de es donde se minimiza el error de cv. Pero hay mucha variación en los errores en el rango de alfa. Estoy viendo varios mínimos locales, con un error mínimo global de for .$\alpha$0.1942612alpha=0.8

¿Es seguro ir con ellos alpha=0.8? O, dada la variación, ¿debería volver a ejecutar cv.glmnetcon más pliegues de validación cruzada (por ejemplo, lugar de$20$$10$ ) o tal vez un mayor número deincrementos$\alpha$ entrealpha=0.0y1.0para obtener una imagen clara de la ruta de error de cv?

Aclarando lo que se entiende por parámetros $\alpha$ y Elastic Net

Los diferentes paquetes usan terminología y parámetros diferentes, pero el significado es generalmente el mismo:

El paquete R Glmnet usa la siguiente definición

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn utiliza

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Hay parametrizaciones alternativas que utilizan $a$ y $b$ también.

Para evitar confusiones voy a llamar

• $\lambda$ el parámetro de fuerza de penalización
• L $L_1 \text{ratio}$ la relación entre lapenalización$L_1$ y$L_2$ , que varía de 0 (cresta) a 1 (lazo)

Visualizando el impacto de los parámetros

Considere un conjunto de datos simulados donde $y$ consiste en una curva senoidal ruidosa y $X$ es una característica bidimensional que consiste en $X_1 = x$ y $X_2 = x^2$ . Debido a la correlación entre $X_1$ y $X_2$ la función de costo es un valle estrecho.

Los gráficos a continuación ilustran la ruta de solución de la regresión elástica con dos parámetros de relación $L_1$ diferentes , en función de $\lambda$ el parámetro de fuerza.

• Para ambas simulaciones: cuando $\lambda = 0$ entonces la solución es la solución OLS en la parte inferior derecha, con la función de costo en forma de valle asociada.
• A medida que aumenta $\lambda$ , se inicia la regularización y la solución tiende a $(0,0)$
• La principal diferencia entre las dos simulaciones es el parámetro de relación $L_1$ .
• LHS : para una pequeña relación $L_1$ , la función de costo regularizado se parece mucho a la regresión de Ridge con contornos redondos.
• RHS : para una relación $L_1$ grande , la función de costo se parece mucho a la regresión de lazo con los contornos de forma de diamante típicos.
• Para la relación intermedia $L_1$ (no mostrada) la función de costo es una mezcla de los dos

Comprender el efecto de los parámetros.

ElasticNet se introdujo para contrarrestar algunas de las limitaciones del lazo que son:

• Si hay más variables $p$ que puntos de datos $n$ , $p>n$ , el lazo selecciona como máximo $n$ variables.
• Lasso no realiza la selección agrupada, especialmente en presencia de variables correlacionadas. Tiende a seleccionar una variable de un grupo e ignora las otras

$L_1$$L_2$

• $L_1$
• $L_2$$L_1$

Puede ver esto visualmente en el diagrama anterior, las singularidades en los vértices fomentan la dispersión , mientras que los bordes convexos estrictos fomentan la agrupación .

Aquí hay una visualización tomada de Hastie (el inventor de ElasticNet)

Otras lecturas

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-lasso-elastic-nets.pdf
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Permítanme agregar algunas observaciones muy prácticas a pesar de la antigüedad de la pregunta. Como no soy un usuario de R, no puedo dejar que el código hable, pero de todos modos debería ser comprensible.

1. $\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. Una ventaja del remuestreo es que puede inspeccionar la secuencia de puntajes de las pruebas, que aquí están los puntajes del cv. Siempre debe mirar no solo el promedio sino también la desviación estándar (no se distribuye normalmente, sino que actúa como si fuera). Por lo general, muestra esta palabra como 65.5% (± 2.57%) para mayor precisión. De esta manera puede saber si las "pequeñas desviaciones" son más probables por casualidad o estructuralmente. Mejor sería incluso inspeccionar el secuencias completas . Si siempre hay un pliegue por alguna razón, es posible que desee repensar la forma en que está haciendo su división (también sugiere un diseño experimental defectuoso: ¿barajó?). En scikit-learn, los GridSearchCVdetalles de las tiendas sobre los vencimientos de los pliegues cv_results_( ver aquí ).

3. $\alpha$$L_1$$\alpha$$L_2$