Estoy tratando de ver si elegir la regresión de cresta , LASSO , la regresión de componentes principales (PCR) o los mínimos cuadrados parciales (PLS) en una situación en la que hay un gran número de variables / características ( ) y un menor número de muestras ( ), y mi objetivo es la...
He leído los libros más populares sobre aprendizaje estadístico. 1- Los elementos del aprendizaje estadístico. 2- Una introducción al aprendizaje estadístico . Ambos mencionan que la regresión de crestas tiene dos fórmulas que son equivalentes. ¿Existe una prueba matemática comprensible de este...
Soy nuevo en el glmnetpaquete y todavía no estoy seguro de cómo interpretar los resultados. ¿Podría alguien ayudarme a leer el siguiente diagrama de seguimiento? El gráfico se estaba obteniendo ejecutando lo siguiente: library(glmnet) return <-
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 3 años . Estoy construyendo una regresión logística en R...
¿Hay resultados analíticos o documentos experimentales con respecto a la elección óptima del coeficiente del término de penalización ℓ1ℓ1\ell_1 ? Por óptimo , me refiero a un parámetro que maximiza la probabilidad de seleccionar el mejor modelo, o que minimiza la pérdida esperada. Pregunto porque a...
Me he estado preguntando, ¿por qué los métodos de selección de modelos LASSO y LARS son tan populares a pesar de que son básicamente variaciones de la selección progresiva (y por lo tanto sufren de dependencia de ruta)? Del mismo modo, ¿por qué los métodos de General a Específico (GETS) para la...
Me gustaría crear un bosque aleatorio usando el siguiente proceso: Construya un árbol en muestras aleatorias de los datos y características usando la ganancia de información para determinar divisiones Termine un nodo de hoja si excede una profundidad predefinida O cualquier división daría como...
Mi comprensión general es que AIC trata con el equilibrio entre la bondad de ajuste del modelo y la complejidad del modelo. Un yoC= 2 k - 2 l n ( L )UNyoC=2k-2lnorte(L)AIC =2k -2ln(L) kkk = número de parámetros en el modelo LLL = probabilidad El criterio de información bayesiano BIC está...
¿Cuál es la complejidad asintótica del tiempo de la regresión Lasso a medida que crece el número de filas o
Defina la estimación del lazo donde la i ^ {th} fila x_i \ in \ mathbb {R} ^ p de la matriz de diseño X \ in \ mathbb {R} ^ {n \ times p} es un vector de covariables para explicar la respuesta estocástica y_i (para i = 1, \ puntos n
¿Cuáles son los pros y los contras de usar LARS [1] versus usar el descenso coordinado para ajustar la regresión lineal regularizada por L1? Estoy principalmente interesado en los aspectos de rendimiento (mis problemas tienden a tener Ncientos de miles y p<20). Sin embargo, cualquier otra...
Me gustaría obtener los coeficientes para el problema LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. El problema es que las funciones glmnet y lars dan respuestas diferentes. Para la función glmnet pido los coeficientes de en lugar de solo λ , pero aún obtengo...
La Tabla 18.1 en los Elementos del aprendizaje estadístico resume el rendimiento de varios clasificadores en un conjunto de datos de 14 clases. Estoy comparando un nuevo algoritmo con el lazo y la red elástica para tales problemas de clasificación multiclase. glmnetL1L1L_1 Tenga en cuenta que al...
Hay varios documentos matemáticos que describen el lazo bayesiano, pero quiero probar el código JAGS correcto que puedo usar. ¿Alguien podría publicar código BUGS / JAGS de muestra que implemente la regresión logística regularizada? Cualquier esquema (L1, L2, Elasticnet) sería genial, pero se...
Estoy usando el paquete 'lars' en R con el siguiente código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...
Una de las motivaciones para la red elástica fue la siguiente limitación de LASSO: En el caso , el lazo selecciona como máximo n variables antes de saturarse, debido a la naturaleza del problema de optimización convexa. Esto parece ser una característica limitante para un método de selección...
He leído que el lazo de grupo se usa para la selección de variables y la dispersión en un grupo de variables. Quiero saber la intuición detrás de esta afirmación. ¿Por qué se prefiere el lazo grupal al lazo? ¿Por qué la ruta de solución de lazo grupal no es lineal por...
\newcommand{\diag}{\operatorname{diag}}Tenemos el problema: suponiendo que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle...
Estoy buscando un código abierto o una biblioteca existente que pueda usar. Por lo que digo, el paquete glmnet no es fácilmente extensible para cubrir el caso no negativo. Puedo estar equivocado, cualquiera con alguna idea muy apreciada. Por no negativo quiero decir que todos los coeficientes...
Estoy leyendo sobre la mejor selección de subconjuntos en el libro Elementos de aprendizaje estadístico. Si tengo 3 predictores x1,x2,x3x1,x2,x3x_1,x_2,x_3 , creo 23=823=82^3=8 subconjuntos: Subconjunto sin predictores subconjunto con predictor x1x1x_1 subconjunto con predictorx2x2x_2 subconjunto...