Métodos y principios para seleccionar un subconjunto de atributos para usar en modelos adicionales
Me gustaría implementar un algoritmo para la selección automática de modelos. Estoy pensando en hacer una regresión gradual, pero cualquier cosa servirá (aunque debe basarse en regresiones lineales). Mi problema es que no puedo encontrar una metodología o una implementación de código abierto...
Estoy empezando a incursionar con el uso de glmnetla LASSO regresión donde mi resultado de interés es dicotómica. He creado un pequeño marco de datos simulados a continuación: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84,...
He estado leyendo Elementos de aprendizaje estadístico , y me gustaría saber por qué el Lazo proporciona selección de variables y la regresión de crestas no. Ambos métodos minimizan la suma residual de cuadrados y tienen una restricción sobre los posibles valores de los parámetros . Para Lasso, la...
Estoy un poco confundido acerca de la selección de funciones y el aprendizaje automático y me preguntaba si podrían ayudarme. Tengo un conjunto de datos de microarrays que se clasifica en dos grupos y tiene miles de características. Mi objetivo es obtener una pequeña cantidad de genes (mis...
Recientemente he estado leyendo mucho en este sitio (@Aniko, @Dikran Marsupial, @Erik) y en otros lugares sobre el problema del sobreajuste que ocurre con la validación cruzada - (Smialowski et al 2010 Bioinformática, Hastie, Elementos de aprendizaje estadístico). La sugerencia es que cualquier...
Esta pregunta se hizo en CV hace algunos años, parece que vale la pena volver a publicar a la luz de 1) orden de magnitud mejor tecnología informática (por ejemplo, computación paralela, HPC, etc.) y 2) técnicas más nuevas, por ejemplo [3]. Primero, un poco de contexto. Supongamos que el objetivo...
Por lo que sé, usar el lazo para la selección de variables maneja el problema de las entradas correlacionadas. Además, dado que es equivalente a la regresión de ángulo mínimo, no es lenta computacionalmente. Sin embargo, muchas personas (por ejemplo, personas que conozco haciendo bioestadística)...
¿En qué circunstancias desearía, o no, escalar o estandarizar una variable antes del ajuste del modelo? ¿Y cuáles son las ventajas / desventajas de escalar una
Antecedentes Estoy haciendo investigación clínica en medicina y he tomado varios cursos de estadística. Nunca publiqué un artículo usando regresión lineal / logística y me gustaría hacer la selección de variables correctamente. La interpretabilidad es importante, por lo que no es necesario...
Soy nuevo en la selección de funciones y me preguntaba cómo usaría PCA para realizar la selección de funciones. ¿PCA calcula una puntuación relativa para cada variable de entrada que puede usar para filtrar variables de entrada no informativas? Básicamente, quiero poder ordenar las características...
Dado que RF puede manejar la no linealidad pero no puede proporcionar coeficientes, ¿sería prudente utilizar un bosque aleatorio para reunir las características más importantes y luego conectar esas características en un modelo de regresión lineal múltiple para obtener sus coeficientes?...
Considero el problema de la clasificación (multiclase) basada en series de tiempo de longitud variable TTT , es decir, encontrar una función f(XT)=y∈[1..K]for XT=(x1,…,xT)with xt∈Rd ,f(XT)=y∈[1..K]for XT=(x1,…,xT)with xt∈Rd ,f(X_T) = y \in [1..K]\\ \text{for } X_T = (x_1, \dots, x_T)\\ \text{with...
Estoy tratando de interpretar los pesos variables dados ajustando un SVM lineal. (Estoy usando scikit-learn ): from sklearn import svm svm = svm.SVC(kernel='linear') svm.fit(features, labels) svm.coef_ No puedo encontrar nada en la documentación que indique específicamente cómo se calculan o...
Lo siento si esta pregunta es un poco básica. Estoy buscando utilizar la selección de variables LASSO para un modelo de regresión lineal múltiple en R. Tengo 15 predictores, uno de los cuales es categórico (¿eso causará un problema?). Después de configurar mi e utilizo los siguientes...
Soy un estudiante de economía con algo de experiencia con econometría y R. Me gustaría saber si alguna vez hay una situación en la que deberíamos incluir una variable en una regresión a pesar de que no sea estadísticamente
¿Cuál es la intuición detrás del hecho de que una SVM con un núcleo gaussiano tiene un espacio de características dimensionales
Actualmente estoy trabajando para construir un modelo usando una regresión lineal múltiple. Después de jugar con mi modelo, no estoy seguro de cómo determinar mejor qué variables mantener y cuáles eliminar. Mi modelo comenzó con 10 predictores para el DV. Al usar los 10 predictores, cuatro se...
¿Cómo obtener una importancia variable (atributo) usando SVM?
En un conjunto de datos de dos poblaciones no superpuestas (pacientes y sanos, total n = 60n=60n=60 ), me gustaría encontrar (de 300300300 variables independientes) predictores significativos para una variable dependiente continua. La correlación entre predictores está presente. Estoy interesado en...
Los procedimientos comunes de selección de variables basadas en datos (por ejemplo, hacia adelante, hacia atrás, paso a paso, todos los subconjuntos) tienden a generar modelos con propiedades indeseables, que incluyen: Coeficientes sesgados lejos de cero. Errores estándar que son demasiado...