Mi pregunta: ¿debería hacer CV incluso para un conjunto de datos relativamente grande? Tengo un conjunto de datos relativamente grande y aplicaré un algoritmo de aprendizaje automático al conjunto de datos. Como mi PC no es rápida, el CV (y la búsqueda en la cuadrícula) a veces lleva demasiado...
En Los elementos del aprendizaje estadístico , he encontrado la siguiente declaración: Hay una calificación: los pasos iniciales de detección no supervisada se pueden realizar antes de dejar muestras. Por ejemplo, podríamos seleccionar los 1000 predictores con la mayor varianza en las 50...
En los estudios de psicología aprendí que deberíamos usar el método de Bonferroni para ajustar el nivel de significancia al probar varias hipótesis en un solo conjunto de datos. Actualmente estoy trabajando con métodos de aprendizaje automático como Support Vector Machines o Random Forest para la...
He etiquetado los datos compuestos por 10000 ejemplos positivos y 50000 ejemplos negativos, dando un total de 60000 ejemplos. Obviamente estos datos están desequilibrados. Ahora digamos que quiero crear mi conjunto de validación, y quiero usar el 10% de mis datos para hacerlo. Mi pregunta es la...
Tuve una entrevista de trabajo para un puesto de ciencia de datos. Durante la entrevista, me preguntaron qué debo hacer para asegurarme de que el modelo no se ajuste demasiado. Mi primera respuesta fue utilizar la validación cruzada para evaluar el rendimiento del modelo. Sin embargo, el...
Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con...
Estoy entrenando un clasificador binario SVM usando Scikit learn. Debido a la naturaleza de mi problema, necesito evitar falsos negativos. Como nada es gratis, estoy bien obteniendo una tasa más alta de falsos positivos para reducir la cantidad de falsos negativos. ¿Cómo podemos hacer eso...
Tengo un modelo de regresión simple ( y = param1 * x1 + param2 * x2 ). Cuando ajusto el modelo a mis datos, encuentro dos buenas soluciones: La solución A, params = (2,7), es mejor en el conjunto de entrenamiento con RMSE = 2.5 ¡PERO! Solución B params = (24,20) gana mucho en el conjunto de...
Recientemente vi esta charla de Eric J. Ma y revisé su entrada de blog , donde cita a Radford Neal, que los modelos bayesianos no se sobreajustan (pero pueden sobreajustar ) y cuando los usamos , no necesitamos conjuntos de prueba para validarlos (para Me parece que las citas hablan más bien sobre...
He buscado esto en línea durante horas, pero ninguna de las publicaciones en línea es lo que estoy buscando. Mi pregunta es muy fácil de implementar en el procedimiento mixto SAS Proc, pero no estoy seguro de cómo hacerlo en los paquetes lme y / o lmer. Supongamos que tengo un...
Estoy trabajando en un modelo de pronóstico basado en ANN para una serie de tiempo financiera. Estoy usando 5 veces la validación cruzada y el rendimiento promedio es regular. El rendimiento en el último pliegue (la iteración donde el último segmento se omite del entrenamiento y se usa para la...
Leí en este intercambio un método heurístico para estimar gamma para el kernel rbf en SVM. Me preguntaba si alguien podría explicármelo con un poco más de detalle. Creo que selecciona 1000 (o una gran cantidad) de pares de puntos de datos del conjunto de datos y luego calcula la norma para la...
Estoy usando la regresión vectorial de soporte para modelar algunos datos bastante sesgados (con curtosis alta). Intenté modelar los datos directamente, pero estoy obteniendo predicciones erróneas, creo que principalmente debido a la distribución de los datos, que está sesgada con colas muy...
Tenemos un pequeño conjunto de datos (alrededor de 250 muestras * 100 características) en el que queremos construir un clasificador binario después de seleccionar el mejor subconjunto de características. Digamos que dividimos los datos en: Entrenamiento, Validación y Pruebas Para la selección de...
He leído que la validación cruzada de dejar uno fuera proporciona una estimación relativamente "imparcial del verdadero rendimiento de generalización" (por ejemplo, aquí ) y que esta es una propiedad ventajosa del CV de dejar uno fuera. Sin embargo, no veo cómo esto se deduce de las propiedades...
Tengo un problema de regresión con 5-6k variables. Divido mis datos en 3 conjuntos no superpuestos: capacitación, validación y pruebas. Entreno usando solo el conjunto de entrenamiento y genero muchos modelos de regresión lineal diferentes eligiendo un conjunto diferente de 200 variables para cada...
Tengo un pequeño conjunto de datos no balanceados (70 positivos, 30 negativos), y he estado jugando con la selección del modelo para los parámetros SVM usando BAC (precisión equilibrada) y AUC (área bajo la curva). Utilicé diferentes pesos de clase para el parámetro C en libSVM para compensar los...
Actualmente estoy usando una parada temprana en mi trabajo para evitar un ajuste excesivo. Específicamente, los que se tomaron antes de parar pero ¿cuándo? . Ahora quiero comparar con otros algoritmos de clasificación donde parece que la validación cruzada 10 veces se usa ampliamente. Sin...
Realicé el lazo y luego dejé una validación cruzada cv<-cv.glmnet(df, df$Price, nfolds = 1500) Cuando trazo cv me sale lo siguiente: También noté que obtengo 2 lambdas diferentes: lambda.minylambda.1se ¿Cuál es la diferencia entre estas lambdas? ¿Qué puedo entender de la gráfica anterior...
En general, si tenemos un gran conjunto de datos, podemos dividirlo en (1) capacitación, (2) validación y (3) prueba. Utilizamos la validación para identificar los mejores hiperparámetros en la validación cruzada (por ejemplo, C en SVM) y luego entrenamos el modelo usando los mejores...