Nota: El caso es n >> p Estoy leyendo Elementos de aprendizaje estadístico y hay varias menciones sobre la forma "correcta" de hacer la validación cruzada (por ejemplo, página 60, página 245). Específicamente, mi pregunta es ¿cómo evaluar el modelo final (sin un conjunto de pruebas separado)...
He estado leyendo sobre la validación de k-fold, y quiero asegurarme de que entiendo cómo funciona. Sé que para el método de retención, los datos se dividen en tres conjuntos, y el conjunto de prueba solo se usa al final para evaluar el rendimiento del modelo, mientras que el conjunto de...
Tengo entendido que incluso cuando se siguen los procedimientos adecuados de validación cruzada y selección de modelos, se producirá un sobreajuste si se busca un modelo lo suficientemente difícil , a menos que se impongan restricciones en la complejidad del modelo, punto. Además, a menudo las...
Ejecuté una validación cruzada 10 veces en diferentes algoritmos de clasificación binaria, con el mismo conjunto de datos, y recibí resultados promediados Micro y Macro. Cabe mencionar que este fue un problema de clasificación de etiquetas múltiples. En mi caso, los verdaderos negativos y los...
Estoy confundido acerca de cómo dividir los datos para la validación cruzada k-fold del aprendizaje en conjunto. Suponiendo que tengo un marco de aprendizaje conjunto para la clasificación. Mi primera capa contiene los modelos de clasificación, por ejemplo, svm, árboles de decisión. Mi segunda...
Estoy probando diferentes clasificadores en un conjunto de datos donde hay 5 clases y cada instancia puede pertenecer a una o más de estas clases, así que estoy usando los clasificadores de etiquetas múltiples de scikit-learn, específicamente sklearn.multiclass.OneVsRestClassifier. Ahora quiero...
Dediqué mucho tiempo al desarrollo de métodos y software para validar modelos predictivos en el dominio estadístico frecuentista tradicional. Al poner en práctica más ideas bayesianas y enseñar, veo algunas diferencias clave que aceptar. Primero, el modelo predictivo bayesiano le pide al analista...
Dado un modelo jerárquico , quiero un proceso de dos etapas que se ajuste al modelo. Primero, arregle un puñado de hiperparámetros , y luego haga inferencia bayesiana en el resto de los parámetros . Para arreglar los hiperparámetros, estoy considerando dos opciones.θ ϕp ( x | ϕ , θ...
La precisión se define como: p = true positives / (true positives + false positives) ¿Es cierto que, como true positivesy false positivesenfoque 0, la precisión se aproxima a 1? La misma pregunta para recordar: r = true positives / (true positives + false negatives) Actualmente estoy...
Sé que realizar el ajuste de hiperparámetros fuera de la validación cruzada puede conducir a estimaciones sesgadas de validez externa, porque el conjunto de datos que usa para medir el rendimiento es el mismo que usó para ajustar las características. Lo que me pregunto es qué tan grave es este...
Dos enfoques comunes para seleccionar variables correlacionadas son las pruebas de significación y la validación cruzada. ¿Qué problema intenta resolver cada uno y cuándo preferiría uno sobre el
Me gustaría saber si existen algunas / algunas ventajas de usar el muestreo estratificado en lugar del muestreo aleatorio, al dividir el conjunto de datos original en un conjunto de entrenamiento y prueba para la clasificación. Además, ¿el muestreo estratificado introduce más sesgos en el...
Estoy usando libsvm en modo C-SVC con un núcleo polinomial de grado 2 y estoy obligado a entrenar múltiples SVM. Cada conjunto de entrenamiento tiene 10 características y 5000 vectores. Durante el entrenamiento, recibo esta advertencia para la mayoría de los SVM que entreno: WARNING: reaching max...
¿El caretpaquete R valida por ambos alphay lambdapara el glmnetmodelo? Ejecutando este código, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y =...
En los libros de texto y las conferencias de youtube aprendí mucho sobre modelos iterativos como el impulso, pero nunca vi nada acerca de derivar un intervalo de predicción. La validación cruzada se utiliza para lo siguiente: Selección de modelo : pruebe diferentes modelos y elija el que mejor...
Estoy ajustando un HLM bayesiano en JAGS usando k-fold cross-validation (k = 5). Me gustaría saber si las estimaciones del parámetro son estables en todos los pliegues. ¿Cuál es la mejor manera de hacer esto?ββ\beta Una idea es encontrar las diferencias de los posteriores de y ver si 0 está en el...
¿Puede ser útil la regularización si solo estamos interesados en estimar (e interpretar) los parámetros del modelo, no en el pronóstico o la predicción? Veo cómo la regularización / validación cruzada es extremadamente útil si su objetivo es hacer buenos pronósticos sobre nuevos datos. Pero,...
Tengo un conjunto de datos de 140000 ejemplos y 30 características para las que estoy entrenando a varios clasificadores para una clasificación binaria (SVM, Regresión logística, Bosque aleatorio, etc.) En muchos casos, el ajuste de hiperparámetros en todo el conjunto de datos mediante Grid o...
Tengo un conjunto de datos con N ~ 5000 y falta aproximadamente 1/2 en al menos una variable importante. El principal método analítico será el riesgo proporcional de Cox. Planeo usar la imputación múltiple. También me dividiré en un tren y un set de prueba. ¿Debo dividir los datos y luego...
Sé que para acceder al rendimiento del clasificador tengo que dividir los datos en un conjunto de entrenamiento / prueba. Pero leyendo esto : Al evaluar diferentes configuraciones ("hiperparámetros") para estimadores, como la configuración C que debe configurarse manualmente para un SVM, todavía...