Mi colega y yo estamos ajustando una gama de modelos de efectos mixtos lineales y no lineales en R. Se nos pide que realicemos una validación cruzada en los modelos ajustados para poder verificar que los efectos observados son relativamente generalizables. Esta es normalmente una tarea trivial,...
Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con...
Estoy usando 2 tipos de regresión logística: uno es el tipo simple, para la clasificación binaria, y el otro es la regresión logística ordinal. Para calcular la precisión del primero, utilicé la validación cruzada, donde calculé el AUC para cada pliegue y luego calculé el AUC medio. ¿Cómo puedo...
En mínimos cuadrados ordinarios, regresando un vector objetivo yyy contra un conjunto de predictores XXX, la matriz del sombrero se calcula como H= X(XtX)- 1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t y la PRENSA (suma residual de cuadrados prevista) se calcula mediante SSPAGS=∑yo(miyo1 -hyo...
Tengo una pregunta sobre la selección del modelo y el rendimiento del modelo en regresión logística. Tengo tres modelos que se basan en tres hipótesis diferentes. Los primeros dos modelos (vamos a nombrarlos z y x) solo tienen una variable explicativa en cada modelo, y el tercero (vamos a llamarlo...
Estoy implementando validación cruzada y calculando métricas de error como RMSE, R2R2R^2 , MAE, MSE, etc. ¿Pueden RMSE y MAE tener el mismo
Estoy entrenando un clasificador binario SVM usando Scikit learn. Debido a la naturaleza de mi problema, necesito evitar falsos negativos. Como nada es gratis, estoy bien obteniendo una tasa más alta de falsos positivos para reducir la cantidad de falsos negativos. ¿Cómo podemos hacer eso...
Tuve una entrevista de trabajo para un puesto de ciencia de datos. Durante la entrevista, me preguntaron qué debo hacer para asegurarme de que el modelo no se ajuste demasiado. Mi primera respuesta fue utilizar la validación cruzada para evaluar el rendimiento del modelo. Sin embargo, el...
Esta puede ser una pregunta tonta, pero cuando se genera un modelo con cuidado y se usa algo como LOOCVo (aún más importante) LGOCV, ¿cuál es el beneficio de dividir los datos en trenes y conjuntos de pruebas si esto es esencialmente el paso de validación cruzada? lo hace de todos modos? Leí...
Mi libro de texto sobre validación cruzada es Los elementos del aprendizaje estadístico de Hastie et al. (2da ed.). En las secciones 7.10.1 y 7.12, hablan sobre la diferencia entre el error de prueba condicional y la prueba esperada error Aquí es el conjunto de datos de entrenamiento, es la función...
En esta página de Wikipedia en la subsección para la validación cruzada de K-fold dice "En la validación cruzada de k-fold, la muestra original se divide aleatoriamente en k submuestras de igual tamaño. De las k submuestras, se retiene una sola submuestra como datos de validación para prueba del...
Me doy cuenta de que hay 3 parámetros de ajuste en el modelo de árboles de refuerzo, es decir El número de árboles (número de iteraciones) parámetro de contracción Número de divisiones (tamaño de cada árbol constituyente) Mi pregunta es: para cada uno de los parámetros de ajuste, ¿cómo debo...
En Random Forest, cada árbol se cultiva en paralelo en una muestra boostrap única de los datos. Debido a que se espera que cada muestra de boostrap contenga aproximadamente el 63% de las observaciones únicas, esto deja aproximadamente el 37% de las observaciones, que se pueden usar para probar el...
Tengo algunos modelos predictivos cuyo rendimiento me gustaría probar (es decir, tomar mi conjunto de datos, "rebobinarlo" a un punto anterior en el tiempo y ver cómo el modelo hubiera funcionado de manera prospectiva). El problema es que algunos de mis modelos se construyeron a través de un...
La función R cv.glm (biblioteca: arranque) calcula el error estimado de predicción de validación cruzada K-fold para modelos lineales generalizados y devuelve delta. ¿Tiene sentido usar esta función para una regresión de lazo (biblioteca: glmnet) y, de ser así, ¿cómo se puede llevar a cabo? La...
Cuando utilizo k-fold CV para seleccionar entre los modelos de regresión, generalmente calculo el error CV por separado para cada modelo, junto con su error estándar SE, y selecciono el modelo más simple dentro de 1 SE del modelo con el error CV más bajo (el 1 regla de error estándar, ver por...
He leído clasificadores algebraicos: un enfoque genérico para la validación cruzada rápida, la capacitación en línea y la capacitación paralela, y me sorprendió el desempeño de los algoritmos derivados. Sin embargo, parece que más allá de Naive Bayes (y GBM) no hay muchos algoritmos adaptados al...
AIC se recomienda con frecuencia como criterio para comparar modelos para pronósticos de series de tiempo. Vea, por ejemplo, esto en el contexto de los modelos de regresión dinámica : El AIC se puede calcular para el modelo final, y este valor se puede usar para determinar los mejores...
Mi pregunta: ¿debería hacer CV incluso para un conjunto de datos relativamente grande? Tengo un conjunto de datos relativamente grande y aplicaré un algoritmo de aprendizaje automático al conjunto de datos. Como mi PC no es rápida, el CV (y la búsqueda en la cuadrícula) a veces lleva demasiado...
En Los elementos del aprendizaje estadístico , he encontrado la siguiente declaración: Hay una calificación: los pasos iniciales de detección no supervisada se pueden realizar antes de dejar muestras. Por ejemplo, podríamos seleccionar los 1000 predictores con la mayor varianza en las 50...