Estoy usando 2 tipos de regresión logística: uno es el tipo simple, para la clasificación binaria, y el otro es la regresión logística ordinal. Para calcular la precisión del primero, utilicé la validación cruzada, donde calculé el AUC para cada pliegue y luego calculé el AUC medio. ¿Cómo puedo...
En mínimos cuadrados ordinarios, regresando un vector objetivo yyy contra un conjunto de predictores XXX, la matriz del sombrero se calcula como H= X(XtX)- 1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t y la PRENSA (suma residual de cuadrados prevista) se calcula mediante SSPAGS=∑yo(miyo1 -hyo...
Supongamos que tengo una muestra de frecuencias de 4 eventos posibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 y tengo las probabilidades esperadas de que ocurran mis eventos: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la suma de las frecuencias observadas de mis cuatro eventos (18) puedo calcular las...
Tuve una entrevista de trabajo para un puesto de ciencia de datos. Durante la entrevista, me preguntaron qué debo hacer para asegurarme de que el modelo no se ajuste demasiado. Mi primera respuesta fue utilizar la validación cruzada para evaluar el rendimiento del modelo. Sin embargo, el...
Esta puede ser una pregunta tonta, pero cuando se genera un modelo con cuidado y se usa algo como LOOCVo (aún más importante) LGOCV, ¿cuál es el beneficio de dividir los datos en trenes y conjuntos de pruebas si esto es esencialmente el paso de validación cruzada? lo hace de todos modos? Leí...
Tengo un modelo de regresión simple ( y = param1 * x1 + param2 * x2 ). Cuando ajusto el modelo a mis datos, encuentro dos buenas soluciones: La solución A, params = (2,7), es mejor en el conjunto de entrenamiento con RMSE = 2.5 ¡PERO! Solución B params = (24,20) gana mucho en el conjunto de...
Mi libro de texto sobre validación cruzada es Los elementos del aprendizaje estadístico de Hastie et al. (2da ed.). En las secciones 7.10.1 y 7.12, hablan sobre la diferencia entre el error de prueba condicional y la prueba esperada error Aquí es el conjunto de datos de entrenamiento, es la función...
Estoy implementando validación cruzada y calculando métricas de error como RMSE, R2R2R^2 , MAE, MSE, etc. ¿Pueden RMSE y MAE tener el mismo
Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con...
Me doy cuenta de que hay 3 parámetros de ajuste en el modelo de árboles de refuerzo, es decir El número de árboles (número de iteraciones) parámetro de contracción Número de divisiones (tamaño de cada árbol constituyente) Mi pregunta es: para cada uno de los parámetros de ajuste, ¿cómo debo...
Supongamos que en un análisis de regresión en R, tengo una variable independiente del tipo de factor con 3 niveles en mi conjunto de datos del tren. Pero en el conjunto de datos de prueba, esa misma variable de factor tiene 5 niveles. Por lo tanto, no puedo predecir los valores de respuesta para el...
En Random Forest, cada árbol se cultiva en paralelo en una muestra boostrap única de los datos. Debido a que se espera que cada muestra de boostrap contenga aproximadamente el 63% de las observaciones únicas, esto deja aproximadamente el 37% de las observaciones, que se pueden usar para probar el...
Tengo algunos modelos predictivos cuyo rendimiento me gustaría probar (es decir, tomar mi conjunto de datos, "rebobinarlo" a un punto anterior en el tiempo y ver cómo el modelo hubiera funcionado de manera prospectiva). El problema es que algunos de mis modelos se construyeron a través de un...
La función R cv.glm (biblioteca: arranque) calcula el error estimado de predicción de validación cruzada K-fold para modelos lineales generalizados y devuelve delta. ¿Tiene sentido usar esta función para una regresión de lazo (biblioteca: glmnet) y, de ser así, ¿cómo se puede llevar a cabo? La...
Cuando utilizo k-fold CV para seleccionar entre los modelos de regresión, generalmente calculo el error CV por separado para cada modelo, junto con su error estándar SE, y selecciono el modelo más simple dentro de 1 SE del modelo con el error CV más bajo (el 1 regla de error estándar, ver por...
Leí las dos páginas de wikipedia sobre análisis de sensibilidad y validación de modelos (aquí, solo validación de regresión lineal) pero no logro encontrar una manera de separar estos dos términos. Tengo la impresión de que el primero se usa más en la academia y la ingeniería en general y el...
He leído clasificadores algebraicos: un enfoque genérico para la validación cruzada rápida, la capacitación en línea y la capacitación paralela, y me sorprendió el desempeño de los algoritmos derivados. Sin embargo, parece que más allá de Naive Bayes (y GBM) no hay muchos algoritmos adaptados al...
AIC se recomienda con frecuencia como criterio para comparar modelos para pronósticos de series de tiempo. Vea, por ejemplo, esto en el contexto de los modelos de regresión dinámica : El AIC se puede calcular para el modelo final, y este valor se puede usar para determinar los mejores...
Mi pregunta: ¿debería hacer CV incluso para un conjunto de datos relativamente grande? Tengo un conjunto de datos relativamente grande y aplicaré un algoritmo de aprendizaje automático al conjunto de datos. Como mi PC no es rápida, el CV (y la búsqueda en la cuadrícula) a veces lleva demasiado...
En Los elementos del aprendizaje estadístico , he encontrado la siguiente declaración: Hay una calificación: los pasos iniciales de detección no supervisada se pueden realizar antes de dejar muestras. Por ejemplo, podríamos seleccionar los 1000 predictores con la mayor varianza en las 50...