Los datos organizados en categorías discretas o * clases * pueden presentar problemas para ciertos análisis si el número de observaciones ( norte n ) perteneciente a cada clase no es constante en todas las clases. Clases con desigual norte n están * desequilibrados *.
Bien, entonces creo que tengo una muestra lo suficientemente decente, teniendo en cuenta la regla general 20: 1: una muestra bastante grande (N = 374) para un total de 7 variables predictoras candidatas. Mi problema es el siguiente: cualquiera que sea el conjunto de variables predictoras que...
Ya teníamos varias preguntas sobre datos desequilibrados al usar regresión logística , SVM , árboles de decisión , embolsado y una serie de otras preguntas similares, ¡lo que lo convierte en un tema muy popular! Desafortunadamente, cada una de las preguntas parece ser específica del algoritmo y no...
Tengo un conjunto de datos en forma de (características, salida binaria 0 o 1), pero 1 ocurre muy raramente, por lo que al predecir siempre 0, obtengo una precisión entre 70% y 90% (dependiendo de los datos particulares que mire) ) Los métodos de ML me dan la misma precisión, y creo que debería...
Esta es una pregunta en general, no específica de ningún método o conjunto de datos. ¿Cómo lidiamos con un problema de desequilibrio de clase en el aprendizaje automático supervisado donde el número de 0 es alrededor del 90% y el número de 1 es alrededor del 10% en su conjunto de datos? ¿Cómo...
Soy nuevo en la minería de datos y estoy tratando de entrenar un árbol de decisión contra un conjunto de datos que está altamente desequilibrado. Sin embargo, estoy teniendo problemas con poca precisión predictiva. Los datos consisten en estudiantes que estudian cursos, y la variable de clase es...
Si tengo un conjunto de datos con una clase positiva muy rara, y reduzco la muestra de la clase negativa, luego realizo una regresión logística, ¿necesito ajustar los coeficientes de regresión para reflejar el hecho de que cambié la prevalencia de la clase positiva? Por ejemplo, supongamos que...
Últimamente he estado pensando mucho en el "problema de desequilibrio de clase" en el aprendizaje automático / estadístico, y me estoy adentrando cada vez más en un sentimiento de que simplemente no entiendo lo que está sucediendo. Primero déjame definir (o intentar) definir mis términos: El...
Tengo una tarea de clasificación en la que tengo varios predictores (uno de los cuales es el más informativo), y estoy usando el modelo MARS para construir mi clasificador (estoy interesado en cualquier modelo simple, y usar glms con fines ilustrativos sería bien también). Ahora tengo un gran...
Tuve un curso en línea, donde aprendí, que las clases desequilibradas en los datos de entrenamiento podrían ocasionar problemas, porque los algoritmos de clasificación siguen la regla de la mayoría, ya que da buenos resultados si el desequilibrio es demasiado. En una tarea, uno tenía que equilibrar...
Tengo un conjunto de datos muy desequilibrado. Estoy tratando de seguir los consejos y el uso de la optimización,scale_pos_weight pero no estoy seguro de cómo debo ajustarlo. Puedo ver que RegLossObj.GetGradientsí: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight entonces un gradiente...
Quiero hacer un modelo logístico a partir de los datos de mi encuesta. Es una pequeña encuesta de cuatro colonias residenciales en la que solo se entrevistó a 154 encuestados. Mi variable dependiente es "transición satisfactoria al trabajo". Descubrí que, de los 154 encuestados, 73 dijeron que...
En una pregunta reciente y bien recibida, Tim pregunta cuándo los datos desequilibrados son realmente un problema en Machine Learning . La premisa de la pregunta es que hay mucha literatura de aprendizaje automático que discute el equilibrio de la clase y el problema de las clases desequilibradas ....
Creo que una suposición básica del aprendizaje automático o la estimación de parámetros es que los datos invisibles provienen de la misma distribución que el conjunto de entrenamiento. Sin embargo, en algunos casos prácticos, la distribución del conjunto de prueba será casi diferente del conjunto...
Ha habido buenas preguntas sobre el manejo de datos desequilibrados en el contexto de clasificación , pero me pregunto qué hacen las personas para tomar muestras de regresión. Digamos que el dominio del problema es muy sensible al signo pero solo algo sensible a la magnitud del objetivo. Sin...
Trato con un problema de detección de fraude (similar a la calificación crediticia). Como tal, existe una relación altamente desequilibrada entre las observaciones fraudulentas y no fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html proporciona una excelente...
Quiero modelar una regresión logística con datos desequilibrados (9: 1). Quería probar la opción de pesos en la glmfunción en R, pero no estoy 100% seguro de lo que hace. Digamos que mi variable de salida es c(0,0,0,0,0,0,0,0,0,1). ahora quiero darle al "1" 10 veces más peso. entonces doy el...
¿Estoy en lo cierto al entender que el orden en que se especifican las variables en un ANOVA multifactorial hace la diferencia, pero que el orden no importa al hacer una regresión lineal múltiple? Asumiendo un resultado como la pérdida de sangre medida y y dos variables categóricas método de...
Estoy trabajando en datos gravemente desequilibrados. En la literatura, se utilizan varios métodos para reequilibrar los datos mediante re-muestreo (sobremuestreo o submuestreo). Dos buenos enfoques son: SMOTE: Técnica de sobremuestreo de minorías sintéticas ( SMOTE ) ADASYN: Enfoque de muestreo...
Acabo de terminar de leer esta discusión. Argumentan que PR AUC es mejor que ROC AUC en el conjunto de datos desequilibrados. Por ejemplo, tenemos 10 muestras en el conjunto de datos de prueba. 9 muestras son positivas y 1 es negativa. Tenemos un modelo terrible que predice todo lo positivo. Por...
Estoy lidiando con un problema de clasificación binaria supervisada. Me gustaría usar el paquete GBM para clasificar a las personas como no infectadas / infectadas. Tengo 15 veces más personas no infectadas que infectadas. Me preguntaba si los modelos GBM sufren en el caso de los tamaños de clase...