Quiero intentar usar Support Vector Machines (SVM) en mi conjunto de datos. Sin embargo, antes de intentar el problema, me advirtieron que los SVM no funcionan bien en datos extremadamente desequilibrados. En mi caso, puedo tener tanto como 95-98% 0's y 2-5% 1's. Traté de encontrar recursos que...
Tengo un conjunto de datos con unos pocos millones de filas y ~ 100 columnas. Me gustaría detectar aproximadamente el 1% de los ejemplos en el conjunto de datos, que pertenecen a una clase común. Tengo una restricción de precisión mínima, pero debido al costo muy asimétrico, no estoy muy interesado...
Me preguntaba si alguien podría explicar la diferencia entre la precisión equilibrada que es b_acc = (sensitivity + specificity)/2 y puntaje f1 que es: f1 = 2*precision*recall/(precision + recall)
¿SVM maneja el conjunto de datos desequilibrado? ¿Hay algún parámetro (como C o costo de clasificación errónea) que maneja el conjunto de datos
En primer lugar, me gustaría describir algunos diseños comunes que usan los libros de minería de datos que explican cómo tratar con conjuntos de datos no balanceados . Por lo general, la sección principal se denomina Conjuntos de datos no balanceados y cubren estas dos subsecciones: Clasificación...
Estoy tratando de aumentar el gradiente en un conjunto de datos con una tasa de eventos de aproximadamente 1% usando Enterprise miner, pero no produce ningún resultado. Mi pregunta es, dado que es un enfoque basado en un árbol de decisión, ¿es correcto usar el aumento de gradiente con un evento tan...
PREFACIO: No me importan los méritos de usar un límite o no, ni cómo se debe elegir un límite. Mi pregunta es puramente matemática y debido a la curiosidad. La regresión logística modela la probabilidad condicional posterior de la clase A versus la clase B y se ajusta a un hiperplano donde las...
Estoy tratando de resolver una tarea llamada detección de peatones y entreno clasifer binario en dos categorías positivas - personas, negativas - antecedentes. Tengo un conjunto de datos: cantidad de positivos = 3752 número de negativos = 3800 Uso train \ test split 80 \ 20% y...
Actualmente me encuentro con algunos problemas al analizar un conjunto de datos de tweets con máquinas de vectores de soporte. El problema es que tengo un conjunto de entrenamiento de clase binaria desequilibrado (5: 2); que se espera que sea proporcional a la distribución de clase real. Al...
Me gustaría probar mi modelo entrenado en un conjunto de datos desequilibrado. ¿Hay algún algoritmo disponible para generar datos sintéticos a partir de un conjunto de datos etiquetado equilibrado (spam / no
Estoy tratando de hacer un detector de objetos que ocurren muy raramente (en imágenes), planeando usar un clasificador binario CNN aplicado en una ventana deslizante / redimensionada. He construido entrenamientos balanceados positivos y negativos 1: 1 y conjuntos de pruebas (¿es correcto hacerlo en...
Estoy realizando un análisis sobre la probabilidad de incumplimiento de préstamo utilizando regresión logística y bosques aleatorios. Cuando uso la regresión logística, la predicción siempre es '1' (lo que significa un buen préstamo). Nunca he visto esto antes, y no sé por dónde empezar en...
Considere una matriz de entrada y una salida binaria y .XXXyyy Una forma común de medir el rendimiento de un clasificador es usar curvas ROC. En una gráfica ROC, la diagonal es el resultado que se obtendría de un clasificador aleatorio. En caso de una salida no balanceada el rendimiento de un...
Entiendo que la medida f (basada en la precisión y el recuerdo) es una estimación de la precisión de un clasificador. Además, la medida f se ve favorecida sobre la precisión cuando tenemos un conjunto de datos desequilibrado. Tengo una pregunta simple (que trata más sobre el uso de la terminología...
Me gustaría realizar una combinación de sobremuestreo y submuestreo para equilibrar mi conjunto de datos con aproximadamente 4000 clientes divididos en dos grupos, donde uno de los grupos tiene una proporción de aproximadamente el 15%. He examinado SMOTE (
Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con...
1) ¿Cómo puedo cambiar el umbral de clasificación (creo que es 0.5 por defecto) en RandomForest en sklearn? 2) ¿cómo puedo submuestrear en sklearn? 3) Tengo el siguiente resultado del clasificador RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64...
Estoy tratando de usar SMOTE para corregir el desequilibrio en mi problema de clasificación de varias clases. Aunque SMOTE funciona perfectamente en el conjunto de datos de iris según el documento de ayuda de SMOTE, no funciona en un conjunto de datos similar. Así es como se ven mis datos. Tenga en...
Estoy tratando de construir un modelo de predicción con SVM en datos bastante desequilibrados. Mis etiquetas / resultados tienen tres clases, positiva, neutral y negativa. Yo diría que el ejemplo positivo representa alrededor del 10-20% de mis datos, neutral alrededor del 50-60% y negativo...
He etiquetado los datos compuestos por 10000 ejemplos positivos y 50000 ejemplos negativos, dando un total de 60000 ejemplos. Obviamente estos datos están desequilibrados. Ahora digamos que quiero crear mi conjunto de validación, y quiero usar el 10% de mis datos para hacerlo. Mi pregunta es la...