Estaba empezando a mirar el área bajo la curva (AUC) y estoy un poco confundido acerca de su utilidad. Cuando me lo explicaron por primera vez, el AUC parecía ser una gran medida de rendimiento, pero en mi investigación descubrí que algunos afirman que su ventaja es mayormente marginal, ya que es...
Una técnica común después de entrenar, validar y probar el modelo de preferencia de Machine Learning es usar el conjunto de datos completo, incluido el subconjunto de pruebas, para entrenar un modelo final para implementarlo , por ejemplo, en un producto. Mi pregunta es: ¿es siempre lo mejor...
Con todo el alboroto en torno a la ciencia de datos, el aprendizaje automático y todas las historias de éxito, hay muchas expectativas tanto justificadas como demasiado infladas de los científicos de datos y sus modelos predictivos. Mi pregunta para los estadísticos, expertos en aprendizaje...
Estoy usando el ejemplo de OpenCV letter_recog.cpp para experimentar en árboles aleatorios y otros clasificadores. Este ejemplo tiene implementaciones de seis clasificadores: árboles aleatorios, impulso, MLP, kNN, Bayes ingenuos y SVM. Se utiliza el conjunto de datos de reconocimiento de letras UCI...
Estaba leyendo un artículo en los blogs de kaggle. En repetidas ocasiones, el autor menciona 'puntaje LB' y 'ajuste LB') como una métrica para la efectividad del aprendizaje automático (junto con el puntaje de validación cruzada (CV)). Con una investigación sobre el significado de 'LB', pasé...
Las estadísticas comunes de validación de modelos como la prueba de Kolmogorov-Smirnov (KS), AUROC y el coeficiente de Gini están relacionadas funcionalmente. Sin embargo, mi pregunta tiene que ver con probar cómo están todos relacionados. Tengo curiosidad por saber si alguien puede ayudarme a...
Después de desarrollar mi modelo predictivo utilizando Random Forest, obtengo las siguientes métricas: Train Accuracy :: 0.9764634601043997 Test Accuracy :: 0.7933284397683713 Confusion matrix [[28292 1474] [ 6128 889]] Estos son los resultados de este código: training_features,...
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 5 años . Parece que la...
Quiero probar la precisión de una metodología. Lo ejecuté ~ 400 veces, y obtuve una clasificación diferente para cada carrera. También tengo la verdad fundamental, es decir, la clasificación real contra la cual probar. Para cada clasificación, calculé una matriz de confusión. Ahora quiero agregar...