Una medida común utilizada para comparar dos o más modelos de clasificación es usar el área bajo la curva ROC (AUC) como una forma de evaluar indirectamente su desempeño. En este caso, un modelo con un AUC más grande generalmente se interpreta que funciona mejor que un modelo con un AUC más...
Estoy realizando una tarea de clasificación binaria donde la probabilidad de resultado es bastante baja (alrededor del 3%). Estoy tratando de decidir si optimizar por AUC o pérdida de registro. Por lo que he entendido, AUC maximiza la capacidad del modelo para discriminar entre clases mientras que...
Actualmente me estoy enseñando cómo hacer la clasificación, y específicamente estoy mirando tres métodos: máquinas de vectores de soporte, redes neuronales y regresión logística. Lo que intento entender es por qué la regresión logística funcionaría mejor que las otras dos. Desde mi comprensión de...
¿Cuál es una mejor función de costo para un árbol forestal aleatorio: índice de Gini o entropía? Estoy tratando de implementar un bosque aleatorio en
La pregunta de ayer Determinar la precisión del modelo que estima la probabilidad de evento me dio curiosidad sobre la puntuación de probabilidad. La puntuación de Brier es una medida de error cuadrático medio. ¿El análogo significa la medida de rendimiento de error absoluto tener un nombre...
Supongamos que estoy construyendo un modelo predictivo en el que intento predecir múltiples eventos (por ejemplo, tanto el lanzamiento de un dado como el lanzamiento de una moneda). La mayoría de los algoritmos con los que estoy familiarizado trabajan con un solo objetivo, por lo que me pregunto si...
Wikipedia dice que: La dimensión VC es la cardinalidad del mayor conjunto de puntos que un algoritmo puede destruir. Por ejemplo, un clasificador lineal tiene una cardinalidad n + 1. Mi pregunta es ¿por qué nos importa? La mayoría de los conjuntos de datos en los que realiza una clasificación...
En el curso de aprendizaje automático de Stanford, Andrew Ng mencionó la aplicación de ML en TI. Algún tiempo después, cuando obtuve DDoS de tamaño moderado (alrededor de 20k bots) en nuestro sitio, decidí luchar contra él usando un simple clasificador de red neuronal. Escribí este script de...
Estoy tratando de resolver una tarea llamada detección de peatones y entreno clasifer binario en dos categorías positivas - personas, negativas - antecedentes. Tengo un conjunto de datos: cantidad de positivos = 3752 número de negativos = 3800 Uso train \ test split 80 \ 20% y...
¿Cuál es la relación entre el análisis discriminante lineal y la regla de Bayes? Entiendo que LDA se usa en la clasificación al tratar de minimizar la relación de la varianza dentro del grupo y entre la varianza del grupo, pero no sé cómo se usa la regla de Bayes en
Para una competencia reciente de Kaggle, definí (manualmente) 10 características adicionales para mi conjunto de entrenamiento, que luego se usarían para entrenar un clasificador aleatorio de bosques. Decidí ejecutar PCA en el conjunto de datos con las nuevas características, para ver cómo se...
Ejecuté un SVM contra un conjunto de datos dado e hice la siguiente observación: Si cambio la cantidad de características para construir el clasificador, la cantidad de vectores de soporte resultantes también cambiará. Me gustaría saber cómo explicar este tipo de
Entonces, tengo una matriz de aproximadamente 60 x 1000. Lo estoy viendo como 60 objetos con 1000 características; Los 60 objetos se agrupan en 3 clases (a, b, c). 20 objetos en cada clase, y sabemos la verdadera clasificación. Me gustaría hacer un aprendizaje supervisado en este conjunto de 60...
Estoy tratando de obtener una intuición de por qué aumentar el número de funciones podría reducir el rendimiento. Actualmente estoy usando un clasificador LDA que funciona mejor de manera bivariante entre ciertas funciones, pero peor al mirar más funciones. Mi precisión de clasificación se realiza...
Estoy creando prototipos de mi propio modelo de bolsa de palabras Naive Bayes, y tenía una pregunta sobre el cálculo de las probabilidades de las características. Digamos que tengo dos clases, solo usaré spam y no spam ya que eso es lo que todos usan. Y tomemos la palabra "viagra" como ejemplo....
Estoy estudiando reconocimiento de patrones y aprendizaje automático, y me encontré con la siguiente pregunta. Considere un problema de clasificación de dos clases con igual probabilidad de clase previaP(D1)=P(D2)=12P(D1)=P(D2)=12P(D_1)=P(D_2)= \frac{1}{2} y la distribución de instancias en...
En dos bibliotecas de identificación de idiomas populares, Compact Language Detector 2 para C ++ y el detector de idiomas para java, ambos utilizaron n-gramos (basados en caracteres) para extraer características de texto. ¿Por qué no se usa una bolsa de palabras (una sola palabra / diccionario),...
Supongamos que tenemos un problema de clasificación y al principio queremos obtener una idea de los datos y hacemos t-SNE. El resultado de t-SNE separa las clases muy bien. Esto implica que es posible construir un modelo de clasificación que también separe muy bien las clases (si t-SNE no se separa...
¿No puedo encontrar la definición general de qué es un clasificador? Entiendo cómo puede funcionar, pero no puedo llegar a una
Necesito obtener un valor lo más preciso posible para el brillo de una fuente de luz principalmente estable dados doce valores de luminosidad de muestra. El sensor es imperfecto, y la luz ocasionalmente puede "parpadear" más brillante o más oscura, lo que puede ignorarse, de ahí mi necesidad de...