En la evaluación de modelos, ya sea dentro o fuera de la muestra.
Esta es una pregunta general que se hizo indirectamente varias veces aquí, pero carece de una única respuesta autorizada. Sería genial tener una respuesta detallada a esto para la referencia. La precisión , la proporción de clasificaciones correctas entre todas las clasificaciones, es una medida...
Anteriormente pregunté esto en StackOverflow, pero parece que podría ser más apropiado aquí, dado que no obtuvo ninguna respuesta en SO. Es una especie de intersección entre estadísticas y programación. Necesito escribir un código para hacer PCA (Análisis de componentes principales). He examinado...
Me he dado cuenta de que hay algunas implementaciones de bosque aleatorio como ALGLIB, Waffles y algunos paquetes R como randomForest. ¿Alguien puede decirme si estas bibliotecas están altamente optimizadas? ¿Son básicamente equivalentes a los bosques aleatorios como se detalla en Los elementos del...
Uno de los mayores problemas con el análisis de conglomerados es que es posible que tengamos que derivar conclusiones diferentes cuando nos basamos en diferentes métodos de agrupación utilizados (incluidos diferentes métodos de vinculación en la agrupación jerárquica). Me gustaría saber su opinión...
Recientemente me encontré con un artículo que propone usar un clasificador k-NN en un conjunto de datos específico. Los autores utilizaron todas las muestras de datos disponibles para realizar la validación cruzada de k veces para diferentes valores de k e informar los resultados de la validación...
Como todos sabemos, hay 2 métodos para evaluar el modelo de regresión logística y están probando cosas muy diferentes. Poder de predicción: Obtenga una estadística que mida qué tan bien puede predecir la variable dependiente en función de las variables independientes. Los conocidos Pseudo R ^ 2...
Trato con un problema de detección de fraude (similar a la calificación crediticia). Como tal, existe una relación altamente desequilibrada entre las observaciones fraudulentas y no fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html proporciona una excelente...
¿Pueden los valores AUC-ROC estar entre 0-0.5? ¿El modelo genera valores entre 0 y
La competencia de Kaggle La predicción Safe Driver de Porto Seguro utiliza el puntaje de Gini normalizado como medida de evaluación y esto me hizo sentir curiosidad sobre los motivos de esta elección. ¿Cuáles son las ventajas de usar el puntaje de Gini normalizado en lugar de las métricas más...
Una medida común utilizada para comparar dos o más modelos de clasificación es usar el área bajo la curva ROC (AUC) como una forma de evaluar indirectamente su desempeño. En este caso, un modelo con un AUC más grande generalmente se interpreta que funciona mejor que un modelo con un AUC más...
¿Son los coeficientes de correlación phi y Matthews el mismo concepto? ¿Cómo se relacionan o equivalen al coeficiente de correlación de Pearson para dos variables binarias? Supongo que los valores binarios son 0 y 1. La correlación de Pearson entre dos variables aleatorias de Bernoulli e...
Quería entender mejor la prueba exacta del pescador, así que ideé el siguiente ejemplo de juguete, donde f y m corresponde a machos y hembras, y n e y corresponden a "consumo de refrescos" de esta manera: > soda_gender f m n 0 5 y 5 0 Obviamente, esta es una simplificación drástica, pero...
En mi exposición en el aula a la minería de datos, el método de retención se introdujo como una forma de evaluar el rendimiento del modelo. Sin embargo, cuando tomé mi primera clase de modelos lineales, esto no se introdujo como un medio de validación o evaluación del modelo. Mi investigación en...
Estaba leyendo acerca de las métricas de regresión en la pitón scikit-learn Manual y aunque cada uno de ellos tiene su propia fórmula, no puedo decir intuitivamente cuál es la diferencia entre y la puntuación de la varianza y, por tanto, cuándo se debe utilizar una u otra de evaluar mis...
A menudo escucho sobre la evaluación del desempeño de un modelo de clasificación extendiendo el conjunto de prueba y entrenando un modelo en el conjunto de entrenamiento. Luego crea 2 vectores, uno para los valores predichos y otro para los valores verdaderos. Obviamente, hacer una comparación le...
Esta podría ser una pregunta básica: ¿Cuál es la diferencia entre sesgo y falta de equipamiento? Y, de manera análoga, ¿cuál es la diferencia entre la varianza y el sobreajuste? ¿Los términos de cada par significan lo mismo? Sí no, ¿Cuál es la
Estoy trabajando en un conjunto de datos. Después de usar algunas técnicas de identificación de modelos, obtuve un modelo ARIMA (0,2,1). Utilicé la detectIOfunción en el paquete TSAen R para detectar un valor atípico innovador (IO) en la observación número 48 de mi conjunto de datos...
Deseo probar algunas de mis ideas que creo que son mejores que cualquier cosa que haya visto. Podría estar equivocado, pero me gustaría probar mis ideas y vencer mis dudas con observaciones más ciertas. Lo que he estado pensando hacer es lo siguiente: Definir analíticamente un conjunto de...
Esta es la puntuación F beta: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} El artículo de Wikipedia dice que...
Estoy trabajando en la predicción de series de tiempo. Tengo dos conjuntos de datos y . Tengo tres modelos de predicción: . Todos esos modelos se entrenan utilizando muestras en el conjunto de datos , y su rendimiento se mide utilizando las muestras en el conjunto de datos . Digamos que las...