Se refiere a la práctica de evaluar el rendimiento del modelo en algún conjunto de datos de "prueba", "reserva" o "fuera de muestra" que no se utilizó para la construcción del modelo.
Supongamos que tenemos a alguien construyendo un modelo predictivo, pero que alguien no está necesariamente versado en los principios estadísticos o de aprendizaje automático adecuados. Tal vez estamos ayudando a esa persona mientras está aprendiendo, o tal vez esa persona está utilizando algún...
La idea del análisis de datos adaptativo es que modifique su plan para analizar los datos a medida que aprenda más sobre ellos. En el caso del análisis exploratorio de datos (EDA), generalmente es una buena idea (a menudo busca patrones imprevistos en los datos), pero para un estudio confirmatorio,...
El siguiente extracto es de Schwager's Hedge Fund Market Wizzards (mayo de 2012), una entrevista con el exitoso administrador de fondos de cobertura Jaffray Woodriff: A la pregunta: "¿Cuáles son algunos de los peores errores que cometen las personas en la minería de datos?": Muchas personas...
He estado leyendo sobre la validación de k-fold, y quiero asegurarme de que entiendo cómo funciona. Sé que para el método de retención, los datos se dividen en tres conjuntos, y el conjunto de prueba solo se usa al final para evaluar el rendimiento del modelo, mientras que el conjunto de...
Si bien los resultados del conjunto de prueba privado no se pueden utilizar para refinar aún más el modelo, ¿no se está seleccionando el modelo de una gran cantidad de modelos basados en los resultados del conjunto de prueba privado? ¿No terminaría usted, solo a través de ese proceso,...
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 2 años . Actualmente...
¿Existe una diferencia explícita entre los pronósticos dentro de la muestra y los pronósticos seudo fuera de la muestra ? Ambos se entienden en el contexto de evaluar y comparar modelos de
En mi exposición en el aula a la minería de datos, el método de retención se introdujo como una forma de evaluar el rendimiento del modelo. Sin embargo, cuando tomé mi primera clase de modelos lineales, esto no se introdujo como un medio de validación o evaluación del modelo. Mi investigación en...
Tengo un conjunto de datos con 26 características y 31000 filas. Es el conjunto de datos de 38 sujetos. Es para un sistema biométrico. Entonces quiero poder identificar sujetos. Para tener un conjunto de pruebas, sé que tengo que eliminar algunos valores. Entonces, ¿qué es mejor hacer y por...
Hasta donde he visto, las opiniones tienden a diferir sobre esto. La mejor práctica ciertamente dictaría el uso de validación cruzada (especialmente si se comparan RF con otros algoritmos en el mismo conjunto de datos). Por otro lado, la fuente original afirma que el hecho de que el error OOB se...
Sé que esto probablemente se haya discutido en otro lugar, pero no he podido encontrar una respuesta explícita. Estoy tratando de usar la fórmula R2= 1 - SSR / SSTR2=1-SSR/ /SSTR^2 = 1 - SSR/SST para calcular fuera de muestra R2R2R^2de un modelo de regresión lineal, donde SSRSSRSSR es la suma de...
Tengo una pregunta que creo que será bastante básica para muchos usuarios. Estoy usando modelos de regresión lineal para (i) investigar la relación de varias variables explicativas y mi variable de respuesta y (ii) predecir mi variable de respuesta usando las variables explicativas. Una variable...
Siempre me he suscrito a la sabiduría popular de que la disminución de la tasa de aprendizaje en un gbm (modelo de árbol impulsado por gradiente) no perjudica el rendimiento de la muestra fuera del modelo. Hoy no estoy tan seguro. Estoy ajustando modelos (minimizando la suma de los errores al...
Esta pregunta ya tiene respuestas aquí : ¿Es mi modelo bueno, basado en el valor de la métrica de diagnóstico ( / AUC / precision / RMSE, etc.)? R2R2R^2 (3 respuestas) Cerrado hace 8 meses . Tengo datos de aprendizaje que consisten en ~ 45k muestras, cada una...