Es bien sabido, especialmente en el procesamiento del lenguaje natural, que el aprendizaje automático debe proceder en dos pasos, un paso de capacitación y un paso de evaluación, y deben usar datos diferentes. ¿Por qué es esto? Intuitivamente, este proceso ayuda a evitar sobreajustar los datos,...
La validación cruzada K-fold se puede utilizar para estimar la capacidad de generalización de un clasificador dado. ¿Puedo (o debería) también calcular una varianza agrupada de todas las ejecuciones de validación para obtener una mejor estimación de su varianza? Si no, ¿por qué? He encontrado...
Cuando uso GAM, me da un DF residual de 26.626.626.6 (última línea en el código). Qué significa eso? Yendo más allá del ejemplo de GAM, en general, ¿puede el número de grados de libertad ser un número no entero? > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~...
En la clasificación de texto, tengo un conjunto de entrenamiento con aproximadamente 800 muestras y un conjunto de prueba con aproximadamente 150 muestras. El conjunto de prueba nunca se ha usado, y está esperando ser usado hasta el final. Estoy usando todo el conjunto de entrenamiento de 800...
Tengo entendido que con la validación cruzada y la selección de modelos tratamos de abordar dos cosas: P1 . Estime la pérdida esperada en la población cuando entrena con nuestra muestra P2 . Mida e informe nuestra incertidumbre sobre esta estimación (varianza, intervalos de confianza, sesgo,...
En una pregunta en otra parte de este sitio, varias respuestas mencionaron que el AIC es equivalente a la validación cruzada de dejar uno fuera (LOO) y que el BIC es equivalente a la validación cruzada K-fold. ¿Hay alguna manera de demostrar esto empíricamente en R de modo que las técnicas...
Estoy haciendo validación cruzada anidada. He leído que la validación cruzada de dejar uno fuera puede estar sesgada (no recuerdo por qué). ¿Es mejor usar la validación cruzada 10 veces o la validación cruzada de dejar uno fuera aparte del tiempo de ejecución más largo para la validación cruzada...
Tengo algunos datos y quiero construir un modelo (digamos un modelo de regresión lineal) a partir de estos datos. En el siguiente paso, quiero aplicar la validación cruzada Leave-One-Out (LOOCV) en el modelo, así que vea qué tan bien funciona. Si entendí LOOCV correctamente, construyo un nuevo...
En algunas conferencias y tutoriales que he visto, sugieren dividir sus datos en tres partes: capacitación, validación y prueba. Pero no está claro cómo se debe usar el conjunto de datos de prueba, ni cómo este enfoque es mejor que la validación cruzada en todo el conjunto de datos. Digamos que...
En la discusión: cómo generar una curva roc para la clasificación binaria , creo que la confusión fue que un "clasificador binario" (que es cualquier clasificador que separa 2 clases) fue para Yang lo que se llama un "clasificador discreto" (que produce salidas discretas 0/1 como un SVM) y no...
¿Cuál es el método de muestreo más apropiado para evaluar el rendimiento de un clasificador en un conjunto de datos en particular y compararlo con otros clasificadores? La validación cruzada parece ser una práctica estándar, pero he leído que métodos como .632 bootstrap son una mejor opción. Como...
Estoy buscando una referencia al documento donde se introdujo la validación cruzada k-fold (en lugar de solo una buena referencia académica para el tema). Quizás esté demasiado atrás en la bruma del tiempo para identificar inequívocamente el primer artículo, por lo que cualquier documento inicial...
Entiendo qué papel juega lambda en una regresión de red elástica. Y puedo entender por qué uno seleccionaría lambda.min, el valor de lambda que minimiza el error de validación cruzada. Mi pregunta es ¿En qué parte de la literatura estadística se recomienda usar lambda.1se, que es el valor de...
He leído muchos trabajos de investigación sobre clasificación de sentimientos y temas relacionados. La mayoría de ellos utilizan validación cruzada 10 veces para entrenar y probar clasificadores. Eso significa que no se realiza ninguna prueba / validación por separado. ¿Porqué es eso? ¿Cuáles...
Como la ciencia debe ser reproducible, por definición, existe un reconocimiento cada vez mayor de que los datos y el código son un componente esencial de la reproducción, como se discutió en la Mesa Redonda de Yale para compartir datos y códigos . Al revisar un manuscrito para una revista que no...
Estoy interesado en la selección de modelos en una configuración de series de tiempo. Para concreción, supongamos que quiero seleccionar un modelo ARMA de un grupo de modelos ARMA con diferentes órdenes de retraso. La intención final es pronosticar . La selección del modelo puede hacerse...
Esta mañana me desperté preguntándome (esto podría deberse al hecho de que anoche no dormí mucho): dado que la validación cruzada parece ser la piedra angular del pronóstico adecuado de series temporales, ¿cuáles son los modelos que debería "normalmente"? "validación cruzada contra? Se me...
He encontrado definiciones posiblemente contradictorias para el estadístico de validación cruzada (CV) y para el estadístico de validación cruzada generalizada (GCV) asociado con un modelo lineal Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilon (con un vector de error normal,...
Supongamos que he entrenado varios modelos en el conjunto de entrenamiento, elija el mejor usando el conjunto de validación cruzada y el rendimiento medido en el conjunto de prueba. Así que ahora tengo un mejor modelo final. ¿Debo volver a entrenarlo con todos mis datos disponibles o enviar una...
¿Cómo se comparan normalmente los modelos de efectos mixtos (lineales) entre sí? Sé que se pueden usar pruebas de razón de probabilidad, pero esto no funciona si un modelo no es un 'subconjunto' del otro ¿correcto? ¿La estimación de los modelos df es siempre sencilla? ¿Número de efectos fijos +...