En la clasificación de texto, tengo un conjunto de entrenamiento con aproximadamente 800 muestras y un conjunto de prueba con aproximadamente 150 muestras. El conjunto de prueba nunca se ha usado, y está esperando ser usado hasta el final. Estoy usando todo el conjunto de entrenamiento de 800...
En una pregunta en otra parte de este sitio, varias respuestas mencionaron que el AIC es equivalente a la validación cruzada de dejar uno fuera (LOO) y que el BIC es equivalente a la validación cruzada K-fold. ¿Hay alguna manera de demostrar esto empíricamente en R de modo que las técnicas...
Tengo entendido que con la validación cruzada y la selección de modelos tratamos de abordar dos cosas: P1 . Estime la pérdida esperada en la población cuando entrena con nuestra muestra P2 . Mida e informe nuestra incertidumbre sobre esta estimación (varianza, intervalos de confianza, sesgo,...
En la discusión: cómo generar una curva roc para la clasificación binaria , creo que la confusión fue que un "clasificador binario" (que es cualquier clasificador que separa 2 clases) fue para Yang lo que se llama un "clasificador discreto" (que produce salidas discretas 0/1 como un SVM) y no...
Estoy haciendo validación cruzada anidada. He leído que la validación cruzada de dejar uno fuera puede estar sesgada (no recuerdo por qué). ¿Es mejor usar la validación cruzada 10 veces o la validación cruzada de dejar uno fuera aparte del tiempo de ejecución más largo para la validación cruzada...
Tengo algunos datos y quiero construir un modelo (digamos un modelo de regresión lineal) a partir de estos datos. En el siguiente paso, quiero aplicar la validación cruzada Leave-One-Out (LOOCV) en el modelo, así que vea qué tan bien funciona. Si entendí LOOCV correctamente, construyo un nuevo...
En algunas conferencias y tutoriales que he visto, sugieren dividir sus datos en tres partes: capacitación, validación y prueba. Pero no está claro cómo se debe usar el conjunto de datos de prueba, ni cómo este enfoque es mejor que la validación cruzada en todo el conjunto de datos. Digamos que...
Entiendo qué papel juega lambda en una regresión de red elástica. Y puedo entender por qué uno seleccionaría lambda.min, el valor de lambda que minimiza el error de validación cruzada. Mi pregunta es ¿En qué parte de la literatura estadística se recomienda usar lambda.1se, que es el valor de...
Estoy buscando una referencia al documento donde se introdujo la validación cruzada k-fold (en lugar de solo una buena referencia académica para el tema). Quizás esté demasiado atrás en la bruma del tiempo para identificar inequívocamente el primer artículo, por lo que cualquier documento inicial...
¿Cuál es el método de muestreo más apropiado para evaluar el rendimiento de un clasificador en un conjunto de datos en particular y compararlo con otros clasificadores? La validación cruzada parece ser una práctica estándar, pero he leído que métodos como .632 bootstrap son una mejor opción. Como...
He leído muchos trabajos de investigación sobre clasificación de sentimientos y temas relacionados. La mayoría de ellos utilizan validación cruzada 10 veces para entrenar y probar clasificadores. Eso significa que no se realiza ninguna prueba / validación por separado. ¿Porqué es eso? ¿Cuáles...
He encontrado definiciones posiblemente contradictorias para el estadístico de validación cruzada (CV) y para el estadístico de validación cruzada generalizada (GCV) asociado con un modelo lineal Y=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilon (con un vector de error normal,...
Esta mañana me desperté preguntándome (esto podría deberse al hecho de que anoche no dormí mucho): dado que la validación cruzada parece ser la piedra angular del pronóstico adecuado de series temporales, ¿cuáles son los modelos que debería "normalmente"? "validación cruzada contra? Se me...
Estoy interesado en la selección de modelos en una configuración de series de tiempo. Para concreción, supongamos que quiero seleccionar un modelo ARMA de un grupo de modelos ARMA con diferentes órdenes de retraso. La intención final es pronosticar . La selección del modelo puede hacerse...
Cuando trato de seleccionar entre varios modelos o la cantidad de características a incluir, digamos predicción, puedo pensar en dos enfoques. Divida los datos en conjuntos de entrenamiento y prueba. Mejor aún, use bootstrapping o k-fold cross-validation. Entrene en el conjunto de entrenamiento...
Estoy realizando una regresión logística de red elástica en un conjunto de datos de atención médica usando el glmnetpaquete en R seleccionando valores lambda en una cuadrícula de de 0 a 1. Mi código abreviado está a continuación:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <-...
En su artículo Linear Model Selection by Cross-Validation , Jun Shao muestra que para el problema de la selección de variables en la regresión lineal multivariante, el método de validación cruzada de dejar-fuera-fuera (LOOCV) es 'asintóticamente inconsistente'. En inglés simple, tiende a...
Introducción: Tengo un conjunto de datos con un clásico "problema grande p, pequeño n". El número de muestras disponibles n = 150, mientras que el número de posibles predictores p = 400. El resultado es una variable continua. Quiero encontrar los descriptores más "importantes", es decir, aquellos...
¿Cómo se comparan normalmente los modelos de efectos mixtos (lineales) entre sí? Sé que se pueden usar pruebas de razón de probabilidad, pero esto no funciona si un modelo no es un 'subconjunto' del otro ¿correcto? ¿La estimación de los modelos df es siempre sencilla? ¿Número de efectos fijos +...
Tengo datos históricos de ventas de una panadería (diariamente, durante 3 años). Ahora quiero construir un modelo para predecir ventas futuras (usando características como día de la semana, variables climáticas, etc.). ¿Cómo debo dividir el conjunto de datos para ajustar y evaluar los...