Me pregunto si alguien conoce un compendio de técnicas de validación cruzada con una discusión sobre las diferencias entre ellos y una guía sobre cuándo usar cada una de ellas. Wikipedia tiene una lista de las técnicas más comunes, pero tengo curiosidad por saber si hay otras técnicas y si hay...
¿Existen estudios empíricos que justifiquen el uso de la única regla de error estándar a favor de la parsimonia? Obviamente, depende del proceso de generación de datos de los datos, pero cualquier cosa que analice un gran conjunto de conjuntos de datos sería una lectura muy interesante. La...
He estado usando el paquete caret en R para construir modelos predictivos para clasificación y regresión. Caret proporciona una interfaz unificada para ajustar los hiperparámetros del modelo mediante validación cruzada o arranque de bandas. Por ejemplo, si está construyendo un modelo simple de...
TL, DR: Parece que, al contrario de lo que se repite con frecuencia, la validación cruzada de dejar uno fuera (LOO-CV), es decir,plegar CV con(el número de pliegues) igual a N (el número de observaciones de entrenamiento): arroja estimaciones del error de generalización que son las menos variables...
En todos los contextos, estoy familiarizado con la validación cruzada, solo se usa con el objetivo de aumentar la precisión predictiva. ¿Se puede extender la lógica de validación cruzada al estimar las relaciones imparciales entre variables? Si bien este documento de Richard Berk demuestra el uso...
Estoy tratando de averiguar qué método de validación cruzada es mejor para mi situación. Los siguientes datos son solo un ejemplo para resolver el problema (en R), pero mis Xdatos reales ( xmat) están correlacionados entre sí y en diferentes grados con la yvariable ( ymat). Proporcioné el código...
Cuando se utiliza la validación cruzada para hacer la selección del modelo (como, por ejemplo, el ajuste de hiperparámetros) y para evaluar el rendimiento del mejor modelo, se debe usar la validación cruzada anidada . El ciclo externo es evaluar el rendimiento del modelo, y el ciclo interno es...
Tengo un conjunto de datos para el que tengo múltiples conjuntos de etiquetas binarias. Para cada conjunto de etiquetas, entreno a un clasificador, evaluándolo por validación cruzada. Quiero reducir la dimensionalidad utilizando el análisis de componentes principales (PCA). Mi pregunta es: ¿Es...
¿Por qué un procedimiento de validación cruzada supera el problema de sobreajustar un
Esta pregunta puede ser demasiado abierta para obtener una respuesta definitiva, pero espero que no. Los algoritmos de aprendizaje automático, como SVM, GBM, Random Forest, etc., generalmente tienen algunos parámetros libres que, más allá de alguna guía práctica, deben ajustarse a cada conjunto de...
Existen numerosos hilos en CrossValidated sobre el tema de selección de modelos y validación cruzada. Aquí hay algunos: Validación cruzada interna y externa y selección de modelo @ DikranMarsupial de la parte superior respuesta a la selección de funciones y la validación cruzada Sin embargo,...
Recientemente me encontré con un artículo que propone usar un clasificador k-NN en un conjunto de datos específico. Los autores utilizaron todas las muestras de datos disponibles para realizar la validación cruzada de k veces para diferentes valores de k e informar los resultados de la validación...
Estoy tratando de aprender varios métodos de validación cruzada, principalmente con la intención de aplicar a técnicas de análisis supervisado multivariado. Dos que he encontrado son las técnicas de validación cruzada K-fold y Monte Carlo. He leído que K-fold es una variación de Monte Carlo, pero...
Estoy validando de forma cruzada un modelo que está tratando de predecir un recuento. Si este fuera un problema de clasificación binaria, calcularía el AUC fuera del pliegue, y si este fuera un problema de regresión, calcularía el RMSE o el MAE fuera del pliegue. Para un modelo de Poisson, ¿qué...
Me han dicho que es beneficioso usar la validación cruzada estratificada, especialmente cuando las clases de respuesta no están equilibradas. Si un propósito de la validación cruzada es ayudar a explicar la aleatoriedad de nuestra muestra de datos de entrenamiento original, seguramente hacer que...
Tengo una pregunta sobre el proceso de validación cruzada. Estoy en medio de un curso de Machine Learning en Cursera. Uno de los temas es sobre la validación cruzada. Me resultó un poco difícil de seguir. Sé por qué necesitamos CV porque queremos que nuestros modelos funcionen bien en datos futuros...
Acabo de encontrar este artículo , que describe cómo calcular la repetibilidad (también conocida como confiabilidad, también conocida como correlación intraclase) de una medición a través del modelado de efectos mixtos. El código R sería: #fit the model fit =
En la clasificación de texto, tengo un conjunto de entrenamiento con aproximadamente 800 muestras y un conjunto de prueba con aproximadamente 150 muestras. El conjunto de prueba nunca se ha usado, y está esperando ser usado hasta el final. Estoy usando todo el conjunto de entrenamiento de 800...
Es bien sabido, especialmente en el procesamiento del lenguaje natural, que el aprendizaje automático debe proceder en dos pasos, un paso de capacitación y un paso de evaluación, y deben usar datos diferentes. ¿Por qué es esto? Intuitivamente, este proceso ayuda a evitar sobreajustar los datos,...
La validación cruzada K-fold se puede utilizar para estimar la capacidad de generalización de un clasificador dado. ¿Puedo (o debería) también calcular una varianza agrupada de todas las ejecuciones de validación para obtener una mejor estimación de su varianza? Si no, ¿por qué? He encontrado...