Me encontré con este hilo mirando las diferencias entre bootstrapping y validación cruzada: una gran respuesta y referencias por cierto. Lo que me pregunto ahora es, si tuviera que realizar un CV repetido de 10 veces para calcular la precisión de un clasificador, ¿cuántas veces n debería...
De una Introducción al aprendizaje estadístico de James et al., La estimación de validación cruzada de dejar uno fuera (LOOCV) se define por CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i dondeMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i =...
Estoy usando cv.glmnetpara encontrar predictores. La configuración que uso es la
Supongamos que hago validación cruzada K-fold con K = 10 pliegues. Habrá una matriz de confusión para cada pliegue. Al informar los resultados, ¿debo calcular cuál es la matriz de confusión promedio o simplemente sumar las matrices de
Para calibrar un nivel de confianza a una probabilidad en el aprendizaje supervisado (por ejemplo, para mapear la confianza de un SVM o un árbol de decisión usando datos sobremuestreados), un método es usar la Escala de Platt (por ejemplo, Obteniendo Probabilidades Calibradas de Impulso...
En primer lugar, disculpas por publicar una pregunta que ya se ha discutido extensamente aquí , aquí , aquí , aquí , aquí, y para recalentar un viejo tema. Sé que @DikranMarsupial ha escrito sobre este tema extensamente en publicaciones y artículos de revistas, pero todavía estoy confundido, y a...
Estoy usando modelos SVM para hacer pronósticos a corto plazo de contaminantes del aire. Para entrenar un nuevo modelo, necesito encontrar metaparámetros apropiados para un modelo SVM (me refiero a C, gamma, etc.). La documentación de Libsvm (y muchos otros libros que he leído) sugiere usar la...
Supongamos que normalmente tengo datos distribuidos. Para cada elemento de los datos, quiero verificar cuántas SD está lejos de la media. Puede haber un valor atípico en los datos (probablemente solo uno, pero también puede ser dos o tres) o no, pero este valor atípico es básicamente lo que estoy...
He leído las siguientes publicaciones para la validación cruzada anidada y todavía no estoy 100% seguro de lo que debo hacer con la selección del modelo con validación cruzada anidada: Validación cruzada anidada para la selección del modelo Selección de modelo y validación cruzada: la forma...
Si tengo datos y ejecuto una clasificación (digamos bosque aleatorio en estos datos) con validación cruzada (digamos 5 veces), ¿podría concluir que no hay un ajuste excesivo en mi
¿Alguien puede decirme qué da exactamente un análisis de validación cruzada como resultado? ¿Es solo la precisión promedio o da algún modelo con parámetros ajustados? Porque, escuché en alguna parte que la validación cruzada se usa para el ajuste de
He estado utilizando la validación cruzada repetida de k veces y he estado informando la media (de la métrica de evaluación, por ejemplo, sensibilidad, especificidad) calculada como la gran media en los pliegues de diferentes corridas de la validación cruzada. Sin embargo, no estoy seguro de cómo...
Si ajusta una función no lineal a un conjunto de puntos (suponiendo que solo haya una ordenada para cada abscisa), el resultado puede ser: Una función muy compleja con pequeños residuos. una función muy simple con grandes residuos La validación cruzada se usa comúnmente para encontrar el...
El paquete caret es una biblioteca R brillante para construir múltiples modelos de aprendizaje automático y tiene varias funciones para la construcción y evaluación de modelos. Para el ajuste de parámetros y la capacitación de modelos, el paquete caret ofrece 'repetido cv' como uno de los...
¿La normalización de datos (para tener una media de desviación estándar de unidad y cero) antes de realizar una validación cruzada repetida de k veces tiene alguna consecuencia negativa como el sobreajuste? Nota: esto es para una situación donde #cases> total #características Estoy...
Tengo un conjunto de datos de 120 muestras en una configuración de validación cruzada 10 veces. Actualmente, elijo los datos de entrenamiento de la primera reserva y hago una validación cruzada de 5 veces para elegir los valores de gamma y C mediante la búsqueda de cuadrícula. Estoy usando SVM con...
Me encontré con este artículo de 2012 de Gitte Vanwinckelen y Hendrik Blockeel cuestionando la utilidad de la validación cruzada repetida, que se ha convertido en una técnica popular para reducir la variación de la validación cruzada. Los autores demostraron que, si bien la validación cruzada...
Acabo de volver a ver una conferencia del curso de Machine Learning en Coursera. En la sección donde el profesor discute PCA para el procesamiento previo de datos en aplicaciones de aprendizaje supervisado, dice que PCA solo debe realizarse en los datos de entrenamiento y luego el mapeo se utiliza...
Soy muy nuevo en el análisis de datos funcionales (FDA). Estoy leyendo: Ramsay, James O. y Silverman, Bernard W. (2006), Functional Data Analysis, 2ª ed., Springer, Nueva York. Sin embargo, todavía no tengo muy claro dónde / cuándo usar la FDA. ¿Podría alguien darme un ejemplo, especialmente...
"Validación Bootstrap" / "remuestreo de validación cruzada" es nuevo para mí, pero fue discutido por la respuesta a esta pregunta . Supongo que involucra 2 tipos de datos: los datos reales y los datos simulados, donde un conjunto dado de datos simulados se genera a partir de los datos reales...