Retener repetidamente subconjuntos de datos durante el ajuste del modelo para cuantificar el rendimiento del modelo en los subconjuntos de datos retenidos.
El AIC y el BIC son métodos para evaluar el ajuste del modelo penalizado por el número de parámetros estimados. Según tengo entendido, BIC penaliza más a los modelos por parámetros libres que AIC. Más allá de una preferencia basada en la rigurosidad de los criterios, ¿hay alguna otra razón para...
Me pregunto cómo elegir un modelo predictivo después de hacer la validación cruzada K-fold. Esto puede expresarse de manera incómoda, así que permítanme explicarlo con más detalle: cada vez que ejecuto la validación cruzada K-fold, uso K subconjuntos de los datos de entrenamiento y termino con K...
¿Es siempre una buena idea entrenar con el conjunto de datos completo después de la validación cruzada ? Dicho de otra manera, ¿está bien entrenar con todas las muestras en mi conjunto de datos y no poder verificar si este ajuste en particular se sobreajusta ? Algunos antecedentes sobre el...
He estado usando el -fold validación cruzada varias veces para evaluar el rendimiento de algunos algoritmos de aprendizaje, pero siempre he estado intrigados por la forma en que debería elegir el valor de .KKKKKKK A menudo he visto y usado un valor de , pero esto me parece totalmente arbitrario, y...
Me gustaría conocer su opinión sobre las diferencias entre la validación cruzada y el arranque para estimar el error de predicción. ¿Funciona mejor para conjuntos de datos pequeños o grandes conjuntos de
¿Cómo se puede usar la validación cruzada anidada para la selección del modelo ? Por lo que leí en línea, el CV anidado funciona de la siguiente manera: Existe el bucle CV interno, donde podemos realizar una búsqueda de cuadrícula (por ejemplo, ejecutar K-fold para cada modelo disponible, por...
¿Cómo se comparan los diferentes métodos de validación cruzada en términos de varianza y sesgo del modelo? Mi pregunta está en parte motivada por este hilo: número óptimo de pliegues en la validación cruzada de - pliegues : ¿es el CV de dejar uno solo siempre la mejor opción? KKK K. La respuesta...
¿Cómo describiría la validación cruzada a alguien sin antecedentes de análisis de
Estoy un poco confundido acerca de la selección de funciones y el aprendizaje automático y me preguntaba si podrían ayudarme. Tengo un conjunto de datos de microarrays que se clasifica en dos grupos y tiene miles de características. Mi objetivo es obtener una pequeña cantidad de genes (mis...
Recientemente he estado leyendo mucho en este sitio (@Aniko, @Dikran Marsupial, @Erik) y en otros lugares sobre el problema del sobreajuste que ocurre con la validación cruzada - (Smialowski et al 2010 Bioinformática, Hastie, Elementos de aprendizaje estadístico). La sugerencia es que cualquier...
Pregunta: Quiero estar seguro de algo, ¿el uso de la validación cruzada k-fold con series de tiempo es sencillo o hay que prestar especial atención antes de usarlo? Antecedentes: estoy modelando una serie temporal de 6 años (con cadena semi-markov), con una muestra de datos cada 5 min. Para...
¿Cuál es una estrategia adecuada para dividir el conjunto de datos? Pido retroalimentación en el enfoque siguiente (no en los parámetros individuales tales como test_sizeo n_iter, pero si utilicé X, y, X_train, y_train, X_test, y y_testde manera adecuada y si la secuencia tiene...
Tengo una clase de datos desequilibrados y quiero ajustar los hiperparámetros del trenzado reforzado usando xgboost. Preguntas ¿Hay un equivalente de gridsearchcv o randomsearchcv para xgboost? Si no, ¿cuál es el enfoque recomendado para ajustar los parámetros de
Supongamos que tenemos a alguien construyendo un modelo predictivo, pero que alguien no está necesariamente versado en los principios estadísticos o de aprendizaje automático adecuados. Tal vez estamos ayudando a esa persona mientras está aprendiendo, o tal vez esa persona está utilizando algún...
Encontré dos preguntas aquí y aquí sobre este problema, pero todavía no hay una respuesta o explicación obvia. Hago cumplir el mismo problema donde el error de validación es menor que el error de entrenamiento en mi red neuronal de convolución. Qué significa
¿Cuál es la diferencia entre el estratificado de validación cruzada y la validación cruzada ? Wikipedia dice: En la validación cruzada estratificada de k-pliegues , los pliegues se seleccionan de modo que el valor medio de respuesta sea aproximadamente igual en todos los pliegues. En el caso...
En el aprendizaje estadístico, implícita o explícitamente, siempre se supone que el conjunto de entrenamiento D={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \} está compuesto de NNN tuplas de entrada / respuesta (Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) que se extraen independientemente de la misma...
Para mí, parece que la validación de suspensión es inútil. Es decir, dividir el conjunto de datos original en dos partes (capacitación y evaluación) y usar el puntaje de evaluación como medida de generalización es algo inútil. La validación cruzada K-fold parece dar mejores aproximaciones de...
¿Transforme todos mis datos o pliegues (si se aplica CV) al mismo tiempo? p.ej (allData - mean(allData)) / sd(allData) ¿Transforme el conjunto de trenes y el conjunto de pruebas por separado? p.ej (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) ¿O...
Dejando a un lado las consideraciones de poder de cálculo, ¿hay alguna razón para creer que aumentar el número de pliegues en la validación cruzada conduce a una mejor selección / validación del modelo (es decir, cuanto mayor sea el número de pliegues, mejor)? Llevando el argumento al extremo, ¿la...