¿Por qué la función de arranque scikit-learn vuelve a muestrear el conjunto de prueba?

Cuando utilicé bootstrapping para la evaluación del modelo, siempre pensé que las muestras fuera de bolsa se usaban directamente como un conjunto de prueba. Sin embargo, este no parece ser el caso del enfoque obsoleto de scikit-learnBootstrap , que parece construir el conjunto de prueba a partir del dibujo con reemplazo del subconjunto de datos fuera de la bolsa. ¿Cuál es el razonamiento estadístico detrás de esto? ¿Existen escenarios específicos en los que esta técnica es mejor que simplemente evaluar en la muestra de bolsa o viceversa?

Las muestras de Bootstrap se utilizan para evaluar el rendimiento del algoritmo mediante muchas iteraciones. Al hacerlo, se evalúa el rendimiento en conjuntos cambiados al azar.

En contraste, cuando se realiza, por ejemplo, la validación cruzada de 10 pliegues, solo realiza 10 iteraciones en diferentes conjuntos de datos de tren y prueba.

$n=20$$i=10,000$

El enlace que postet está inactivo, así que agregué la descripción de la función en la versión actual (0.14) de sklearn

Descripción del método.

Muestreo aleatorio con iterador de validación cruzada de reemplazo Proporciona índices de tren / prueba para dividir datos en conjuntos de prueba de tren mientras remuestrea la entrada n_iter veces: cada vez que se realiza una nueva división aleatoria de los datos y luego se extraen muestras (con reemplazo) en cada lado de la división para construir los conjuntos de entrenamiento y prueba. Nota: al contrario de otras estrategias de validación cruzada, el arranque permitirá que algunas muestras ocurran varias veces en cada división. Sin embargo, una muestra que se produce en la división del tren nunca se producirá en la división de prueba y viceversa. Si desea que cada muestra ocurra como máximo una vez, probablemente debería usar la validación cruzada ShuffleSplit en su lugar.

Quizás estabas en algo. Parece que otros tiraron de ese mismo hilo y Bootstrapfueron desaprobados a favor de un uso más intencional del resamplemétodo con los sklearn.cross_validationenfoques probados y verdaderos como StratifiedKFold.