He leído que la validación cruzada de dejar uno fuera proporciona una estimación relativamente "imparcial del verdadero rendimiento de generalización" (por ejemplo, aquí ) y que esta es una propiedad ventajosa del CV de dejar uno fuera.
Sin embargo, no veo cómo esto se deduce de las propiedades del CV de dejar uno afuera. ¿Por qué el sesgo de este estimador es bajo en comparación con otros?
Actualizar:
Sigo investigando el tema, y creo que tiene que ver con el hecho de que este estimador es menos pesimista que, digamos, la validación de K-fold, ya que usa todos los datos, excepto una instancia, pero sería genial leer un matemático derivación de esto.
cross-validation
model-selection
bias
Amelio Vazquez-Reina
fuente
fuente
Respuestas:
No creo que sea necesario derivar matemáticamente el hecho de que en ML, al aumentar el tamaño de las pruebas de entrenamiento, las tasas de error de predicción disminuyen. LOO, en comparación con la validación k-fold, maximiza el tamaño del conjunto de entrenamiento, como has observado.
Sin embargo, LOO puede ser sensible al "hermanamiento": cuando tiene muestras altamente correlacionadas, con LOO tiene la garantía de que para cada muestra utilizada como conjunto de prueba, los "gemelos" restantes estarán en el conjunto de entrenamiento. Esto se puede diagnosticar mediante una disminución rápida de la precisión cuando LOO se reemplaza por, por ejemplo, una validación cruzada 10 veces (o una validación estratificada, por ejemplo, si las muestras están emparejadas). En mi experiencia, esto puede conducir a un desastre si generalmente su conjunto de datos es pequeño.
En un mundo perfecto, también tiene un conjunto de validación que nunca usa para entrenar a su modelo, ni siquiera en una configuración de CV. Lo conserva con el único propósito de probar el rendimiento final de un modelo antes de enviar el documento :-)
fuente