¿La implementación de validación cruzada influye en sus resultados?

9

Como sabe, hay dos tipos populares de validación cruzada, K-fold y submuestreo aleatorio (como se describe en Wikipedia ). Sin embargo, sé que algunos investigadores están haciendo y publicando artículos donde algo que se describe como un CV K-fold es de hecho un submuestreo aleatorio, por lo que en la práctica nunca se sabe lo que realmente está leyendo el artículo.
Por lo general, por supuesto, la diferencia es imperceptible, y esa es mi pregunta: ¿puedes pensar en un ejemplo cuando el resultado de un tipo es significativamente diferente de otro?

machine-learning cross-validation
fuente

Respuestas:

4

Ciertamente puede obtener resultados diferentes simplemente porque entrena en diferentes ejemplos. Dudo mucho que haya un algoritmo o dominio de problema en el que los resultados de los dos difieran de alguna manera predecible.

bmargulies
fuente
Quise decir resultados significativamente diferentes. También creo que no hay ninguno, al menos un ejemplo del mundo real. Aún así, creo que esperaré un poco más.
3

Por lo general, por supuesto, la diferencia es imperceptible, y esa es mi pregunta: ¿puedes pensar en un ejemplo cuando el resultado de un tipo es significativamente diferente de otro?

No estoy seguro de que la diferencia sea imperceptible, y que solo en un ejemplo ad hoc se notará. Los métodos de validación cruzada y bootstrapping (submuestreo) dependen de manera crítica de sus parámetros de diseño, y esta comprensión aún no está completa. En general, los resultados dentro de la validación cruzada de k veces dependen críticamente del número de veces, por lo que puede esperar resultados siempre diferentes de los que observaría en el submuestreo.

Caso en cuestión: supongamos que tiene un modelo lineal verdadero con un número fijo de parámetros. Si usa la validación cruzada k-fold (con una k fija y dada), y deja que el número de observaciones llegue al infinito, la validación cruzada k-fold será asintóticamente inconsistente para la selección del modelo, es decir, identificará un modelo incorrecto con probabilidad mayor que 0. Este sorprendente resultado se debe a Jun Shao, "Selección de modelo lineal por validación cruzada", Revista de la Asociación Americana de Estadística , 88 , 486-494 (1993), pero se pueden encontrar más artículos en esta línea.

En general, los documentos estadísticos respetables especifican el protocolo de validación cruzada, exactamente porque los resultados no son invariables. En el caso de que elijan una gran cantidad de pliegues para grandes conjuntos de datos, comentan e intentan corregir los sesgos en la selección del modelo.

alegre
fuente
No, no, no, se trata del aprendizaje automático, no de la selección del modelo.
1
Distinción interesante Pensé que la selección del modelo era fundamental para el aprendizaje automático, en casi todos los sentidos del término.
alegre
Todas esas cosas funcionan para modelos triviales (en su mayoría lineales) cuando tiene pocos parámetros y solo desea ajustarlos a los datos para decir algo al respecto, como si tuviera y y x y desea verificar si y = x ^ 2 o y = x. Aquí hablo sobre el error de estimación de modelos como SVM o RF que pueden tener miles de parámetros y aún no se ajustan demasiado debido a heurísticas complejas.
Estos resultados son válidos para la regresión de modelos lineales generales con un número arbitrario de variables independientes. Las variables pueden ser aprendices arbitrarios. La suposición crucial es que a medida que el número de observaciones llega al infinito, el número de estudiantes que describen el modelo verdadero permanece limitado. Todo esto funciona para la regresión, por lo que para una tarea de clasificación como la suya no estoy seguro de que ayude.
alegre
No es asi; GLM no es aprendizaje automático. Los verdaderos métodos de aprendizaje automático son lo suficientemente sabios como para mantener su nivel de complejidad independiente del creciente número de objetos (si es suficiente, por supuesto); incluso para modelos lineales, toda esta teoría funciona bastante mal ya que la convergencia es pobre.