¿Qué pasa si alta precisión de validación pero baja precisión de prueba en investigación?

Tengo una pregunta específica sobre la validación en la investigación de aprendizaje automático.

Como sabemos, el régimen de aprendizaje automático les pide a los investigadores que capaciten a sus modelos en los datos de capacitación, que elijan entre los modelos candidatos por conjunto de validación e informen la precisión del conjunto de prueba. En un estudio muy riguroso, el conjunto de prueba solo se puede usar una vez. Sin embargo, nunca puede ser el escenario de la investigación, porque tenemos que mejorar nuestro rendimiento hasta que la precisión de la prueba sea mejor que los resultados de vanguardia antes de que podamos publicar (o incluso enviar) un documento.

Ahora viene el problema. Digamos que el 50% es el resultado más avanzado, y mi modelo generalmente puede alcanzar una precisión de 50-51, que es mejor en promedio.

Sin embargo, mi mejor precisión de validación (52%) produce una precisión de prueba muy baja, por ejemplo, 49%. Luego, tengo que informar el 49% como mi rendimiento general si no puedo mejorar aún más la validación acc, lo que creo que no es de esperar. Esto realmente me impide estudiar el problema, pero no le importa a mis compañeros, porque no ven el 52% acc, lo que creo que es un caso atípico.

Entonces, ¿cómo suele ser la gente en su investigación?

La validación de ps k-fold no es de ayuda, porque la misma situación aún puede suceder.

Por definición, cuando la precisión del entrenamiento (o cualquier métrica que esté usando) es mayor que su prueba, tiene un modelo sobreajustado . En esencia, su modelo ha aprendido detalles que lo ayudan a desempeñarse mejor en sus datos de entrenamiento que no son aplicables a la población de datos más grande y, por lo tanto, resultan en un peor rendimiento.

No estoy seguro de por qué dices que la validación de k-fold no sería útil. Su propósito es ayudar a evitar el ajuste excesivo de sus modelos. ¿Quizás no tienes suficientes datos? Una declaración como esta es importante, especialmente si va a defender cualquier investigación cuando tales métodos de validación cruzada son muy recomendables.

Dice que no puede usar el conjunto de prueba solo una vez (¿de nuevo supongo un tamaño de muestra más pequeño?). En mi experiencia, el camino más común seguido es la validación cruzada k-fold de su modelo. Tomemos un ejemplo con un CV de 10 veces para un tamaño de muestra de 100 y supongamos que su problema de clasificación es binario para simplificar los cálculos. Por lo tanto, he dividido mis datos en 10 pliegues diferentes . Luego ajusto mi modelo a pliegues de 9/10 y luego predigo el 1/10 que dejé fuera. Para esta primera ejecución, la matriz de confusión resultante es:

    0  1
0   4  1
1   2  3

Luego repito este análisis nuevamente con el siguiente 1/10 veces fuera y entreno en el otro 9/10. Y obtengo mi próxima matriz de confusión. Una vez completado, tengo 10 matrices de confusión. Luego sumaría estas matrices (por lo que tenía las 100 muestras predichas) y luego reportaría mis estadísticas (precisión, PPV, puntaje F1, Kappa, etc.). Si su precisión no está donde desea que esté, hay muchas otras posibilidades.

1. Su modelo necesita ser mejorado (cambiar los parámetros)
2. Es posible que deba probar un algoritmo de aprendizaje automático diferente (no todos los algoritmos creados son iguales)
3. Necesita más datos (relación sutil difícil de encontrar)
4. Es posible que deba intentar transformar sus datos (dependiendo del algoritmo utilizado)
5. Es posible que no haya una relación entre sus variables dependientes e independientes.

El hecho es que una métrica de prueba más baja (p. Ej., Precisión) que su entrenamiento es indicativa de sobreajustar su modelo, no algo que desea cuando intenta crear un nuevo modelo predictivo.