Tratar con un buen desempeño en los datos de capacitación y validación, pero muy mal desempeño en los datos de prueba

Tengo un problema de regresión con 5-6k variables. Divido mis datos en 3 conjuntos no superpuestos: capacitación, validación y pruebas. Entreno usando solo el conjunto de entrenamiento y genero muchos modelos de regresión lineal diferentes eligiendo un conjunto diferente de 200 variables para cada modelo (intento aproximadamente 100k de tales subconjuntos). Califico un modelo como . Usando este criterio, termino eligiendo un modelo. Resulta que el modelo elegido tiene R ^ 2 muy similar en el entrenamiento y los datos de validación. Sin embargo, cuando pruebo este modelo en los datos de prueba, tiene un R ^ 2 mucho más bajo . Por lo tanto, parece que de alguna manera estoy sobreajustando tanto el entrenamiento como los datos de validación. ¿Alguna idea sobre cómo puedo obtener un modelo más robusto? $\min(R^2_{\text{training data}}, R^2_{\text{validation data}})$$R^2$$R^2$

Intenté aumentar el tamaño de los datos de entrenamiento, pero eso no ayudó. Estoy pensando en reducir el tamaño de cada subconjunto.

He intentado usar la regularización. Sin embargo, los modelos que obtengo usando el lazo o la red elástica tienen un R ^ 2 mucho más bajo $R^2$en el conjunto de entrenamiento y en el conjunto de validación, en comparación con el modelo que obtengo al hacer el enfoque de selección de subconjunto. Por lo tanto, no considero estos modelos, ya que supongo que si el Modelo A funciona mejor que el Modelo B tanto en el conjunto de entrenamiento como en el conjunto de validación, el Modelo A es claramente mejor que el Modelo B. Sería muy curioso si usted no estoy de acuerdo con esto

En una nota relacionada, ¿crees que $R^2$ es un mal criterio para elegir mis modelos?

Si bien esto suena como un sobreajuste, creo que en realidad es más probable que tenga algún tipo de "error" en su código o proceso. Comenzaría por verificar que su conjunto de pruebas no sea sistemáticamente diferente del conjunto de capacitación / validación. Supongamos que sus datos están ordenados por fecha (o lo que sea). Si utilizó el primer 50% para el entrenamiento, el siguiente 25% para la validación y el resto para las pruebas, es posible que haya estratificado accidentalmente sus datos de manera que los datos de entrenamiento sean algo representativos de los datos de validación, pero no tanto para el prueba de datos. Esto es bastante fácil de hacer por accidente.

También debe asegurarse de no estar "sumergiendo dos veces" en los datos de validación de alguna manera, lo que a veces ocurre accidentalmente.

Alternativamente, el propio @Frank Harrell de CV ha informado de que una sola división de tren / prueba a menudo es demasiado variable para proporcionar información útil sobre el rendimiento de un sistema (tal vez pueda pesar con una cita o algunos datos). Podría considerar hacer algo como validación cruzada o bootstrapping, que le permitiría medir tanto la media como la varianza de su medida de precisión.

A diferencia de Mikera, no creo que el problema sea tu mecanismo de puntuación. Dicho esto, no puedo imaginar una situación en la que su , por lo que sugeriría la puntuación utilizando solo los datos de validación.$R^2_{training} < R^2_{validation}$

En términos más generales, creo que o algo así es una opción razonable para medir el rendimiento de un modelo de salida continua, suponiendo que conozca sus posibles advertencias. Dependiendo exactamente de lo que esté haciendo, es posible que también desee ver el error máximo o peor. Si de alguna manera está discretizando su salida (regresión logística, algunos umbrales externos), entonces mirar precisión / recuperación / AUC podría ser una mejor idea.$R^2$

Está sobreajustando porque está utilizando min(training r-square,validation r-square)datos para producir una puntuación, que a su vez se está utilizando para impulsar la selección del modelo. Debido a que su r-cuadrado de entrenamiento es probable que sea igual o menor (después de todo, acaba de ejecutar una regresión), esto es más o menos equivalente a hacer la selección del modelo en el r-cuadrado de los datos de entrenamiento.

Esto tiene el efecto de ajustarse demasiado a los datos de entrenamiento e ignorar los datos de validación.

Si usó justo validation r-squareentonces debería obtener un mejor resultado.