Selección de modelos en el aprendizaje fuera de línea versus en línea

Últimamente he tratado de aprender más sobre el aprendizaje en línea (¡es absolutamente fascinante!), Y un tema que no he podido entender es cómo pensar en la selección de modelos en contextos fuera de línea en línea. Específicamente, supongamos que entrenamos un clasificador$S$ fuera de línea, basado en un conjunto de datos fijo $D$. Estimamos sus características de rendimiento mediante validación cruzada, por ejemplo, y seleccionamos el mejor clasificador de esta manera.

Esto es en lo que he estado pensando: ¿cómo, entonces, hacemos para aplicar $S$a una configuración en línea? ¿Podemos suponer que lo mejor$S$encontrado fuera de línea también funcionará bien como un clasificador en línea? ¿Tiene sentido reunir algunos datos para entrenar?$S$, luego tome el mismo clasificador $S$ y "operacionalizarlo" en una configuración en línea con los mismos parámetros encontrados en $D$¿O podría ser mejor otro enfoque? ¿Cuáles son las advertencias en estos casos? ¿Cuáles son los resultados clave aquí? Etcétera.

De todos modos, ahora que está ahí afuera, supongo que lo que estoy buscando son algunas referencias o recursos que me ayudarán (¡y espero que otros, que han estado pensando en esto!) Hagan la transición de pensar únicamente en términos fuera de línea, y Desarrollar el marco mental para pensar sobre el tema de la selección de modelos y estas preguntas de una manera más coherente a medida que avanza mi lectura.

Obviamente, en un contexto de transmisión no puede dividir sus datos en trenes y conjuntos de pruebas para realizar la validación cruzada. Usar solo las métricas calculadas en el conjunto inicial de trenes suena aún peor, ya que supone que sus datos cambian y su modelo se adaptará a los cambios, por eso está usando el modo de aprendizaje en línea en primer lugar.

Lo que podría hacer es usar el tipo de validación cruzada que se usa en las series de tiempo (ver Hyndman y Athanasopoulos, 2018 ). Para evaluar la precisión de los modelos de series de tiempo, puede utilizar un método secuencial, en el que el modelo está entrenado$k$ observaciones para predecir sobre el $k+1$punto de tiempo "futuro". Esto podría aplicarse un punto a la vez, o en lotes, y el procedimiento se repite hasta que haya atravesado todos sus datos (consulte la figura a continuación, tomada de Hyndman y Athanasopoulos, 2018 ).

Al final, de alguna manera promedias (generalmente la media aritmética, pero también podrías usar algo como el suavizado exponencial) las métricas de error para obtener la estimación de precisión general.

En un escenario en línea, esto significaría que comienza en el punto 1 y prueba en el punto 2, luego vuelve a entrenar en el punto 2, para probar en el punto 3, etc.

Tenga en cuenta que dicha metodología de validación cruzada le permite tener en cuenta la naturaleza cambiante del rendimiento de sus modelos. Obviamente, a medida que su modelo se adapta a los datos y los datos pueden cambiar, necesitaría monitorear las métricas de error regularmente: de lo contrario, no sería muy diferente del uso de trenes de tamaño fijo y conjuntos de pruebas.