Volver a probar o validar de forma cruzada cuando el proceso de construcción del modelo fue interactivo

Tengo algunos modelos predictivos cuyo rendimiento me gustaría probar (es decir, tomar mi conjunto de datos, "rebobinarlo" a un punto anterior en el tiempo y ver cómo el modelo hubiera funcionado de manera prospectiva).

El problema es que algunos de mis modelos se construyeron a través de un proceso interactivo. Por ejemplo, siguiendo el consejo de las Estrategias de modelado de regresión de Frank Harrell , en un modelo utilicé splines cúbicas restringidas para manejar posibles asociaciones no lineales entre las características y la respuesta. Asigné los grados de libertad de cada spline en función de una combinación de conocimiento de dominio y medidas univariadas de fuerza de asociación. Pero los grados de libertad que quiero permitir a mi modelo obviamente dependen del tamaño del conjunto de datos, que varía drásticamente cuando se realiza una prueba inversa. Si no quiero seleccionar manualmente los grados de libertad por separado para cada vez que se realiza una prueba de retroceso del modelo, ¿cuáles son mis otras opciones?

Para otro ejemplo, actualmente estoy trabajando en la detección de valores atípicos mediante la búsqueda de puntos con un alto apalancamiento. Si estuviera contento de hacer esto a mano, simplemente miraría cada punto de datos de alto apalancamiento, comprobaría que los datos estaban limpios y los filtraría o los limpiaría a mano. Pero esto se basa en un montón de conocimientos de dominio, por lo que no sé cómo automatizar el proceso.

Agradecería consejos y soluciones tanto (a) al problema general de automatizar partes interactivas del proceso de construcción del modelo, o (b) consejos específicos para estos dos casos. ¡Gracias!

Para su información, esto podría ser más apropiado para SE.DataScience, pero por el momento, lo responderé aquí.

Me parece que podría estar en una situación en la que no tendrá más remedio que escribir un script que implemente sus soluciones. Nunca he trabajado con splines, mi conocimiento de ellos es estrictamente teórico, así que por favor tengan paciencia conmigo y avíseme si hay algo que no esté viendo.

En términos generales, parece que tiene un par de elementos diferentes que tendrá que resolver para implementar esto.

1.) Determinar los parámetros del modelo de forma dinámica. Anteriormente ha mencionado que ha utilizado una combinación de conocimiento de dominio y medidas univariadas. Eso me parece algo que deberías poder manejar heurísticamente. Deberá acordar desde el principio un conjunto de reglas que implementará su programa. Esto puede o no ser una tarea trivial, ya que tendrá que pensar detenidamente sobre las posibles implicaciones de esas reglas. Esto puede requerir que vuelva a visitar cada paso de su proceso y catalogar no solo las decisiones, sino también las razones detrás de esas decisiones.

2.) Realmente implementando su programa. Para que las pruebas de rendimiento sean dinámicas y fáciles de mantener y modificar en el futuro, tendrá que pensar cómo va a estructurarlas. Es probable que desee utilizar algún tipo de bucle para la estimación predictiva del rendimiento de su modelo principal, preferiblemente con una longitud definible por el usuario para permitir una mayor flexibilidad en el futuro. También es probable que desee escribir funciones separadas para cada acción que desee que realice su programa, ya que esto hará que sea más fácil probar la funcionalidad y mantener y modificar su programa en el futuro. Probablemente, como mínimo, necesitará funciones para la selección del conjunto de datos (es decir, solo los períodos de tiempo que han "transcurrido" en el momento de la prueba inversa), la limpieza y la validación (en lo que realmente tendrá que pensar,

Su pregunta sobre la detección y el manejo de valores atípicos también se enmarca en esas dos inquietudes y me gustaría implementar implementando bucles más pequeños dentro de su bucle principal del programa que continuarían "limpiando" y reajustando el modelo hasta que llegue a un punto en el que estaría satisfecho con (que de nuevo, tendrás que definirte).

Si esto suena como una gran tarea, es porque lo es; la gente ha escrito bibliotecas de software completas (a veces de manera muy lucrativa) para realizar este tipo de tarea. Más allá de eso, es difícil ofrecer consejos más específicos sin saber más sobre sus procesos, estructura de datos y el lenguaje de programación en el que ha realizado su trabajo hasta ahora.

Si algo de esto le resulta útil y desea que amplíe algo de esto, comente, hágamelo saber, y estaré más que feliz de hacerlo.

En lugar de tratar de descubrir cómo automatizar sus esfuerzos de ajuste manual del modelo, eludiría todo ese problema al analizar a los alumnos con variaciones más bajas que requieren mucho menos ajuste, incluso si eso conlleva un costo de mayor sesgo del modelo. Desea confianza en los resultados de su backtest, que en gran medida se reduce a una baja varianza de muestreo en sus predicciones, e introduce un proceso de ajuste automático además de un alumno que ya tiene una varianza de muestreo que está trabajando en contra de ese objetivo. Puede parecer que la cola está moviendo al perro aquí, pero cualquier cosa que requiera un ajuste cuidadoso (manual o automático) no es un gran candidato para un entorno de prueba verdaderamente honesto IMO.