Supongamos que tengo una función suave como . Tengo un conjunto de entrenamiento y, por supuesto, no sé f, aunque puedo evaluar f donde quiera.
¿Los árboles de regresión son capaces de encontrar un modelo uniforme de la función (por lo tanto, un pequeño cambio en la entrada solo debería dar un pequeño cambio en la salida)?
Por lo que leí en la Lección 10: Árboles de regresión, me parece que los árboles de regresión básicamente ponen los valores de las funciones en contenedores:
Para los árboles de regresión clásicos, el modelo en cada celda es solo una estimación constante de Y.
Mientras escriben "clásico", ¿supongo que hay una variante en la que las células hacen algo más interesante?
fuente
En los árboles de regresión clásicos, tiene un valor en la hoja, pero en la hoja puede tener un modelo de regresión lineal, consulte este ticket.
También puede usar un conjunto de árboles (Random Forest o Gradient Boosting Machines) para tener un valor de salida continuo.
fuente
Si extiende ligeramente la pregunta para incluir técnicas generales de aumento de gradiente (en contraste con el caso especial de los árboles de regresión aumentados), entonces la respuesta es sí. El aumento de gradiente se ha utilizado con éxito como alternativa para la selección de variables. Un buen ejemplo es el paquete mboost . La clave es que, para empezar, la clase de aprendices base utilizada para impulsar consiste en modelos continuos. Este tutorial describe las clases típicas de aprendices básicos de la siguiente manera:
Tenga en cuenta que en particular menciona wavelets. Los árboles y las wavelets se han combinado con éxito antes en wavelets basadas en árboles.
fuente