Para las redes neuronales tenemos el teorema de aproximación universal que establece que las redes neuronales pueden aproximarse a cualquier función continua en un subconjunto compacto de .
¿Hay un resultado similar para los árboles impulsados por gradiente? Parece razonable ya que puede seguir agregando más ramas, pero no puedo encontrar ninguna discusión formal sobre el tema.
EDITAR: Mi pregunta parece muy similar a ¿Pueden los árboles de regresión predecir continuamente? , aunque tal vez no pregunte exactamente lo mismo. Pero vea esa pregunta para una discusión relevante.
decision-trees
Imran
fuente
fuente
Respuestas:
Sí, cree una región para cada punto de datos (es decir, memorice los datos de entrenamiento).
Por lo tanto, es posible que los árboles impulsados por gradiente se ajusten a cualquier dato de entrenamiento, pero tendría una generalización limitada a los nuevos datos.
fuente