¿Es la suma de dos árboles de decisión equivalentes a un solo árbol de decisión?

Supongamos que tenemos dos árboles de regresión (árbol A y árbol B) que asignan la entrada a la salida . Sea para el árbol A y para el árbol B. Cada árbol usa divisiones binarias, con hiperplanos como funciones de separación.$x \in \mathbb{R}^d$$\hat{y} \in \mathbb{R}$$\hat{y} = f_A(x)$$f_B(x)$

Ahora, supongamos que tomamos una suma ponderada de las salidas del árbol:

¿Es la función equivalente a un solo árbol de regresión (más profundo)? $f_C$Si la respuesta es "a veces", ¿en qué condiciones?

Idealmente, me gustaría permitir hiperplanos oblicuos (es decir, divisiones realizadas en combinaciones lineales de características). Pero, suponiendo que las divisiones de una sola característica podrían estar bien si esa es la única respuesta disponible.

Ejemplo

Aquí hay dos árboles de regresión definidos en un espacio de entrada 2D:

La figura muestra cómo cada árbol divide el espacio de entrada y la salida de cada región (codificada en escala de grises). Los números coloreados indican regiones del espacio de entrada: 3,4,5,6 corresponden a nodos de hoja. 1 es la unión de 3 y 4, etc.

Ahora supongamos que promediamos la salida de los árboles A y B:

El resultado promedio se representa a la izquierda, con los límites de decisión de los árboles A y B superpuestos. En este caso, es posible construir un único árbol más profundo cuya salida sea equivalente al promedio (trazado a la derecha). Cada nodo corresponde a una región de espacio de entrada que puede construirse a partir de las regiones definidas por los árboles A y B (indicados por números coloreados en cada nodo; varios números indican la intersección de dos regiones). Tenga en cuenta que este árbol no es único: podríamos haber comenzado a construir desde el árbol B en lugar del árbol A.

Este ejemplo muestra que existen casos en los que la respuesta es "sí". Me gustaría saber si esto siempre es cierto.

Sí, la suma ponderada de un árbol de regresión es equivalente a un solo árbol de regresión (más profundo).

Aprobador universal de funciones

Un árbol de regresión es un aproximador de función universal (véase, por ejemplo, teoría ). La mayoría de las investigaciones sobre aproximaciones de funciones universales se realizan en redes neuronales artificiales con una capa oculta (lea este excelente blog). Sin embargo, la mayoría de los algoritmos de aprendizaje automático son aproximaciones de funciones universales.

Ser un aproximador de función universal significa que cualquier función arbitraria puede representarse aproximadamente. Por lo tanto, no importa cuán compleja se vuelva la función, una aproximación de función universal puede representarla con cualquier precisión deseada. En el caso de un árbol de regresión, puede imaginar uno infinitamente profundo. Este árbol infinitamente profundo puede asignar cualquier valor a cualquier punto en el espacio.

Como una suma ponderada de un árbol de regresión es otra función arbitraria, existe otro árbol de regresión que representa esa función.

Un algoritmo para crear tal árbol

$T_1$$T_2$$T_2$$T1$$T1$$T2$

El siguiente ejemplo muestra dos árboles simples que se agregan con un peso de 0.5. Tenga en cuenta que nunca se alcanzará un nodo, porque no existe un número menor que 3 y mayor que 5. Esto indica que estos árboles se pueden mejorar, pero no los invalida.

¿Por qué usar algoritmos más complejos?

@ Usεr11852 planteó una pregunta adicional interesante en los comentarios: ¿por qué usaríamos algoritmos de refuerzo (o de hecho cualquier algoritmo de aprendizaje automático complejo) si cada función se puede modelar con un árbol de regresión simple?

Los árboles de regresión pueden representar cualquier función, pero ese es solo un criterio para un algoritmo de aprendizaje automático. Otra propiedad importante es qué tan bien se generalizan. Los árboles de regresión profunda son propensos al sobreajuste, es decir, no se generalizan bien. Un bosque aleatorio promedia muchos árboles profundos para evitar esto.