Cómo hacer que los árboles del bosque al azar voten decimales pero no binarios

Mi pregunta es sobre la clasificación binaria, por ejemplo, separar a los buenos clientes de los malos clientes, pero no la regresión o la clasificación no binaria. En este contexto, un bosque aleatorio es un conjunto de árboles de clasificación. Para cada observación, cada árbol vota un "sí" o "no", y el voto promedio de todos los árboles es la probabilidad final del bosque.

Mi pregunta es sobre la modificación del comportamiento de los árboles subyacentes: ¿Cómo podemos modificar la función randomForest (del paquete randomForest de R) para que cada árbol vote un decimal en lugar de un binario sí / no. Para comprender mejor lo que quiero decir con decimal, pensemos en cómo funcionan los árboles de decisión.

Un árbol de decisión completamente desarrollado tiene 1 instancia buena o 1 mala en sus nodos terminales. Suponga que limito el tamaño del nodo terminal a 100. Entonces los nodos terminales se verán así:

Nodo1 = 80 malo, 20 bueno
Nodo2 = 51 malo, 49 bueno
Nodo3 = 10 malo, 90 bueno

Tenga en cuenta que, aunque el Nodo1 y el Nodo2 votan "malo", su "fuerza de maldad" es muy diferente. Eso es lo que busco. En lugar de hacer que produzcan 1 o 0 (que es el comportamiento predeterminado), ¿se puede modificar el paquete R para que vote 80/100, 51/100, 10/100, etc.?

Este es un punto sutil que varía de un software a otro. Hay dos métodos principales que conozco:

1. Hojas binarias: cada hoja vota como la mayoría. Así es como randomForestfunciona en R, incluso cuando se usapredict(..., type="prob")
2. Hojas de proporción: cada hoja devuelve la proporción de las muestras de entrenamiento que pertenecen a cada clase. Así es como sklearn.ensemble.RandomForestClassifier.predict_probafunciona. En otra respuesta, @ usεr11852 señala que el rangerpaquete de R también proporciona esta funcionalidad. Afortunadamente, puedo dar fe de que mi uso limitado rangertambién es mucho, mucho más rápido que randomForest.

No creo que haya una manera fácilrandomForest de usar el método de hoja proporcional, ya que el software R es en realidad un gancho en un programa C & FORTRAN. A menos que disfrute de modificar el código de otra persona, tendrá que escribir el suyo propio o buscar otra implementación de software.

Es perfectamente posible cultivar un "bosque de probabilidad". La metodología en Malley et al. (2012) " Máquinas de probabilidad: estimación de probabilidad consistente usando máquinas de aprendizaje no paramétricas " que describe cómo se hace esto y cómo se compara con la implementación forestal aleatoria estándar. Además, el excelente R package ranger ya implementa esta funcionalidad; solo configúrelo probability = TRUEcuando realice la llamada a la función ranger.

Simplemente use predict.randomForest(..., type="prob"). Estás haciendo algo bueno .