Árboles de decisión potenciados calibrados en R o MATLAB

8

En una comparación empírica de algoritmos de aprendizaje supervisados (ICML 2006), los autores (Rich Caruana y Alexandru Niculescu-Mizil) evaluaron varios algoritmos de clasificación (SVM, ANN, KNN, bosques aleatorios, árboles de decisión, etc.) e informaron que los árboles reforzados calibrados clasificado como el mejor algoritmo de aprendizaje en general en ocho métricas diferentes (puntaje F, área ROC, precisión promedio, entropía cruzada, etc.).

Me gustaría probar árboles de decisión potenciados calibrados en uno de mis proyectos, y me preguntaba si alguien podría sugerir un buen paquete R o una biblioteca MATLAB para esto.

Soy relativamente nuevo en R, aunque tengo una gran experiencia con MATLAB y Python. He leído acerca de R GBM , árbol , y rpart pero no estoy seguro de si estos paquetes implementan calibrados árboles de decisión impulsado o si hay otros que los implementan.

Gracias

Amelio Vazquez-Reina
fuente

Respuestas:

3

Sobre R, votaría por el paquete gbm ; hay una viñeta que proporciona una buena visión general: Modelos potenciados generalizados: una guía para el paquete gbm . Si está buscando una interfaz unificada para algoritmos de ML, le recomiendo el paquete caret que tiene funciones integradas para el preprocesamiento de datos, el remuestreo y la evaluación comparativa del rendimiento del modelo. Otros paquetes para árboles potenciados se informan en la Tabla 1 de una de sus viñetas adjuntas, Ajuste del modelo, predicción y funciones de rendimiento . También hay un ejemplo de ajuste de parámetros para árboles potenciados en el documento JSS , págs. 10-11.

Nota: No lo verifiqué, pero también puedes buscar en Weka (hay una interfaz R, RWeka ).

chl
fuente
1
Gracias @chl. Los echaré un vistazo. ¿Sabes si alguno de estos paquetes proporciona salidas calibradas? (es decir, probabilidades calibradas, en lugar de solo puntajes)
Amelio Vazquez-Reina
1
Comprendí que la pregunta era: "¿Se han implementado los métodos de escala de platt o de regresión isotónica en R?"
charles
@ user023472 ¿Alguna vez encontró una respuesta a este problema?
charles