¿Resultados teóricos para bosques aleatorios?

9

Los bosques aleatorios tienen una reputación entre los profesionales de estar entre las técnicas de clasificación más efectivas. Sin embargo, no los encontramos mucho en la literatura teórica del aprendizaje, de la cual deduzco una ausencia de resultados teóricos profundos. Si uno quisiera profundizar en esta teoría, ¿por dónde empezaría?

machine-learning lg.learning Aria
fuente
2
Hay un nuevo artículo en el próximo SODA'15 que puede ser relevante. Ver encuentros.siam.org/sess/dsp_talk.cfm?p=68795
Chandra Chekuri
@ChandraChekuri, solo veo un resumen, pero no un artículo. ¿Hay un documento completo? ¿Y tiene algo que ver con el método de aprendizaje automático de bosques aleatorios (para tareas supervisadas de aprendizaje / clasificación)?
DW
@DW Escriba a los autores y vea si están dispuestos a compartir una copia. Soy consciente de los resultados pero no he visto el documento yo mismo.
Chandra Chekuri

Respuestas:

5

Después de la respuesta de Simone, Gerard Biau tiene varios documentos muy buenos que analizan la convergencia y la consistencia de bosques aleatorios. Los análisis son para versiones ligeramente simplificadas del algoritmo en comparación con Breiman 2001, pero menos simplificadas que los resultados anteriores.

Los documentos de Biau (junto con sus colaboradores) están disponibles en su sitio web:

http://www.lsta.upmc.fr/BIAU/publications.html

Uno que es particularmente relevante es un trabajo "en prensa" sobre consistencia: http://www.lsta.upmc.fr/BIAU/sbv.pdf

Hay otros 2-3 documentos con contenido forestal aleatorio. Me acabo de unir a cstheory, por lo que no puedo publicar más de dos enlaces, pero el sitio de publicaciones anterior los tiene todos.

Espero que esto sea de ayuda. Parece que hay una explosión de actividad reciente desde 2008, después de un período de uso en gran medida empírico del método. Y la buena noticia es que las investigaciones teóricas parecen mostrar que el método es robusto y tiene buenas propiedades.

Mark Madsen
fuente
6

Supongo que ya echaste un vistazo al artículo de 2001 de Breiman sobre RF. Solo puedo señalar algunas otras referencias:

Comparaciones empíricas de diferentes simplificaciones de RF que permiten probar teoremas: Reduciendo la brecha: bosques aleatorios en teoría y en práctica

Esta es la referencia más nueva que puedo proporcionar. En este documento también puede encontrar algunas citas de los documentos de Biau sobre el trabajo inicial sobre resultados teóricos para RF.

Si le interesan los resultados teóricos sobre la importancia variable en RF: comprender las importancias variables en los bosques de árboles aleatorizados

En realidad, me acabo de enterar de que el autor del último artículo (Gilles Louppe) acaba de publicar en arxiv su tesis doctoral (v2): Comprender los bosques aleatorios: de la teoría a la práctica

Simone
fuente