Se sabe que al construir un árbol de decisión, dividimos la variable de entrada exhaustivamente y encontramos la "mejor" división por enfoque de prueba estadística o enfoque de función de impureza.
Mi pregunta es cuando usamos una variable continua como la variable de entrada (solo unos pocos valores duplicados), el número de divisiones posibles podría ser muy grande, para encontrar la 'mejor' división llevará mucho tiempo. ¿Cómo trataría el científico de datos?
He leído algunos materiales que la gente haría una agrupación de niveles de la entrada para limitar las posibles divisiones. ( ejemplo ) Sin embargo, no explican cómo se hace. ¿En qué nos basamos para agrupar una variable univariante? ¿Hay algún recurso para obtener más detalles o alguien puede explicarlo en detalle?
¡Gracias!
Respuestas:
El método común es verificar solo ciertos contenedores como punto de división / umbral. Creo que a esto se refiere el autor de la presentación que publicaste. Digamos que tiene una variable aleatoria de entrada continuaX con las 10 muestras
Probablemente no verifique cada valor deX de los 10 valores observados como punto de división. En su lugar, por ejemplo, calcularía simplemente verificar el cuantil del 20%, 40%, 60%, 80% de sus datos. Entonces pides tus datos
y "agrupe" sus datos en contenedores
Entonces, solo tendría que verificar -1,2.5,4.5 y 8 como posible punto de división (interpola linealmente entre los contenedores)
El siguiente documento compara tres reglas sobre cómo elegir los puntos de división para probar. Creo que es lo que estás buscando.
@article {chickeringefficient, title = {Determinación eficiente de puntos de división dinámicos en un árbol de decisión}, autor = {Chickering, David Maxwell y Meek, Christopher y Rounthwaite, Robert}}
fuente