Preguntas etiquetadas con cart

Después de realizar el análisis de componentes principales (PCA), quiero proyectar un nuevo vector en el espacio PCA (es decir, encontrar sus coordenadas en el sistema de coordenadas PCA). He calculado PCA en lenguaje R usando prcomp. Ahora debería poder multiplicar mi vector por la matriz de...

¿Cuáles son los métodos que utilizan los algoritmos de aprendizaje del árbol de decisión para tratar los valores perdidos? ¿Simplemente llenan el espacio usando un valor llamado

No soy un experto en bosques aleatorios, pero entiendo claramente que el problema clave con los bosques aleatorios es la generación de árboles (aleatorios). ¿Me puede explicar cómo se generan los árboles? (es decir, ¿cuál es la distribución utilizada para la generación de árboles?) Gracias por...

Tengo un conjunto de datos que consta de 5 características: A, B, C, D, E. Todos son valores numéricos. En lugar de hacer una agrupación basada en la densidad, lo que quiero hacer es agrupar los datos en forma de árbol de decisión. El enfoque que quiero decir es algo como esto: El algoritmo puede...

¿Cuál es la definición de "espacio de características"? Por ejemplo, al leer sobre SVM, leí sobre "mapeo al espacio de características". Cuando leí sobre CART, leí sobre "particionamiento en espacio de características". Entiendo lo que está sucediendo, especialmente para CART, pero creo que hay...

El tocón de decisión es un árbol de decisión con una sola división. También se puede escribir como una función por partes. Por ejemplo, suponga que es un vector, y es el primer componente de , en la configuración de regresión, se puede usar un tocón de decisiónx 1 xXxxX1x1x_1Xxx F( x ) = { 35...

Los bosques al azar se utilizan para la regresión. Sin embargo, por lo que entiendo, asignan un valor objetivo promedio en cada hoja. Dado que solo hay hojas limitadas en cada árbol, solo hay valores específicos que el objetivo puede alcanzar de nuestro modelo de regresión. Entonces, ¿no es solo...

Estoy buscando documentos o textos que comparen y discutan (ya sea empírica o teóricamente): Algoritmos de impulso y árboles de decisión como Random Forests o AdaBoost , y GentleBoost aplicado a los árboles de decisión. con Métodos de aprendizaje profundo como máquinas de Boltzmann...

Hay muchas publicaciones de blog, videos de YouTube, etc. sobre las ideas de embolsar o impulsar árboles. Mi comprensión general es que el pseudocódigo para cada uno es: Harpillera: Tome N muestras aleatorias de x% de las muestras y y% de las características Ajuste su modelo (p. Ej., Árbol de...

¿Cuál es la dimensión VC de un árbol de decisión con k divisiones en dos dimensiones? Digamos que el modelo es CART y las únicas divisiones permitidas son paralelas a los ejes. Entonces, para una división, podemos ordenar 3 puntos en un triángulo y luego, para cualquier etiquetado de los puntos,...

Los bosques aleatorios (RF) son un método competitivo de modelado / extracción de datos. Un modelo de RF tiene una salida: la variable de salida / predicción. El enfoque ingenuo para modelar múltiples salidas con RF sería construir un RF para cada variable de salida. Entonces tenemos N modelos...

En la rutina rpart () para crear modelos CART, usted especifica el parámetro de complejidad al que desea podar su árbol. He visto dos recomendaciones diferentes para elegir el parámetro de complejidad: Elija el parámetro de complejidad asociado con el mínimo error posible de validación cruzada....

Ha pasado un tiempo desde que miré la partición de árboles. La última vez que hice este tipo de cosas, me gusta la fiesta en R (creada por Hothorn). La idea de inferencia condicional a través del muestreo tiene sentido para mí. Pero rpart también tuvo atractivo. En la aplicación actual (no puedo...

Estoy trabajando en la medida de importancia de la característica Gini para bosque aleatorio. Por lo tanto, necesito calcular la disminución de Gini en la impureza del nodo. Esta es la forma en que lo hago, lo que conduce a un conflicto con la definición, lo que sugiere que debo estar equivocado en...

En realidad, estoy escribiendo una implementación de Bosques aleatorios, pero creo que la pregunta es específica de los árboles de decisión (independientemente de los RF). Entonces, el contexto es que estoy creando un nodo en un árbol de decisión y tanto la predicción como las variables objetivo...

Preguntas ¿Depende de si el árbol es poco profundo o profundo? ¿O podemos decir esto independientemente de la profundidad / niveles del árbol? ¿Por qué el sesgo es bajo y la varianza alta? Por favor explique intuitivamente y

Supongamos que tenemos dos árboles de regresión (árbol A y árbol B) que asignan la entrada a la salida . Sea para el árbol A y para el árbol B. Cada árbol usa divisiones binarias, con hiperplanos como funciones de separación.x ∈ RreX∈Rrex \in \mathbb{R}^dy^∈ Ry^∈R\hat{y} \in \mathbb{R}y^= fUN( x...

¿Alguien puede ayudar a explicar algunas de las matemáticas detrás de la clasificación en CART? Estoy buscando entender cómo ocurren dos etapas principales. Por ejemplo, entrené a un clasificador CART en un conjunto de datos y usé un conjunto de datos de prueba para marcar su rendimiento predictivo...

Un colega de mi oficina me dijo hoy: "Los modelos de árbol no son buenos porque quedan atrapados por observaciones extremas". Una búsqueda aquí resultó en este hilo que básicamente respalda el reclamo. Lo que me lleva a la pregunta: ¿bajo qué situación puede ser robusto un modelo CART y cómo se...

Dado que el algoritmo del árbol de decisión se divide en un atributo en cada paso, la profundidad máxima de un árbol de decisión es igual al número de atributos de los datos. ¿Es esto