El refuerzo del árbol de gradiente propuesto por Friedman utiliza árboles de decisión con Jnodos terminales (= hojas) como aprendices básicos. Hay varias formas de hacer crecer un árbol con Jnodos exactos, por ejemplo, uno puede hacer crecer el árbol de una manera profunda o de primera, ... ¿Hay...
Tengo un GLMM de la forma: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Cuando lo uso drop1(model, test="Chi"), obtengo resultados diferentes a los que uso Anova(model, type="III")del paquete del automóvil o summary(model). Estos dos...
En muchos algoritmos de aprendizaje automático, el escalado de características (también conocido como escalado variable, normalización) es un paso de preprocesamiento común Wikipedia - Escalado de características - esta pregunta estaba cerrada Pregunta # 41704 - ¿Cómo y por qué funcionan la...
Este es solo un ejemplo que he encontrado varias veces, por lo que no tengo ningún dato de muestra. Ejecutar un modelo de regresión lineal en R: a.lm = lm(Y ~ x1 + x2) x1Es una variable continua. x2es categórico y tiene tres valores, por ejemplo, "Bajo", "Medio" y "Alto". Sin embargo, la salida...
Investigando sobre el algoritmo xgboost, revisé la documentación . En este enfoque, los árboles se regularizan utilizando la definición de complejidad donde y son parámetros, es el número de hojas terminales y es la puntuación en cada hoja.Ω ( f) = γT+12λ∑j = 1Tw2jΩ(F)=γT+12λ∑j=1Twj2 \Omega(f) =...
Estoy haciendo una tarea sobre árboles de decisión, y una de las preguntas que tengo que responder es "¿Por qué los estimadores están construidos a partir de árboles sesgados, y cómo ayuda el embolsado a reducir su variación?". Ahora, sé que los modelos sobreajustados tienden a tener un sesgo...
Este artículo afirma que en CART, debido a que se realiza una división binaria en una sola covariable en cada paso, todas las divisiones son ortogonales y, por lo tanto, no se consideran las interacciones entre covariables. Sin embargo, muchas referencias muy serias afirman, por el contrario, que...
He utilizado rpart.controlpara minsplit=2, y obtuvo los siguientes resultados de rpart()la función. Para evitar sobreajustar los datos, ¿necesito usar splits 3 o splits 7? ¿No debería usar splits 7? Por favor hagamelo saber. Variables realmente utilizadas en la construcción de árboles: [1] ct_a...
Soy un recién llegado al análisis de supervivencia, aunque tengo algunos conocimientos en clasificación y regresión. Para la regresión, tenemos estadísticas de MSE y R cuadrado. Pero, ¿cómo podemos decir que el modelo de supervivencia A es superior al modelo de supervivencia B además de algún...
Hola, estoy estudiando técnicas de regresión. Mis datos tienen 15 características y 60 millones de ejemplos (tarea de regresión). Cuando probé muchas técnicas de regresión conocidas (árbol impulsado por gradiente, regresión de árbol de decisión, AdaBoostRegressor, etc.), la regresión lineal...
Digamos que tenemos una muestra de dos poblaciones: Ay B. Supongamos que estas poblaciones están formadas por individuos y elegimos describirlos en términos de características. Algunas de estas características son categóricas (por ejemplo, ¿conducen al trabajo?) Y otras son numéricas (por ejemplo,...
Por lo que entiendo, el argumento cp de la rpartfunción ayuda a podar previamente el árbol de la misma manera que los argumentos minplit o minbucket. Lo que no entiendo es cómo se calculan los valores de CP. Por ejemplo df<-data.frame(x=c(1,2,3,3,3,4), y=as.factor(c(TRUE, TRUE, FALSE, TRUE,...
Sé que la rpartfunción de R mantiene los datos que necesitaría para implementar una división multivariada, pero no sé si en realidad está realizando divisiones multivariadas. Intenté investigarlo en línea mirando los rpartdocumentos, pero no veo ninguna información de que pueda hacerlo o lo esté...
Llegué a varias publicaciones y documentos alegando que no se necesita podar árboles en un conjunto de árboles "embolsados" (ver 1 ). Sin embargo, ¿es necesariamente (o al menos en algunos casos conocidos) perjudicial realizar la poda (digamos, con la muestra OOB) en los árboles individuales en un...
¿Existe algún método para construir árboles de decisión que tenga en cuenta los predictores estructurados / jerárquicos / multinivel, que me permitan imponer conocimientos de dominio o restricciones en las interacciones, por
En ESL , Sección 9.7, hay un párrafo que establece que el tiempo de cálculo de una división en el crecimiento de un árbol de clasificación (o regresión) generalmente se escala como donde es el número de predictores y es el número de muestraspNlogNpNlogNp N \log NpppNNN Un enfoque ingenuo da como...
¿Es común tener una técnica de regresión diferente en las hojas de un árbol de regresión (por ejemplo, regresión lineal)? Lo he estado buscando durante la última hora, pero todo lo que encuentro son implementaciones que tienen un valor constante en las hojas de los árboles. ¿Hay alguna razón por la...
Se sabe que al construir un árbol de decisión, dividimos la variable de entrada exhaustivamente y encontramos la "mejor" división por enfoque de prueba estadística o enfoque de función de impureza. Mi pregunta es cuando usamos una variable continua como la variable de entrada (solo unos pocos...
En el modelo predictivo aplicado de Kuhn y Johnson, los autores escriben: Finalmente, estos árboles sufren de sesgo de selección: los predictores con un mayor número de valores distintos se ven favorecidos sobre los predictores más granulares (Loh y Shih, 1997; Carolin et al., 2007; Loh, 2010)....
Mi pregunta trata sobre los árboles de clasificación . Considere el siguiente ejemplo del conjunto de datos de Iris: Quiero seleccionar manualmente el mejor predictor para la primera división. Según el algoritmo CART, la mejor característica para hacer una división es la que maximiza la...