Al codificar características categóricas para la regresión lineal, hay una regla: el número de dummies debe ser uno menos que el número total de niveles (para evitar la colinealidad). ¿Existe una regla similar para los árboles de decisión (en bolsas, potenciados)? Pregunto esto porque una...
¿Tiene sentido hacer PCA antes de llevar a cabo una Clasificación de bosque aleatorio? Estoy tratando con datos de texto de alta dimensión, y quiero hacer una reducción de características para ayudar a evitar la maldición de la dimensionalidad, pero ¿Random Forests ya no tiene algún tipo de...
Tengo un conjunto de datos que comprende 24 filas de datos mensuales. Las características son PIB, llegadas al aeropuerto, mes y algunos otros. La variable dependiente es el número de visitantes a un destino turístico popular. ¿Random Forest sería adecuado para tal problema? Los datos no son...
Estoy haciendo una regresión usando Random Forests para predecir precios basados en varios atributos. El código está escrito en Python usando Scikit-learn. ¿Cómo decide si debe transformar sus variables usando exp/ logantes de usarlo para ajustar el modelo de regresión? ¿Es necesario cuando se...
Estoy tratando de entender cómo funciona Random Forest. Tengo una idea de cómo se construyen los árboles, pero no puedo entender cómo Random Forest hace predicciones sobre muestras fuera de bolsa. ¿Alguien podría darme una explicación simple, por favor?
Digamos que tenemos un problema de clasificación binaria con características principalmente categóricas. Utilizamos algún modelo no lineal (por ejemplo, XGBoost o Random Forests) para aprenderlo. ¿Debería preocuparse por la multicolinealidad? ¿Por qué? Si la respuesta a lo anterior es verdadera,...
Al leer el excelente modelo estadístico: Las dos culturas (Breiman 2001) , podemos aprovechar toda la diferencia entre los modelos estadísticos tradicionales (p. Ej., Regresión lineal) y los algoritmos de aprendizaje automático (p. Ej., Ensacado, bosque aleatorio, árboles potenciados ...). Breiman...
Soy bastante nuevo en el aprendizaje automático, las técnicas de CART y similares, y espero que mi ingenuidad no sea demasiado obvia. ¿Cómo maneja Random Forest estructuras de datos jerárquicas o de niveles múltiples (por ejemplo, cuando la interacción entre niveles es de interés)? Es decir,...
Mi pregunta: ¿Por qué el bosque aleatorio considera subconjuntos aleatorios de características para dividir a nivel de nodo dentro de cada árbol en lugar de a nivel de árbol ? Antecedentes: esta es una cuestión de historia. Estaño Kam Ho publicó este trabajo en la construcción de "bosques de...
¿Cuál es una mejor función de costo para un árbol forestal aleatorio: índice de Gini o entropía? Estoy tratando de implementar un bosque aleatorio en
Creo que esta es una pregunta directa, aunque el razonamiento detrás de por qué o por qué no puede no serlo. La razón por la que pregunto es que recientemente escribí mi propia implementación de un RF y, aunque funciona bien, no está funcionando tan bien como esperaba (según el conjunto de datos de...
Estoy tratando de resolver una tarea llamada detección de peatones y entreno clasifer binario en dos categorías positivas - personas, negativas - antecedentes. Tengo un conjunto de datos: cantidad de positivos = 3752 número de negativos = 3800 Uso train \ test split 80 \ 20% y...
Para una competencia reciente de Kaggle, definí (manualmente) 10 características adicionales para mi conjunto de entrenamiento, que luego se usarían para entrenar un clasificador aleatorio de bosques. Decidí ejecutar PCA en el conjunto de datos con las nuevas características, para ver cómo se...
Estoy usando el paquete randomForest en R y usando los datos del iris, el bosque aleatorio generado es una clasificación, pero cuando uso un conjunto de datos con alrededor de 700 características (las características son cada píxel en una imagen de 28x28 píxeles) y la columna de etiqueta se llama...
Entonces, tengo una matriz de aproximadamente 60 x 1000. Lo estoy viendo como 60 objetos con 1000 características; Los 60 objetos se agrupan en 3 clases (a, b, c). 20 objetos en cada clase, y sabemos la verdadera clasificación. Me gustaría hacer un aprendizaje supervisado en este conjunto de 60...
Tengo datos con unos pocos miles de funciones y quiero hacer una selección de funciones recursivas (RFE) para eliminar las que no son informativas. Hago esto con caret y RFE. Sin embargo, comencé a pensar, si quiero obtener el mejor ajuste de regresión (bosque aleatorio, por ejemplo), ¿cuándo debo...
Según tengo entendido, el bosque aleatorio elige aleatoriamente variables variables para construir cada árbol de decisión. Entonces, si mtry = ncol / 3, cada variable se usará en promedio en 1/3 de los árboles. Y 2/3 de los árboles no los usarán. Pero, ¿y si sé que una sola variable es...
Soy nuevo en el aprendizaje automático. Apliqué regresión logística y bosque aleatorio en un mismo conjunto de datos. Entonces obtengo importancia variable (coeficiente absoluto para regresión logística e importancia variable para bosque aleatorio). Estoy pensando en combinar los dos para obtener...
¿Se puede entrenar un bosque aleatorio para predecir adecuadamente los datos de conteo? ¿Cómo procedería esto? Tengo una amplia gama de valores, por lo que la clasificación realmente no tiene sentido. Si usara la regresión, ¿simplemente truncaría los resultados? Estoy bastante perdido aquí....
Utilizo el paquete caret para entrenar un objeto randomForest con 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Después de...