Un algoritmo de refuerzo popular y una biblioteca de software (significa "refuerzo de gradiente extremo"). El impulso combina modelos débilmente predictivos en un modelo fuertemente predictivo.
Tengo una clase de datos desequilibrados y quiero ajustar los hiperparámetros del trenzado reforzado usando xgboost. Preguntas ¿Hay un equivalente de gridsearchcv o randomsearchcv para xgboost? Si no, ¿cuál es el enfoque recomendado para ajustar los parámetros de
Existen varias implementaciones de la familia de modelos GBDT, tales como: GBM XGBoost LightGBM Catboost. ¿Cuáles son las diferencias matemáticas entre estas diferentes implementaciones? Catboost parece superar a las otras implementaciones incluso utilizando solo sus parámetros...
Como ejemplo, tome la función objetivo del modelo XGBoost en la iteración :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) donde es la función de pérdida, es la salida del árbol '...
Tengo un conjunto de datos muy desequilibrado. Estoy tratando de seguir los consejos y el uso de la optimización,scale_pos_weight pero no estoy seguro de cómo debo ajustarlo. Puedo ver que RegLossObj.GetGradientsí: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight entonces un gradiente...
La definición del parámetro min_child_weight en xgboost se da como: suma mínima de peso de instancia (hessian) necesaria en un niño. Si el paso de partición del árbol da como resultado un nodo hoja con una suma de peso de instancia menor que min_child_weight, entonces el proceso de construcción...
Estoy tratando de entender cómo funciona XGBoost. Ya entiendo cómo funcionan los árboles impulsados por gradiente en Python sklearn. Lo que no está claro para mí es si XGBoost funciona de la misma manera, pero más rápido, o si hay diferencias fundamentales entre él y la implementación de...
Estoy trabajando con muchos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear y rbf), KNN, LDA y XGBoost. Todos ellos fueron bastante rápidos, excepto SVM. Fue entonces cuando llegué a saber que necesita una función de escala para funcionar más rápido. Entonces comencé a...
Hay muchas publicaciones de blog, videos de YouTube, etc. sobre las ideas de embolsar o impulsar árboles. Mi comprensión general es que el pseudocódigo para cada uno es: Harpillera: Tome N muestras aleatorias de x% de las muestras y y% de las características Ajuste su modelo (p. Ej., Árbol de...
Digamos que tenemos un problema de clasificación binaria con características principalmente categóricas. Utilizamos algún modelo no lineal (por ejemplo, XGBoost o Random Forests) para aprenderlo. ¿Debería preocuparse por la multicolinealidad? ¿Por qué? Si la respuesta a lo anterior es verdadera,...
He estado tratando de entender el aumento de gradiente leyendo varios blogs, sitios web y tratando de encontrar mi respuesta mirando, por ejemplo, el código fuente de XGBoost. Sin embargo, parece que no puedo encontrar una explicación comprensible de cómo los algoritmos de aumento de gradiente...
Recientemente he revisado el algoritmo XGBoost y he notado que este algoritmo puede manejar datos faltantes (sin requerir imputación) en la fase de entrenamiento. Me preguntaba si XGboost puede manejar los datos faltantes (sin requerir imputación) cuando se usa para pronosticar nuevas observaciones...
Sé cómo implementar la función objetivo lineal y los aumentos lineales en XGBoost. Mi pregunta concreta es: cuando el algoritmo se ajusta al residual (o al gradiente negativo), ¿está usando una característica en cada paso (es decir, modelo univariante) o todas las características (modelo...
expertos! Tal vez, ¿sabes cómo calcular el intervalo de confianza para xgboost? La fórmula clásica con distribución t no puede ayudar, porque mis datos no se distribuyen normalmente. O no importa? Si sugiere algo de literatura, será muy útil, pero los enfoques en R y Python (en el contexto de la...