Para preguntas relacionadas con el algoritmo eXtreme Gradient Boosting.
Estoy tratando de entender las diferencias clave entre GBM y XGBOOST. Intenté buscarlo en Google, pero no pude encontrar buenas respuestas que explicaran las diferencias entre los dos algoritmos y por qué xgboost casi siempre funciona mejor que GBM. ¿Qué hace que XGBOOST sea tan...
Ejecuté un modelo xgboost. No sé exactamente cómo interpretar la salida de xgb.importance. ¿Cuál es el significado de ganancia, cobertura y frecuencia y cómo los interpretamos? Además, ¿qué significa Split, RealCover y RealCover%? Tengo algunos parámetros extra aquí ¿Hay algún otro parámetro que...
Estoy tratando de entrenar un modelo de aumento de gradiente en más de 50k ejemplos con 100 características numéricas. XGBClassifiermaneja 500 árboles en 43 segundos en mi máquina, mientras que GradientBoostingClassifiermaneja solo 10 árboles (!) en 1 minuto y 2 segundos :( No me molesté en tratar...
XGBoost ha estado haciendo un gran trabajo cuando se trata de lidiar con variables dependientes categóricas y continuas. Pero, ¿cómo selecciono los parámetros optimizados para un problema de XGBoost? Así es como apliqué los parámetros para un problema reciente de Kaggle: param <- list(...
No tenía claros algunos conceptos: XGBoost convierte a los alumnos débiles en alumnos fuertes. ¿Cuál es la ventaja de hacer esto? ¿Combinando muchos estudiantes débiles en lugar de usar un solo árbol? Random Forest usa varias muestras del árbol para crear un árbol. ¿Cuál es la ventaja de este...
Estoy tratando de entender cuál es mejor (más preciso, especialmente en problemas de clasificación) He estado buscando artículos que comparan LightGBM y XGBoost pero encontré solo dos: https://medium.com/implodinggradients/benchmarking-lightgbm-how-fast-is-lightgbm-vs-xgboost-15d224568031 , que...
Actualmente estoy usando XGBoost en un conjunto de datos con 21 características (seleccionadas de la lista de unas 150 características), luego las codifiqué para obtener ~ 98 características. Algunas de estas 98 características son algo redundantes, por ejemplo: una variable (característica)...
¿Hay alguna manera de agregar más importancia a los puntos que son más recientes al analizar datos con xgboost?
Tengo 3 clases con esta distribución: Class 0: 0.1169 Class 1: 0.7668 Class 2: 0.1163 Y estoy usando xgboostpara la clasificación. Sé que hay un parámetro llamado scale_pos_weight. Pero, ¿cómo se maneja para el caso 'multiclase' y cómo puedo configurarlo
Actualmente estoy usando XGBoost para la predicción de riesgos, parece estar haciendo un buen trabajo en el departamento de clasificación binaria, pero los resultados de probabilidad están muy lejos, es decir, cambiar el valor de una característica en una observación en una cantidad muy pequeña...
Hasta donde sé, para entrenar a aprender a clasificar modelos, debe tener tres cosas en el conjunto de datos: etiqueta o relevancia ID de grupo o consulta vector de características Por ejemplo, el conjunto de datos Microsoft Learning to Rank usa este formato (etiqueta, identificación de grupo y...
Estoy tratando de ejecutar xgboost en scikit learn. Y solo uso Pandas para cargar datos en el marco de datos. ¿Cómo se supone que debo usar pandas df con xgboost? Estoy confundido por la rutina DMatrix requerida para ejecutar xgboost
Problema 1: Estoy confundido por la descripción de LightGBM con respecto a la forma en que se expande el árbol. Ellos declaran: La mayoría de los algoritmos de aprendizaje del árbol de decisión crecen en árbol por nivel (profundidad), como en la siguiente imagen: Preguntas 1 : ¿Qué...
Si entreno a mi modelo con el siguiente código: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix...
antecedentes: En xgboost, la iteración intenta ajustar un árbol sobre todos los ejemplos, lo que minimiza el siguiente objetivo:tttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] donde son primer orden y de segundo orden sobre...
¿Existen reglas generales (o reglas reales) relacionadas con la cantidad mínima, máxima y "razonable" de celdas LSTM que debo usar? Específicamente me relaciono con BasicLSTMCell de TensorFlow y la num_unitspropiedad. Suponga que tengo un problema de clasificación definido por: t - number of time...
Intenté usar las características de las características de los bosques aleatorios para realizar una selección empírica de características para un problema de regresión donde todas las características son categóricas y muchas de ellas tienen muchos niveles (del orden de 100-1000). Dado que la...
¿Cuál es la diferencia en R en xgboost entre binary: logistic y reg: logistic? ¿Es solo en métrica de evaluación? En caso afirmativo, ¿cómo se compara RMSE en la clasificación binaria con la tasa de error? ¿La relación entre las métricas es más o menos monótona, el resultado del ajuste en una...
Estoy creando prototipos de una aplicación y necesito un modelo de lenguaje para calcular la perplejidad en algunas oraciones generadas. ¿Hay algún modelo de lenguaje entrenado en Python que pueda usar fácilmente? Algo simple como model = LanguageModel('en') p1 = model.perplexity('This is a well...
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 años . Estoy...