Una familia de algoritmos que combina modelos débilmente predictivos en un modelo fuertemente predictivo. El enfoque más común se denomina aumento de gradiente, y los modelos débiles más utilizados son los árboles de clasificación / regresión.
¿Cuáles son las similitudes y diferencias entre estos 3 métodos: Harpillera, Impulso ¿Apilado? Cuál es el mejor? ¿Y por qué? ¿Me puede dar un ejemplo para cada
El impulso del árbol de gradiente propuesto por Friedman utiliza árboles de decisión como aprendices básicos. Me pregunto si deberíamos hacer que el árbol de decisión base sea lo más complejo posible (completamente desarrollado) o más simple. ¿Hay alguna explicación para la elección? Random Forest...
Tengo una clase de datos desequilibrados y quiero ajustar los hiperparámetros del trenzado reforzado usando xgboost. Preguntas ¿Hay un equivalente de gridsearchcv o randomsearchcv para xgboost? Si no, ¿cuál es el enfoque recomendado para ajustar los parámetros de
Breve definición de impulso : ¿Puede un conjunto de estudiantes débiles crear un solo estudiante fuerte? Un alumno débil se define como un clasificador que solo está ligeramente correlacionado con la clasificación verdadera (puede etiquetar ejemplos mejor que adivinar al azar). Breve...
Estoy tratando de entender las diferencias entre GBM y Adaboost. Esto es lo que he entendido hasta ahora: Hay dos algoritmos de refuerzo, que aprenden de los errores del modelo anterior y finalmente hacen una suma ponderada de los modelos. GBM y Adaboost son bastante similares, excepto por sus...
Mientras aprendía sobre el Gradient Boosting, no escuché ninguna restricción con respecto a las propiedades de un "clasificador débil" que el método usa para construir y ensamblar modelos. Sin embargo, no podía imaginar una aplicación de un GB que utilizara la regresión lineal y, de hecho, cuando...
He estado siguiendo competiciones de Kaggle durante mucho tiempo y me doy cuenta de que muchas estrategias ganadoras implican utilizar al menos uno de los "tres grandes": embolsar, impulsar y apilar. Para las regresiones, en lugar de centrarse en la construcción de un mejor modelo de regresión...
Estoy buscando una explicación de cómo se calcula la importancia variable relativa en los árboles potenciados por gradientes que no es demasiado general / simplista como: Las medidas se basan en la cantidad de veces que se selecciona una variable para dividir, ponderada por la mejora al cuadrado...
Existen varias implementaciones de la familia de modelos GBDT, tales como: GBM XGBoost LightGBM Catboost. ¿Cuáles son las diferencias matemáticas entre estas diferentes implementaciones? Catboost parece superar a las otras implementaciones incluso utilizando solo sus parámetros...
¿Cuáles son algunas pautas útiles para probar parámetros (es decir, profundidad de interacción, minchild, frecuencia de muestreo, etc.) usando GBM? Digamos que tengo 70-100 características, una población de 200,000 y tengo la intención de probar la profundidad de interacción de 3 y 4. Claramente,...
Tenía una pregunta sobre el parámetro de profundidad de interacción en gbm en R. Esta puede ser una pregunta novata, por lo que me disculpo, pero ¿cómo el parámetro, que creo que denota el número de nodos terminales en un árbol, básicamente indica X-way interacción entre los predictores? Solo trato...
Consulte también una pregunta similar sobre estadísticas . Al impulsar algoritmos como AdaBoost y LPBoost , se sabe que los alumnos "débiles" que se combinan solo tienen que rendir mejor que la posibilidad de ser útiles, de Wikipedia: Los clasificadores que utiliza pueden ser débiles (es decir,...
Como ejemplo, tome la función objetivo del modelo XGBoost en la iteración :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) donde es la función de pérdida, es la salida del árbol '...
¿Cuál es la forma más fácil de entender el impulso? ¿Por qué no aumenta los clasificadores muy débiles "hasta el infinito"
Tengo varias preguntas estrechamente relacionadas con los alumnos débiles en el aprendizaje conjunto (por ejemplo, impulsar). Esto puede sonar tonto, pero ¿cuáles son los beneficios de usar estudiantes débiles en lugar de fuertes? (por ejemplo, ¿por qué no impulsar con métodos de aprendizaje...
Hace poco, estaba trabajando en el aprendizaje de algoritmos de refuerzo, como adaboost, aumento de gradiente, y he sabido que el árbol de aprendizaje débil más utilizado es el árbol. Realmente quiero saber si hay algunos ejemplos recientes exitosos (me refiero a algunos artículos o artículos) para...
Después de realizar el análisis de componentes principales (PCA), quiero proyectar un nuevo vector en el espacio PCA (es decir, encontrar sus coordenadas en el sistema de coordenadas PCA). He calculado PCA en lenguaje R usando prcomp. Ahora debería poder multiplicar mi vector por la matriz de...
Estaba leyendo el informe de la solución ganadora de una competencia de Kaggle ( Clasificación de malware ). El informe se puede encontrar en esta publicación del foro . El problema era un problema de clasificación (nueve clases, la métrica era la pérdida logarítmica) con 10000 elementos en el...
He leído varias declaraciones (aparentemente) contradictorias sobre si AdaBoost (u otras técnicas de refuerzo) son menos o más propensas al sobreajuste en comparación con otros métodos de aprendizaje. ¿Hay buenas razones para creer lo uno o lo otro? Si depende, ¿de qué depende? ¿Cuáles son las...
Estoy tratando de entender cómo funciona XGBoost. Ya entiendo cómo funcionan los árboles impulsados por gradiente en Python sklearn. Lo que no está claro para mí es si XGBoost funciona de la misma manera, pero más rápido, o si hay diferencias fundamentales entre él y la implementación de...