Haría una pregunta relacionada con este . Encontré un ejemplo de escritura de la función de pérdida personalizada para xgboost aquí : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <-...
A medida que descubro el aprendizaje automático, veo diferentes técnicas interesantes como: ajusta automáticamente los algoritmos con técnicas como grid search, obtener resultados más precisos mediante la combinación de diferentes algoritmos del mismo "tipo", es decir boosting, obtener resultados...
He estado tratando de entender el aumento de gradiente leyendo varios blogs, sitios web y tratando de encontrar mi respuesta mirando, por ejemplo, el código fuente de XGBoost. Sin embargo, parece que no puedo encontrar una explicación comprensible de cómo los algoritmos de aumento de gradiente...
Encontré muchos artículos que afirman que los métodos de impulso son sensibles a los valores atípicos, pero ningún artículo explica por qué. En mi experiencia, los valores atípicos son malos para cualquier algoritmo de aprendizaje automático, pero ¿por qué los métodos de refuerzo son...
Quiero implementar Adaboost usando Decision Stump. ¿Es correcto tomar tantas decisiones como las características de nuestro conjunto de datos en cada iteración de Adaboost? Por ejemplo, si tengo un conjunto de datos con 24 características, ¿debería tener 24 clasificador de tocones de decisión en...
Esta es la función de pérdida de desviación binomial de GradientBoosting de scikit, def __call__(self, y, pred, sample_weight=None): """Compute the deviance (= 2 * negative log-likelihood). """ # logaddexp(0, v) == log(1.0 + exp(v)) pred = pred.ravel() if sample_weight is None: return -2.0...
¿Hay alguna manera de obtener un puntaje de confianza (podemos llamarlo también valor de confianza o probabilidad) para cada valor pronosticado cuando se usan algoritmos como Bosques aleatorios o Incremento de gradiente extremo (XGBoost)? Digamos que este puntaje de confianza iría de 0 a 1 y...
Sé que Adaboost intenta generar un clasificador fuerte usando una combinación lineal de un conjunto de clasificadores débiles. Sin embargo, he leído algunos documentos que sugieren que Adaboost y SVM funcionan en armonía (aunque SVM es un clasificador fuerte) en ciertas condiciones y casos . No...
He estado leyendo un poco sobre algoritmos de refuerzo para tareas de clasificación y Adaboost en particular. Entiendo que el propósito de Adaboost es llevar a varios "estudiantes débiles" y, a través de un conjunto de iteraciones sobre los datos de entrenamiento, empujar a los clasificadores para...
Por un simple ejemplo, suponga que hay dos modelos de regresión lineal Modelo 1 tiene tres predictores, x1a, x2b, yx2c El modelo 2 tiene tres predictores del modelo 1 y dos predictores adicionales x2ayx2b Hay una ecuación de regresión poblacional donde la varianza poblacional explicada es para...
En la sección 7 del documento Random Forests (Breiman, 1999), el autor declara la siguiente conjetura: "Adaboost es un bosque aleatorio". ¿Alguien ha probado o refutado esto? ¿Qué se ha hecho para probar o refutar esta publicación de
El refuerzo del árbol de gradiente propuesto por Friedman utiliza árboles de decisión con Jnodos terminales (= hojas) como aprendices básicos. Hay varias formas de hacer crecer un árbol con Jnodos exactos, por ejemplo, uno puede hacer crecer el árbol de una manera profunda o de primera, ... ¿Hay...
Investigando sobre el algoritmo xgboost, revisé la documentación . En este enfoque, los árboles se regularizan utilizando la definición de complejidad donde y son parámetros, es el número de hojas terminales y es la puntuación en cada hoja.Ω ( f) = γT+12λ∑j = 1Tw2jΩ(F)=γT+12λ∑j=1Twj2 \Omega(f) =...
En Random Forest, cada árbol se cultiva en paralelo en una muestra boostrap única de los datos. Debido a que se espera que cada muestra de boostrap contenga aproximadamente el 63% de las observaciones únicas, esto deja aproximadamente el 37% de las observaciones, que se pueden usar para probar el...
Sé cómo implementar la función objetivo lineal y los aumentos lineales en XGBoost. Mi pregunta concreta es: cuando el algoritmo se ajusta al residual (o al gradiente negativo), ¿está usando una característica en cada paso (es decir, modelo univariante) o todas las características (modelo...
Siempre me he suscrito a la sabiduría popular de que la disminución de la tasa de aprendizaje en un gbm (modelo de árbol impulsado por gradiente) no perjudica el rendimiento de la muestra fuera del modelo. Hoy no estoy tan seguro. Estoy ajustando modelos (minimizando la suma de los errores al...
Supongamos que tengo una muestra de frecuencias de 4 eventos posibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 y tengo las probabilidades esperadas de que ocurran mis eventos: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la suma de las frecuencias observadas de mis cuatro eventos (18) puedo calcular las...
Me doy cuenta de que hay 3 parámetros de ajuste en el modelo de árboles de refuerzo, es decir El número de árboles (número de iteraciones) parámetro de contracción Número de divisiones (tamaño de cada árbol constituyente) Mi pregunta es: para cada uno de los parámetros de ajuste, ¿cómo debo...
Preguntas: ¿Cuál es la diferencia (s) entre los árboles de regresión potenciados (BRT) y los modelos potenciados generalizados (GBM)? ¿Se pueden usar indistintamente? ¿Es una una forma específica de la otra? ¿Por qué Ridgeway usó la frase "Modelos de regresión aumentada generalizada" (GBM) para...
¿Podemos generalizar todos los métodos de conjunto usando la votación? ¿Los métodos de impulso también usan la votación para llevar a los alumnos débiles al modelo final? Mi comprensión de la técnica: Impulso: agrega continuamente un alumno débil para aumentar los puntos de datos que no se...