Mi configuración es la siguiente: Estoy siguiendo las pautas en "Modelado predictivo aplicado". Por lo tanto, he filtrado características correlacionadas y termino con lo siguiente: 4900 puntos de datos en el conjunto de entrenamiento y 1600 puntos de datos en el conjunto de prueba. Tengo 26...
El parámetro de velocidad de aprendizaje ( ) en Gradient Boosting reduce la contribución de cada nuevo modelo base, típicamente un árbol poco profundo, que se agrega en la serie. Se demostró que aumenta drásticamente la precisión del conjunto de pruebas, lo cual es comprensible ya que con pasos más...
En los libros de texto y las conferencias de youtube aprendí mucho sobre modelos iterativos como el impulso, pero nunca vi nada acerca de derivar un intervalo de predicción. La validación cruzada se utiliza para lo siguiente: Selección de modelo : pruebe diferentes modelos y elija el que mejor...
He leído el artículo de Alexandru Niculescu-Mizil y Rich Caruana " Obtención de probabilidades calibradas del aumento " y la discusión en este hilo. Sin embargo, todavía tengo problemas para comprender e implementar la logística o el escalado de Platt para calibrar la salida de mi clasificador de...
El tocón de decisión es un árbol de decisión con una sola división. También se puede escribir como una función por partes. Por ejemplo, suponga que es un vector, y es el primer componente de , en la configuración de regresión, se puede usar un tocón de decisiónx 1 xXxxX1x1x_1Xxx F( x ) = { 35...
La pregunta Estoy luchando por comprender cómo se mantiene la predicción dentro del intervalo [ 0 , 1 ][0 0,1][0,1] cuando se realiza una clasificación binaria con Gradient Boosting. Supongamos que estamos trabajando en un problema de clasificación binaria, y nuestra función objetivo es la...
Hay muchas publicaciones de blog, videos de YouTube, etc. sobre las ideas de embolsar o impulsar árboles. Mi comprensión general es que el pseudocódigo para cada uno es: Harpillera: Tome N muestras aleatorias de x% de las muestras y y% de las características Ajuste su modelo (p. Ej., Árbol de...
En general, en un problema de clasificación donde el objetivo es predecir con precisión la pertenencia a una clase fuera de la muestra, ¿cuándo no debo usar un clasificador de conjunto? Esta pregunta está estrechamente relacionada con ¿Por qué no usar siempre el aprendizaje conjunto? . Esa...
¿Puede la máquina de aumento de gradiente de Friedman lograr un mejor rendimiento que el Bosque aleatorio de Breiman ? Si es así, ¿en qué condiciones o qué tipo de conjunto de datos puede mejorar
Estoy lidiando con un problema de clasificación binaria supervisada. Me gustaría usar el paquete GBM para clasificar a las personas como no infectadas / infectadas. Tengo 15 veces más personas no infectadas que infectadas. Me preguntaba si los modelos GBM sufren en el caso de los tamaños de clase...
Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <-
En realidad, pensé que había entendido lo que se puede mostrar con un diagrama de dependencia parcial, pero usando un ejemplo hipotético muy simple, me quedé bastante perplejo. En el siguiente fragmento de código, genero tres variables independientes ( a , b , c ) y una variable dependiente ( y )...
Estoy tratando de aumentar el gradiente en un conjunto de datos con una tasa de eventos de aproximadamente 1% usando Enterprise miner, pero no produce ningún resultado. Mi pregunta es, dado que es un enfoque basado en un árbol de decisión, ¿es correcto usar el aumento de gradiente con un evento tan...
Para impulsar algoritmos, diría que evolucionaron bastante bien. A principios de 1995 se introdujo AdaBoost, luego de un tiempo fue Gradient Boosting Machine (GBM). Recientemente, alrededor de 2015 se introdujo XGBoost, que es preciso, maneja el sobreajuste y se ha convertido en un ganador de...
Como he oído hablar del clasificador AdaBoost que se menciona repetidamente en el trabajo, quería tener una mejor idea de cómo funciona y cuándo uno podría usarlo. Continué y leí una serie de documentos y tutoriales que encontré en Google, pero hay aspectos del clasificador que todavía tengo...
Hay una variante de impulso llamada gentleboost . ¿En qué se diferencia el impulso suave del AdaBoost más conocido
Al leer el excelente modelo estadístico: Las dos culturas (Breiman 2001) , podemos aprovechar toda la diferencia entre los modelos estadísticos tradicionales (p. Ej., Regresión lineal) y los algoritmos de aprendizaje automático (p. Ej., Ensacado, bosque aleatorio, árboles potenciados ...). Breiman...
Me parece que el aprendizaje conjunto siempre dará un mejor rendimiento predictivo que con una sola hipótesis de aprendizaje. Entonces, ¿por qué no los usamos todo el tiempo? ¿Mi conjetura es quizás debido a limitaciones computacionales? (incluso entonces, usamos predictores débiles, así que no...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 5 meses . ¿Existe una buena biblioteca de Python para...
Al codificar características categóricas para la regresión lineal, hay una regla: el número de dummies debe ser uno menos que el número total de niveles (para evitar la colinealidad). ¿Existe una regla similar para los árboles de decisión (en bolsas, potenciados)? Pregunto esto porque una...