La agregación en bolsa o bootstrap es un caso especial de promediado de modelos. Dado un conjunto de entrenamiento estándar, el agrupamiento genera nuevos conjuntos de entrenamiento mediante bootstrapping, y luego se promedian los resultados de usar algún método de entrenamiento en los conjuntos de datos generados. El embolsado puede estabilizar los resultados de algunos métodos inestables, como los árboles. metro metro metro metro
¿Cuáles son las similitudes y diferencias entre estos 3 métodos: Harpillera, Impulso ¿Apilado? Cuál es el mejor? ¿Y por qué? ¿Me puede dar un ejemplo para cada
Breve definición de impulso : ¿Puede un conjunto de estudiantes débiles crear un solo estudiante fuerte? Un alumno débil se define como un clasificador que solo está ligeramente correlacionado con la clasificación verdadera (puede etiquetar ejemplos mejor que adivinar al azar). Breve...
He estado siguiendo competiciones de Kaggle durante mucho tiempo y me doy cuenta de que muchas estrategias ganadoras implican utilizar al menos uno de los "tres grandes": embolsar, impulsar y apilar. Para las regresiones, en lugar de centrarse en la construcción de un mejor modelo de regresión...
No entiendo exactamente qué se entiende por tamaño de nodo. Sé qué es un nodo de decisión, pero no qué tamaño de nodo
Hay muchas publicaciones de blog, videos de YouTube, etc. sobre las ideas de embolsar o impulsar árboles. Mi comprensión general es que el pseudocódigo para cada uno es: Harpillera: Tome N muestras aleatorias de x% de las muestras y y% de las características Ajuste su modelo (p. Ej., Árbol de...
He (aproximadamente) escuchado que: El ensacado es una técnica para reducir la varianza de un algoritmo de predicción / estimador / aprendizaje. Sin embargo, nunca he visto una prueba matemática formal de esta afirmación. ¿Alguien sabe por qué esto es matemáticamente cierto? Simplemente parece...
En general, en un problema de clasificación donde el objetivo es predecir con precisión la pertenencia a una clase fuera de la muestra, ¿cuándo no debo usar un clasificador de conjunto? Esta pregunta está estrechamente relacionada con ¿Por qué no usar siempre el aprendizaje conjunto? . Esa...
Estoy analizando un conjunto de datos utilizando un modelo de efectos mixtos con un efecto fijo (condición) y dos efectos aleatorios (participante debido al diseño del sujeto y al par). El modelo se ha generado con el lme4paquete:
Cuando utilicé bootstrapping para la evaluación del modelo, siempre pensé que las muestras fuera de bolsa se usaban directamente como un conjunto de prueba. Sin embargo, este no parece ser el caso del enfoque obsoleto de scikit-learnBootstrap , que parece construir el conjunto de prueba a partir...
Un bosque aleatorio es una colección de árboles de decisión que siguen el concepto de ensacado. Cuando pasamos de un árbol de decisión al siguiente árbol de decisión, entonces, ¿cómo avanza la información aprendida por el último árbol de decisión al siguiente? Porque, según tengo entendido, no hay...
Para impulsar algoritmos, diría que evolucionaron bastante bien. A principios de 1995 se introdujo AdaBoost, luego de un tiempo fue Gradient Boosting Machine (GBM). Recientemente, alrededor de 2015 se introdujo XGBoost, que es preciso, maneja el sobreajuste y se ha convertido en un ganador de...
Al leer el excelente modelo estadístico: Las dos culturas (Breiman 2001) , podemos aprovechar toda la diferencia entre los modelos estadísticos tradicionales (p. Ej., Regresión lineal) y los algoritmos de aprendizaje automático (p. Ej., Ensacado, bosque aleatorio, árboles potenciados ...). Breiman...
Me parece que el aprendizaje conjunto siempre dará un mejor rendimiento predictivo que con una sola hipótesis de aprendizaje. Entonces, ¿por qué no los usamos todo el tiempo? ¿Mi conjetura es quizás debido a limitaciones computacionales? (incluso entonces, usamos predictores débiles, así que no...
Si consideramos un árbol de decisión completamente desarrollado (es decir, un árbol de decisión no podado) tiene una alta varianza y un bajo sesgo. El ensacado y los bosques aleatorios usan estos modelos de alta varianza y los agregan para reducir la varianza y así mejorar la precisión de la...
Scikit learn parece utilizar la predicción probabilística en lugar del voto mayoritario para la técnica de agregación del modelo sin una explicación de por qué (1.9.2.1. Bosques aleatorios). ¿Hay una explicación clara de por qué? Además, ¿hay un buen artículo o artículo de revisión para las...
El embolsado es el proceso de crear N alumnos en N muestras de bootstrap diferentes, y luego tomar la media de sus predicciones. Mi pregunta es: ¿por qué no usar ningún otro tipo de muestreo? ¿Por qué usar muestras de
Estoy teniendo un poco de confusión. Estaba leyendo este documento donde explicaba que la técnica de embolsado reduce en gran medida la varianza y solo aumenta ligeramente el sesgo. No lo entendí, ¿cómo es que reduce la varianza? Sé lo que es la varianza y el sesgo. El sesgo es la incapacidad del...
Basado en Gradient Boosting Tree vs Random Forest . GBDT y RF utilizando diferentes estrategias para abordar el sesgo y la varianza. Mi pregunta es: ¿puedo volver a muestrear el conjunto de datos (con reemplazo) para entrenar múltiples GBDT y combinar sus predicciones como resultado final? Es...
Llegué a varias publicaciones y documentos alegando que no se necesita podar árboles en un conjunto de árboles "embolsados" (ver 1 ). Sin embargo, ¿es necesariamente (o al menos en algunos casos conocidos) perjudicial realizar la poda (digamos, con la muestra OOB) en los árboles individuales en un...