por qué el método de refuerzo es sensible a los valores atípicos

12

Encontré muchos artículos que afirman que los métodos de impulso son sensibles a los valores atípicos, pero ningún artículo explica por qué.

En mi experiencia, los valores atípicos son malos para cualquier algoritmo de aprendizaje automático, pero ¿por qué los métodos de refuerzo son especialmente sensibles?

¿Cómo clasificarían los siguientes algoritmos en términos de sensibilidad a los valores atípicos: árbol de impulso, bosque aleatorio, red neuronal, SVM y métodos de regresión simples como la regresión logística?

machine-learning svm outliers cart boosting lserlohn
fuente
1
He editado para tratar de aclarar (también si coloca espacios al principio de una línea, stackexchange lo tratará como código). Para tu segundo párrafo, impulsar es ¿y qué? Puede que tenga que definir la sensibilidad.
Jeremy Miles
1
Además, los valores atípicos y el ruido no son lo mismo.
Jeremy Miles
No marcaría esta pregunta como resuelta todavía. No está claro si el aumento en realidad sufre de valores atípicos más que otros métodos o no. Parece que la respuesta aceptada fue aceptada principalmente debido al sesgo de confirmación.
rinspy
¿Puedes compartir algunos de estos artículos, por favor?
acnalb

Respuestas:

11

Los valores atípicos pueden ser malos para aumentar porque aumentar genera cada árbol en los residuos / errores de los árboles anteriores. Los valores atípicos tendrán residuos mucho más grandes que los no valores atípicos, por lo que el aumento de gradiente centrará una cantidad desproporcionada de su atención en esos puntos.

Ryan Zotti
fuente
2
¡Será mejor si puedes dar más detalles matemáticos al OP!
Metariat
55
@Matemattica No estoy de acuerdo con que agregar detalles matemáticos proporcione claridad adicional aquí. Simplemente sería un símbolo para los gradientes de los árboles, y una tasa de aprendizaje de los árboles posteriores.
Ryan Zotti
1
@RyanZotti: Estoy de acuerdo con Metariat. Una notación más formal resolvería cierta confusión. Por ejemplo, en la oración "Los valores atípicos tendrán residuos mucho más grandes que los que no son valores atípicos", ¿quiere decir los residuos wrt a qué? ¿El modelo estimado o el verdadero? Si lo primero, no es cierto en general y si es lo último, es irrelevante.
user603
1

Los algoritmos que especificó son para clasificación, por lo que supongo que no se refiere a valores atípicos en la variable de destino, sino a valores atípicos de variables de entrada. Los métodos de árbol impulsado deben ser bastante robustos para los valores atípicos en las características de entrada, ya que los alumnos base son divisiones de árbol. Por ejemplo, si la división es x > 35 y 5,000,000 son tratados de la misma manera. Esto puede o no ser algo bueno, pero esa es una pregunta diferente.

Si, en cambio, estaba hablando de regresión y valores atípicos en la variable objetivo, entonces la sensibilidad de los métodos de árbol impulsado dependería de la función de costo utilizada. Por supuesto, el error al cuadrado es sensible a los valores atípicos porque la diferencia es al cuadrado y eso influirá en gran medida en el próximo árbol, ya que aumenta los intentos de ajustar la (gradiente de la) pérdida. Sin embargo, hay funciones de error más robustas que se pueden usar para métodos de árbol potenciados como la pérdida de Huber y la pérdida absoluta.

ZakJ
fuente
0

Al impulsar, tratamos de elegir el conjunto de datos en el que los resultados del algoritmo fueron pobres en lugar de elegir aleatoriamente el subconjunto de datos. Estos ejemplos difíciles son importantes para aprender, por lo que si el conjunto de datos tiene muchos valores atípicos y el algoritmo no funciona bien en esos ejemplos, el algoritmo de ejemplos difíciles intentará elegir subconjuntos con esos ejemplos.

sial waleed
fuente