¿Cómo afecta el ruido a la generalización?

¿Aumentar el ruido en los datos ayuda a mejorar la capacidad de aprendizaje de una red? ¿Hace alguna diferencia o depende del problema que se resuelve? ¿Cómo afecta el proceso de generalización en general?

El ruido en los datos, en una cantidad razonable, puede ayudar a la red a generalizarse mejor. A veces, tiene el efecto contrario. Depende en parte del tipo de ruido ("verdadero" versus artificial).

Las preguntas frecuentes sobre IA en ANN ofrecen una buena descripción general. Extracto:

El ruido en los datos reales nunca es bueno, ya que limita la precisión de la generalización que se puede lograr sin importar cuán extenso sea el conjunto de entrenamiento. Por otro lado, inyectar ruido artificial (jitter) en las entradas durante el entrenamiento es una de varias formas de mejorar la generalización para funciones suaves cuando tienes un pequeño conjunto de entrenamiento.

En algún campo, como la visión por computadora, es común aumentar el tamaño del conjunto de entrenamiento copiando algunas muestras y agregando algunos ruidos u otras transformaciones.

Por lo general, pensamos en los modelos de aprendizaje automático como modelos de dos partes diferentes de los datos de entrenamiento: la verdad generalizable subyacente (la señal) y la aleatoriedad específica de ese conjunto de datos (el ruido).

El ajuste de ambas partes aumenta la precisión del conjunto de entrenamiento, pero el ajuste de la señal también aumenta la precisión del conjunto de prueba (y el rendimiento del mundo real) mientras que el ajuste del ruido disminuye ambas. Por lo tanto, utilizamos cosas como la regularización y el abandono y técnicas similares para dificultar el ajuste del ruido y, por lo tanto, es más probable que se ajuste a la señal.

Solo aumentar la cantidad de ruido en los datos de entrenamiento es uno de esos enfoques, pero parece poco probable que sea tan útil. Compare el jitter aleatorio con el aumento de adversarios, por ejemplo; el primero mejorará la robustez lenta e indirectamente, mientras que el segundo lo mejorará dramática y directamente.

PD: Ya hay algunas respuestas muy buenas proporcionadas aquí, simplemente agregaré a estas respuestas con la esperanza de que alguien encuentre esto útil:

Introducir ruido a un conjunto de datos puede tener una influencia positiva en un modelo. De hecho, esto puede verse como hacer lo mismo que normalmente haría con los regularizadores como la deserción . Algunos de los ejemplo de hacer esto son Zur at.al , Cires¸at.al donde los autores introdujeron con éxito ruido en el conjunto de datos para reducir el exceso de ajuste.

La trampa está en saber cuánto ruido es demasiado. Si agrega demasiado ruido, esto puede hacer que su conjunto de datos sea inútil ya que el conjunto de datos resultante ya no puede tener suficiente parecido con el conjunto de datos original, por lo que podría estar entrenando en un conjunto de datos completamente diferente. Por lo tanto, se puede ver que demasiado ruido causa un ajuste insuficiente, al igual que las tasas de deserción extremadamente altas.

Como dice el dicho; cambiar el equilibrio es la especia de la vida :).