¿Qué es "backprop"?

Respuestas:

13

"Backprop" es lo mismo que "backpropagation": es solo una forma más corta de decirlo. A veces se abrevia como "BP".

Franck Dernoncourt
fuente
7

'Backprop' es la abreviatura de 'backpropagation of error' para evitar confusiones cuando se utiliza el término de retropropagación .

Básicamente, la propagación hacia atrás se refiere al método para calcular el gradiente de la función de error en cuanto a mayúsculas y minúsculas con respecto a los pesos de una red de avance Werbos . Y backprop se refiere a un método de entrenamiento que usa la propagación hacia atrás para calcular el gradiente.

Entonces, podemos decir que una red de backprop es una red de retroalimentación entrenada por backpropagation .

El término 'backprop estándar' es un eufemismo para la regla delta generalizada que es el método de entrenamiento supervisado más utilizado.

Fuente: ¿Qué es backprop? en las preguntas frecuentes del grupo de noticias Usenet comp.ai.neural-nets

Referencias

  • Werbos, PJ (1974). Más allá de la regresión: nuevas herramientas para la predicción y el análisis en las ciencias del comportamiento. Tesis doctoral, Universidad de Harvard.
  • Werbos, PJ (1994). Las raíces de la propagación hacia atrás: de los derivados ordenados a las redes neuronales y el pronóstico político, Wiley Interscience.
  • Bertsekas, DP (1995), Programación no lineal, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
  • Bertsekas, DP y Tsitsiklis, JN (1996), Programación neurodinámica, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
  • Polyak, BT (1964), "Algunos métodos para acelerar la convergencia de los métodos de iteración", Z. Vycisl. Estera. estoy en. Fiz., 4, 1-17.
  • Polyak, BT (1987), Introducción a la optimización, NY: Optimization Software, Inc.
  • Reed, RD y Marks, RJ, II (1999), Neural Smithing: Supervised Learning in Feedforward Artificial Neural Networks, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
  • Rumelhart, DE, Hinton, GE, y Williams, RJ (1986), "Aprendizaje de representaciones internas por propagación de errores", en Rumelhart, DE y McClelland, JL, eds. (1986), Procesamiento distribuido paralelo: exploraciones en la microestructura de la cognición, Volumen 1, 318-362, Cambridge, MA: The MIT Press.
  • Werbos, PJ (1974/1994), The Roots of Backpropagation, Nueva York: John Wiley & Sons. Incluye el Harvard Ph.D. de Werbos de 1974. tesis, más allá de la regresión.
kenorb
fuente
2

Sí, como Franck ha dicho correctamente, "backprop" significa retropropogación, que se usa con frecuencia en el dominio de las redes neuronales para la optimización de errores.

Para una explicación detallada, quisiera señalar este tutorial sobre el concepto de retropropagación de un muy buen libro de Michael Nielsen.

Dawny33
fuente
0

En el aprendizaje automático, la retropropagación (backprop, BP) es un algoritmo ampliamente utilizado en el entrenamiento de redes neuronales de avance para el aprendizaje supervisado. Las generalizaciones de la retropropagación existen para otras redes neuronales artificiales (ANN), y para funciones en general, una clase de algoritmos a los que se hace referencia genéricamente como "retropropagación".

ALFIANSYAH
fuente
Hola, bienvenido a AI Stack Exchange. En lugar de publicar respuestas de Wikipedia, se recomienda expresar las respuestas a las preguntas en las propias palabras, aunque Wikipedia se puede utilizar para apoyar un argumento o ayudar a derivar una explicación. Actualice su respuesta para estar más en esta línea.
Jaden Travnik
0

Es un nombre elegante para la regla de la cadena multivariable.

FourierFlux
fuente
Hola. ¿Podría apoyar esta respuesta con un poco más de detalle? (Me doy cuenta de que es una pregunta simple, pero creo que su respuesta merece una mayor explicación.)
DukeZhou