¿Qué es "backprop"?

¿Qué significa "backprop"? ¿Es el término "backprop" básicamente el mismo que "backpropagation" o tiene un significado diferente?

"Backprop" es lo mismo que "backpropagation": es solo una forma más corta de decirlo. A veces se abrevia como "BP".

'Backprop' es la abreviatura de 'backpropagation of error' para evitar confusiones cuando se utiliza el término de retropropagación .

Básicamente, la propagación hacia atrás se refiere al método para calcular el gradiente de la función de error en cuanto a mayúsculas y minúsculas con respecto a los pesos de una red de ^{avance Werbos} . Y backprop se refiere a un método de entrenamiento que usa la propagación hacia atrás para calcular el gradiente.

Entonces, podemos decir que una red de backprop es una red de retroalimentación entrenada por backpropagation .

El término 'backprop estándar' es un eufemismo para la regla delta generalizada que es el método de entrenamiento supervisado más utilizado.

Fuente: ¿Qué es backprop? en las preguntas frecuentes del grupo de noticias Usenet comp.ai.neural-nets

Referencias

• Werbos, PJ (1974). Más allá de la regresión: nuevas herramientas para la predicción y el análisis en las ciencias del comportamiento. Tesis doctoral, Universidad de Harvard.
• Werbos, PJ (1994). Las raíces de la propagación hacia atrás: de los derivados ordenados a las redes neuronales y el pronóstico político, Wiley Interscience.
• Bertsekas, DP (1995), Programación no lineal, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
• Bertsekas, DP y Tsitsiklis, JN (1996), Programación neurodinámica, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
• Polyak, BT (1964), "Algunos métodos para acelerar la convergencia de los métodos de iteración", Z. Vycisl. Estera. estoy en. Fiz., 4, 1-17.
• Polyak, BT (1987), Introducción a la optimización, NY: Optimization Software, Inc.
• Reed, RD y Marks, RJ, II (1999), Neural Smithing: Supervised Learning in Feedforward Artificial Neural Networks, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
• Rumelhart, DE, Hinton, GE, y Williams, RJ (1986), "Aprendizaje de representaciones internas por propagación de errores", en Rumelhart, DE y McClelland, JL, eds. (1986), Procesamiento distribuido paralelo: exploraciones en la microestructura de la cognición, Volumen 1, 318-362, Cambridge, MA: The MIT Press.
• Werbos, PJ (1974/1994), The Roots of Backpropagation, Nueva York: John Wiley & Sons. Incluye el Harvard Ph.D. de Werbos de 1974. tesis, más allá de la regresión.

Sí, como Franck ha dicho correctamente, "backprop" significa retropropogación, que se usa con frecuencia en el dominio de las redes neuronales para la optimización de errores.

Para una explicación detallada, quisiera señalar este tutorial sobre el concepto de retropropagación de un muy buen libro de Michael Nielsen.

En el aprendizaje automático, la retropropagación (backprop, BP) es un algoritmo ampliamente utilizado en el entrenamiento de redes neuronales de avance para el aprendizaje supervisado. Las generalizaciones de la retropropagación existen para otras redes neuronales artificiales (ANN), y para funciones en general, una clase de algoritmos a los que se hace referencia genéricamente como "retropropagación".

Es un nombre elegante para la regla de la cadena multivariable.