Parece estándar en muchos paquetes de redes neuronales emparejar la función objetivo para minimizarla con la función de activación en la capa de salida.
Por ejemplo, para una capa de salida lineal utilizada para la regresión, es estándar (y a menudo la única opción) tener una función objetivo de error al cuadrado. Otro emparejamiento habitual es la salida logística y la pérdida de registro (o entropía cruzada). Y otro más es softmax y pérdida múltiple de registros.
Usando la notación, para el valor de preactivación (suma de pesos por activaciones de la capa anterior), a para la activación, y para la verdad básica utilizada para el entrenamiento, i para el índice de neurona de salida.
Activación lineal va con error al cuadrado 1
Activación sigmoidea va con logloss / objetivo de entropía cruzada-∑∀i(yi∗log(ai)+(1-yi)∗log(1-ai))
Softmax activación
Esos son los que conozco, y espero que haya muchos de los que aún no he oído hablar.
Sin embargo, no parece tan malo intentar la salida sigmoidea con un objetivo de error al cuadrado. Debe ser estable y converger al menos.
tanh
¿Hay alguna situación al diseñar la arquitectura de una red neuronal, en la que usted debería o debería usar emparejamientos "no estándar" de activación de salida y funciones objetivo?
fuente