Preguntas etiquetadas con relu

¿Cuáles son las ventajas de ReLU frente a Leaky ReLU y Parametric ReLU (si corresponde)?

Creo que la ventaja de usar Leaky ReLU en lugar de ReLU es que de esta manera no podemos tener un gradiente de fuga. La ReLU paramétrica tiene la misma ventaja con la única diferencia de que la pendiente de la salida para las entradas negativas es un parámetro que se puede aprender, mientras que en...

¿Qué sucede cuando mezclo las funciones de activación?

Hay varias funciones de activación, como ReLU, sigmoid o . ¿Qué sucede cuando mezclo las funciones de activación?tanhtanh\tanh Recientemente descubrí que Google ha desarrollado la función de activación Swish que es (x * sigmoide). Al alterar la función de activación, ¿puede aumentar la precisión...