Elijo la función de activación para la capa de salida en función de la salida que necesito y las propiedades de la función de activación que conozco. Por ejemplo, elijo la función sigmoide cuando trato con probabilidades, una ReLU cuando trato con valores positivos y una función lineal cuando trato...
Creo que la ventaja de usar Leaky ReLU en lugar de ReLU es que de esta manera no podemos tener un gradiente de fuga. La ReLU paramétrica tiene la misma ventaja con la única diferencia de que la pendiente de la salida para las entradas negativas es un parámetro que se puede aprender, mientras que en...
Me topé con el concepto de cobertura neuronal, que es la proporción de neuronas activadas y neuronas totales en una red neuronal. Pero, ¿qué significa que una neurona se "active"? Sé qué son las funciones de activación, pero ¿qué significa activarse, por ejemplo, en el caso de una ReLU o una...
Hay varias funciones de activación, como ReLU, sigmoid o . ¿Qué sucede cuando mezclo las funciones de activación?tanhtanh\tanh Recientemente descubrí que Google ha desarrollado la función de activación Swish que es (x * sigmoide). Al alterar la función de activación, ¿puede aumentar la precisión...