Preguntas etiquetadas con batch-normalization

Entonces, recientemente hay un documento de Normalización de capa . También hay una implementación en Keras. Pero recuerdo que hay documentos titulados Recurrent Batch Normalization (Cooijmans, 2016) y Batch Normalized Recurrent Neural Networks (Laurent, 2015). ¿Cuál es la diferencia entre esos...

La normalización por lotes se describe en este documento como una normalización de la entrada a una función de activación con variables de escala y desplazamientoγγ\gamma y ββ\beta. Este artículo describe principalmente el uso de la función de activación sigmoidea, que tiene sentido. Sin embargo,...

La normalización por lotes y ReLU son soluciones al problema del gradiente de fuga. Si estamos usando la normalización por lotes, ¿deberíamos usar sigmoides? ¿O hay características de ReLU que hacen que valga la pena incluso cuando se usa batchnorm? Supongo que la normalización realizada en...

En el documento Normalización de lotes: aceleración de la capacitación en redes profundas mediante la reducción del cambio de covariable interno ( aquí ) Antes de explicar el proceso de normalización de lotes, el documento intenta explicar los problemas relacionados con (no entiendo cuál es el...