¿Por qué la reconstrucción en codificadores automáticos utiliza la misma función de activación que la activación directa y no la inversa?

Suponga que tiene una capa de entrada con n neuronas y la primera capa oculta tiene neuronas, con típicamente . Luego calcula la activación de la -ésima neurona en la capa oculta por$m$$m < n$$a_j$$j$

$a_j = f\left(\sum\limits_{i=1..n} w_{i,j} x_i+b_j\right)$ , donde es una función de activación como o .$f$$\tanh$$\text{sigmoid}$

Para entrenar la red, calcula la reconstrucción de la entrada, denotada , y minimiza el error entre y . Ahora, el elemento -ésimo en se calcula típicamente como:$z$$z$$x$$i$$z$

$z_i = f\left ( \sum\limits_{j=1..m} w_{j,i}' a_j+b'_i \right)$

Me pregunto por qué las reconstruidas generalmente se calculan con la misma función de activación en lugar de usar la función inversa, y ¿por qué son útiles y separadas en lugar de usar pesos y sesgos atados? Me parece mucho más intuitivo calcular el reconstruido con la función de activación inversa , por ejemplo, , de la siguiente manera:$z$$w'$$b'$$f^{-1}$$\text{arctanh}$

Tenga en cuenta que aquí se usan pesos atados, es decir, , y se los sesgos de la capa oculta, en lugar de introducir un conjunto adicional de sesgos para la capa de entrada.$w' = w^T$$b_j$

Y una pregunta muy relacionada: para visualizar características, en lugar de calcular la reconstrucción, generalmente se crearía una matriz de identidad con la dimensión de la capa oculta. Entonces, uno usaría cada columna de la matriz como entrada para una función de reactivación, que induce una salida en las neuronas de entrada. Para la función de reactivación, ¿sería mejor usar la misma función de activación (resp. La ) o la función inversa (resp. La )?$z_i$$z'_i$

No creo que tu suposición $w' = w^T$sostiene. O, más bien, no es necesario, y si se hace, no es para revertir automáticamente el cálculo de alguna manera para crear las entidades de capa ocultas. No es posible invertir la compresión en general, pasando de n a m más pequeño, directamente de esta manera. Si ese era el objetivo, entonces querrías una forma de inversión matricial, no una transposición simple.

En cambio, solo queremos $w_{ij}$ para la representación de características comprimidas de nivel superior, y descartará $w'_{ij}$ después de que se termine el codificador automático.

Usted puede configurar$w' = w^T$y amarrar las pesas. Esto puede ayudar con la regularización, ayudando al autoencoder a generalizar. Pero no es necesario.

Para que el autoencoder funcione, en realidad no importa qué función de activación use después de la capa que está entrenando previamente, siempre que la última capa del autoencoder pueda expresar el rango de posibles entradas. Sin embargo, puede obtener resultados de calidad variable según lo que use, como es normal en una red neuronal.

Es bastante razonable usar la misma función de activación para la que está construyendo la capa pre-entrenada, ya que es la opción más simple.

También es posible usar una función inversa, pero no es aconsejable para sigmoide o tanh, porque, por ejemplo, arctanh no está definido <-1 o> 1, por lo que es probable que no sea numéricamente estable.