Está comprobado que las redes neuronales con pesos racionales tienen el poder computacional de la máquina universal de Turing Computabilidad de Turing con redes neuronales . De lo que obtengo, parece que el uso de pesos con valor real produce aún más poder computacional, aunque no estoy seguro de esto.
Sin embargo, ¿hay alguna correlación entre el poder computacional de una red neuronal y su función de activación? Por ejemplo, si la función de activación compara la entrada con un límite de una secuencia de Specker (algo que no puede hacer con una máquina de Turing normal, ¿verdad?), ¿Esto hace que la red neuronal sea computacionalmente "más fuerte"? ¿Podría alguien señalarme una referencia en esta dirección?
computability
neural-networks
K.Steff
fuente
fuente
Respuestas:
Solo una nota:
recurrentes ponderados racionales que tienen funciones de activación booleana (umbrales simples) son equivalentes a autómatas de estado finito (Minsky, "Computación: máquinas finitas e infinitas", 1967);NN
recurrentes ponderados racionales que tienen funciones de activación sigmoideas lineales son equivalentes a las máquinas de Turing (Siegelmann y Sontag, " Sobre el poder computacional de las redes neuronales ", 1995);NN
Los recurrentes ponderados reales que tienen funciones de activación sigmoidea lineal son más potentes que las máquinas de Turing (Siegelmann y Sontag, " Computación analógica a través de redes neuronales ", 1993);NN
pero ...
fuente
Voy a tomar la solución fácil y decir "Sí". Considere una función de activación que acepta cualquier entrada y simplemente devuelve un valor constante (es decir, ignora las entradas). Esta red siempre da como resultado una salida constante y, por lo tanto, la potencia de cálculo (probablemente por cualquier definición) de esta red es cero. No es capaz de calcular nada.
Esto es suficiente para mostrar una correlación entre la función de activación en el poder de la red. Por supuesto, no muestra, ni refuta, que una red podría tener más potencia que una máquina universal.
fuente