Diferencia: Replicator Neural Network vs. Autoencoder

8

Actualmente estoy estudiando artículos sobre detección de valores atípicos utilizando RNN (Replicator Neural Networks) y me pregunto cuál es la diferencia particular con los Autoencoders. Los RNN parecen ser tratados por muchos como el santo grial de la detección de valores atípicos / anomalías, sin embargo, la idea parece ser bastante antigua, ya que los codificadores automáticos han estado allí durante mucho tiempo.

Nex
fuente
Hola. Estaba a punto de eliminarlo, como he leído aquí: meta.stackexchange.com/a/254090, que la ciencia de datos no es el foro adecuado para esta pregunta. Perdón por el retraso.
Nex
OKAY. Solo me di cuenta porque nunca había oído hablar de Replicator NN y busqué: surgió la pregunta de validación cruzada. Estoy de acuerdo en que Data Science es un mejor lugar para esta pregunta.
Neil Slater

Respuestas:

6

Ambos tipos de redes intentan reconstruir la entrada después de alimentarla a través de algún tipo de mecanismo de compresión / descompresión. Para la detección de valores atípicos, se mide el error de reconstrucción entre entrada y salida; se espera que los valores atípicos tengan un error de reconstrucción mayor.

La principal diferencia parece ser la forma en que se comprime la entrada:

Los autoencoders simples exprimen la entrada a través de una capa oculta que tiene menos neuronas que las capas de entrada / salida ... de esa manera la red tiene que aprender una representación comprimida de los datos.

Las redes neuronales replicadoras exprimen los datos a través de una capa oculta que utiliza una función de activación en forma de escalera. La función de activación en forma de escalera hace que la red comprima los datos asignándolos a un cierto número de grupos (dependiendo del número de neuronas y la cantidad de pasos).

función de activación tipo escalera

De las redes neuronales del replicador para el modelado atípico en el reconocimiento de voz segmentario :

RNNs se introdujeron originalmente en el campo de la compresión de datos [5]. Hawkins y col. lo propuso para modelos atípicos [4]. En ambos documentos se recomienda una estructura de 5 capas, con una capa de salida lineal y una función especial de activación en forma de escalera en la capa intermedia (ver Fig. 2). El papel de esta función de activación es cuantificar el vector de las salidas de capa oculta media en puntos de cuadrícula y así organizar los puntos de datos en varios grupos.

stmax
fuente