¿Qué significa "invariante de permutación" en el contexto de redes neuronales que realizan reconocimiento de imágenes?

Respuestas:

17

En este contexto, esto se refiere al hecho de que el modelo no asume ninguna relación espacial entre las características. Por ejemplo, para el perceptrón multicapa, puede permutar los píxeles y el rendimiento sería el mismo. Este no es el caso de las redes convolucionales, que asumen relaciones vecinales.

bayerj
fuente
1
Sí, esa es la parte confusa. ¿No debería haber una relación espacial en la clasificación de dígitos?
RockTheStar
1
MNIST es ampliamente utilizado como punto de referencia (o verificación de cordura) en redes neuronales. Si su modelo puede obtener <1% de error en MNIST invariante de permutación, está en algo.
bayerj
1
Sí, quiero decir, ¿no hay una relación espacial en los dígitos también? Si permutas los píxeles de los dígitos, ¿cambiará el orden de los píxeles, lo que esencialmente afecta el rendimiento?
RockTheStar
1
Solo si el modelo lo asume. mlps no, convnets sí. Es por eso que comparar una conexión a Internet con un mlp en mnist es algo injusto.
bayerj
1
¡Veo! Entonces, en el conjunto de datos mnist, ¿mlps funciona mejor o convnet?
RockTheStar
6

Una función de un argumento vectorial x = ( x 1 , ... , x n ) es invariante de permutación si el valor de f no cambia si permutamos los componentes de x , es decir, cuando n = 3 : f ( ( x 1 , x 2 , x 3 ) ) = f ( ( x 2 , x 1 , x 3 ) )fx=(x1,,xn)fxn=3

f((x1,x2,x3))=f((x2,x1,x3))=f((x3,x1,x2))
kjetil b halvorsen
fuente
1
Esta respuesta es un poco engañosa, porque el aprendizaje automático en el algoritmo de aprendizaje es a menudo invariante de permutación, mientras que la función que devuelve no lo es.
bayerj
@bayerj: Esa es una información interesante, pero no puedo ver que haga que la definición que he dado sea engañosa , es una definición correcta, pero tal vez no sea una respuesta completa en este contexto.
kjetil b halvorsen
Tienes razón, la definición es correcta. Pero no es aplicable en la forma en que lo escribe. En el contexto de la permutación MNIST invariante, sobre la cual el OP estaba preguntando, las funciones de la forma que usted escribe no ocurren.
bayerj