¿Cómo obtiene la CNN '12 de Krizhevsky 253,440 neuronas en la primera capa?

En Alex Krizhevsky, et al. La clasificación de Imagenet con redes neuronales convolucionales profundas enumera el número de neuronas en cada capa (ver el diagrama a continuación).

La entrada de la red es de 150,528 dimensiones, y el número de neuronas en las capas restantes de la red viene dado por 253,440–186,624–64,896–64,896–43,264– 4096–4096–1000.

Una vista 3D

La cantidad de neuronas para todas las capas después de la primera es clara. Una forma simple de calcular las neuronas es simplemente multiplicar las tres dimensiones de esa capa ( planes X width X height):

• Capa 2: 27x27x128 * 2 = 186,624
• Capa 3: 13x13x192 * 2 = 64,896
• etc.

Sin embargo, mirando la primera capa:

• Capa 1: 55x55x48 * 2 = 290400

¡Tenga en cuenta que esto no es 253,440como se especifica en el documento!

Calcular tamaño de salida

La otra forma de calcular el tensor de salida de una convolución es:

Si la imagen de entrada es un tensor 3D nInputPlane x height x width, el tamaño de la imagen de salida será nOutputPlane x owidth x oheightdonde

owidth = (width - kW) / dW + 1

oheight = (height - kH) / dH + 1 .

(de la documentación de Torch SpatialConvolution )

La imagen de entrada es:

• nInputPlane = 3
• height = 224
• width = 224

Y la capa de convolución es:

• nOutputPlane = 96
• kW = 11
• kH = 11
• dW = 4
• dW = 4

(por ejemplo 11, tamaño del grano , zancada 4)

Al conectar esos números obtenemos:

owidth = (224 - 11) / 4 + 1 = 54 oheight = (224 - 11) / 4 + 1 = 54

Por lo tanto, 55x55nos faltan las dimensiones que necesitamos para que coincida con el papel. Pueden ser rellenos (pero el cuda-convnet2modelo establece explícitamente el relleno en 0)

Si tomamos las 54dimensiones de tamaño, obtenemos 96x54x54 = 279,936neuronas, todavía demasiadas.

Así que mi pregunta es esta:

¿Cómo obtienen 253,440 neuronas para la primera capa convolucional? ¿Qué me estoy perdiendo?

De la nota estándar sobre NN:

Ejemplo del mundo real. Krizhevsky et al. La arquitectura que ganó el desafío ImageNet en 2012 aceptó imágenes de tamaño [227x227x3]. En la primera capa convolucional, utilizó neuronas con un tamaño de campo receptivo F = 11, zancada S = 4 y sin relleno de cero P = 0. Como (227 - 11) / 4 + 1 = 55, y dado que la capa Conv tenía una profundidad de K = 96, el volumen de salida de la capa Conv tenía un tamaño [55x55x96]. Cada una de las 55 * 55 * 96 neuronas en este volumen estaba conectada a una región de tamaño [11x11x3] en el volumen de entrada. Además, las 96 neuronas en cada columna de profundidad están conectadas a la misma región [11x11x3] de la entrada, pero por supuesto con diferentes pesos. Además, si lees el artículo real, dice que las imágenes de entrada eran 224x224, lo que seguramente es incorrecto porque (224 - 11) / 4 + 1 claramente no es un número entero. Esto ha confundido a muchas personas en la historia de ConvNets y se sabe poco sobre lo que sucedió. Mi mejor conjetura es que Alex usó cero relleno de 3 píxeles adicionales que no menciona en el documento.

ref: http://cs231n.github.io/convolutional-networks/

Estas notas acompañan la clase CS231n de Stanford: Redes neuronales convolucionales para el reconocimiento visual. Para preguntas / inquietudes / informes de errores con respecto a contactar a Justin Johnson con respecto a las tareas, o contactar a Andrej Karpathy con respecto a las notas del curso

Este artículo es realmente confuso. En primer lugar, el tamaño de entrada de las imágenes es incorrecto 224x224 no da una salida de 55. Esas neuronas son simplemente como píxeles agrupados en uno, por lo que la salida es una imagen 2D de valores aleatorios (valores de neuronas). Entonces, básicamente, el número de neuronas = anchoxaltoxprofundo, no hay secretos para resolver esto.