¿Por qué es necesaria la agrupación máxima en redes neuronales convolucionales?

18

Las redes neuronales convolucionales más comunes contienen capas de agrupación para reducir las dimensiones de las características de salida. ¿Por qué no podría lograr lo mismo simplemente aumentando el paso de la capa convolucional? ¿Qué hace necesaria la capa de agrupación?

usuario3667089
fuente

Respuestas:

16

De hecho, puede hacer eso, ver Luchando por la simplicidad: la red convolucional . La agrupación le proporciona cierta cantidad de invariancia de traducción, lo que puede o no ser útil. Además, la agrupación es más rápida de calcular que las convoluciones. Aún así, siempre puede intentar reemplazar la agrupación por convolución con zancada y ver qué funciona mejor.

Algunos trabajos actuales usan la agrupación promedio ( Redes Residuales Anchas , DenseNets ), otros usan convolución con zancada ( DelugeNets )

robintibor
fuente
Le pregunté a uno de mis amigos sobre esto y dijo que las capas de agrupación son mejores porque introduce la no linealidad. ¿Estás de acuerdo?
user3667089
77
No estoy tan seguro de estar de acuerdo. Algún tipo de no linealidad ya está presente en las redes a través de las funciones de activación. La agrupación promedio tampoco introduce ninguna no linealidad adicional, es una operación lineal, por lo que solo la agrupación máxima es no lineal. Y creo que la pregunta es más si quieres la regularización que te trae la agrupación, un poco más de invariancia traslacional.
robintibor
4

Aparentemente, la agrupación máxima ayuda porque extrae las características más nítidas de una imagen. Entonces, dada una imagen, las características más nítidas son la mejor representación de nivel inferior de una imagen. https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling

Pero según la conferencia de aprendizaje profundo de Andrew Ng, la agrupación máxima funciona bien, pero nadie sabe por qué. Cita -> "Pero debo admitirlo, creo que la razón principal por la que las personas usan la agrupación máxima es porque se ha encontrado en muchos experimentos que funcionan bien ... No sé de nadie que sepa si esa es la verdadera razón subyacente ".

Yi Xiang Chong
fuente