¿Qué significa una capa de cuello de botella en las redes neuronales?

Estaba leyendo el artículo de FaceNet y en el tercer párrafo de la introducción dice:

Los enfoques anteriores de reconocimiento facial basados ​​en redes profundas usan una capa de clasificación entrenada sobre un conjunto de identidades faciales conocidas y luego toman una capa intermedia de cuello de botella como una representación utilizada para generalizar el reconocimiento más allá del conjunto de identidades utilizadas en el entrenamiento.

Me preguntaba qué quieren decir con una capa intermedia de cuello de botella.

Una capa de cuello de botella es una capa que contiene pocos nodos en comparación con las capas anteriores. Se puede utilizar para obtener una representación de la entrada con una dimensionalidad reducida. Un ejemplo de esto es el uso de autoencoders con capas de cuello de botella para la reducción de dimensionalidad no lineal.

Entiendo que la cita es que los enfoques anteriores utilizan una red profunda para clasificar caras. Luego toman las primeras capas de esta red, desde la entrada hasta una capa intermedia (por ejemplo, la capa , que contiene nodos). Esta subred implementa una asignación del espacio de entrada a un espacio vectorial -dimensional. El ésimo capa es una capa de cuello de botella, por lo que el vector de activaciones de los nodos en el ésimo capa da una representación dimensional inferior de la entrada. La red original no se puede usar para clasificar nuevas identidades, en las que no se entrenó. Pero, la$k$$n_k$$n_k$$k$$k$$k$La capa puede proporcionar una buena representación de caras en general. Entonces, para aprender nuevas identidades, se pueden apilar nuevas capas de clasificador en la parte superior de la capa y entrenarse. O bien, los nuevos datos de entrenamiento se pueden alimentar a través de la subred para obtener representaciones de la capa , y estas representaciones se pueden alimentar a algún otro clasificador.$k$$k$