¿No puede descubrir la capa de incrustación lineal en la red neuronal convolucional?

Tengo la arquitectura de red del documento "aprendiendo similitudes de imagen de grano fino con clasificación profunda" y no puedo entender cómo se fusiona la salida de las tres redes paralelas utilizando la capa de inclusión lineal. La única información dada en esta capa, en el documento es

Finalmente, normalizamos las incrustaciones de las tres partes y las combinamos con una capa de incrustación lineal. La dimensión de la incrustación es 4096.

¿Alguien puede ayudarme a averiguar qué quiere decir exactamente el autor cuando habla de esta capa?

La capa de incrustación lineal debe ser solo un nombre elegante para una capa densa sin activación. 'Lineal' significa que no hay activación (la activación es identidad). Y la incrustación es más bien un concepto para una representación vectorial de los datos de entrada (por ejemplo, incrustaciones de palabras). Creo que los elementos del segundo vector simplemente se agregan al primero en cuanto a elementos.

Se menciona en el documento:

Una capa de normalización local normaliza el mapa de características alrededor de un vecindario local para que tenga la norma de unidad y la media cero. Conduce a mapas de características que son robustos a las diferencias en iluminación y contraste.

Toman cada parte del modelo y lo normalizan por separado.

En cuanto a combinarlos, como comentaste, para capturar las características más destacadas, con una representación incompleta sin necesidad de la no linealidad.