Representación de vector de entrada vs representación de vector de salida en word2vec

En los modelos CBOW y skip-gram de word2vec, ¿cómo funciona elegir vectores de palabras de $W$(matriz de palabras de entrada) frente a elegir vectores de palabras de (matriz de palabras de salida) ¿afecta la calidad de los vectores de palabras resultantes?$W'$

CBOW:

Saltar-gramo:

Garten y col. {1} comparó vectores de palabras obtenidos mediante la adición de vectores de palabras de entrada con vectores de palabras de salida, frente a vectores de palabras obtenidos mediante la concatenación de vectores de palabras de entrada con vectores de palabras de salida. En sus experimentos, la concatenación produce resultados significativamente mejores:

La conferencia de video {2} recomienda promediar vectores de palabras de entrada con vectores de palabras de salida, pero no se compara con la concatenación de vectores de palabras de entrada con vectores de palabras de salida.

Referencias

• {1} Garten, J., Sagae, K., Ustun, V. y Dehghani, M. (2015, junio). Combinando representaciones vectoriales distribuidas para palabras . En Actas de NAACL-HLT (pp. 95-101).
• {2} Stanford CS224N: PNL con aprendizaje profundo por Christopher Manning | Invierno 2019 | Lección 2 - Vectores de palabras y sentidos de palabras. https://youtu.be/kEMJRjEdNzM?t=1565 ( espejo )