¿Cómo comparto el portapapeles con la máquina virtual que ejecuta Ubuntu Server?

Recientemente instalé Ubuntu Server 12.04 LTS en una máquina VirtualBox, e instalé manualmente las adiciones de invitados con éxito. Sin embargo, descubrí que no podía usar el portapapeles compartido con el sistema operativo. Al ser una máquina servidor, no planeo instalar X11 y un administrador de ventanas.

Noté que durante la instalación de Guest Additions, los controladores de gráficos obviamente no se instalaron debido a la falta de X11. Esto terminó la instalación; ¿Podría esto significar que los controladores compartidos del portapapeles podrían haberse instalado después de los controladores gráficos, si la instalación hubiera continuado?

Además, sé que solo puedo ingresar SSH en el servidor y usar mi portapapeles allí, pero eso es un poco incómodo, ya que tengo la máquina real abierta en una ventana en la misma PC. Solo quiero saber si esto es posible.

La función para compartir portapapeles solo funciona en Xorg. Esto se aplica a las adiciones de VMWare y Virtualbox. Simplemente puede usar un cliente ssh GUI, o simplemente el comando ssh para obtener un portapapeles compartido y todas las ventajas que viene con ssh.