¿Cómo podría dejar de que ssh ofrezca una clave incorrecta?

(Esto es un problema con ssh, no con gitolita) He configurado gitolite en mi servidor doméstico (servidor ubuntu 12.04, open-ssh). Quiero un archivo de identidad especial para administrar los repositorios, así que necesito acceder a través de ssh a mi propio host utilizando dos claves de identidad...