puede limitar el uso de memoria con /etc/security/limits.conf en este archivo que ponga:
domain type item value
donde el domaines el @groupname, typees hardo softdonde hardes el límite que no puede ser excedido bajo ninguna circunstancia.
itemes el campo del artículo especifica qué tipo de artículo está siendo limitado Los ejemplos incluyen core (el tamaño de los archivos core), datos (el tamaño del área de datos de un programa), fsize (el tamaño de los archivos creados por el usuario), nofile (el número de archivos de datos abiertos), rss (el conjunto residente tamaño), stack (el tamaño de stack), cpu (el tiempo de CPU de un solo proceso en minutos), nproc (el número de procesos concurrentes), maxlogins (el número de inicios de sesión simultáneos) y prioridad (la prioridad del proceso). Los datos, rss y elementos de la pila están relacionados con la memoria consumida por un programa. Estas y otras medidas de capacidad de datos se miden en kilobytes.
y valueestá relacionado con el itemcampo que ha elegido, por ejemplo, si ha elegido cpuen el itemcampo y puesto 2en el mismo valueen caso de que domain(su grupo de VirtualBox) tome más 2tiempo del tiempo de CPU que terminará.
También puedes usarlo ulimit, pero está restringido solo al bash shell.
Espero que esto te ayude en tu objetivo, aunque no se hace con el método que pediste.