Si es posible. Puede usar la --parallel
opción desde la versión 1.23.2 de docker-composer.
La versión 1.23.2 también corrige el error 1.23.0:
Se revirtió un cambio de 1.23.0 que agregaba cadenas aleatorias a los nombres de contenedores creados por docker-compose, causando problemas de direccionamiento. Nota: Los contenedores creados por docker-compose run continuarán usando nombres generados aleatoriamente para evitar colisiones durante ejecuciones paralelas.
https://github.com/docker/compose/releases/tag/1.23.2
Puedes usarlo simplemente haciendo:
docker-compose build --parallel