Compilar con g ++ usando múltiples núcleos

Pregunta rápida: ¿cuál es el indicador del compilador para permitir que g ++ genere múltiples instancias de sí mismo para compilar proyectos grandes más rápido (por ejemplo, 4 archivos fuente a la vez para una CPU de múltiples núcleos)?

Puede hacer esto con make - con gnu make es la bandera -j (esto también ayudará en una máquina de un solo procesador).

Por ejemplo, si desea 4 trabajos paralelos de make:

make -j 4

También puede ejecutar gcc en una tubería con

gcc -pipe

Esto canalizará las etapas de compilación, lo que también ayudará a mantener ocupados los núcleos.

Si también tiene máquinas adicionales disponibles, puede consultar distcc , que también compilará compilaciones para ellos.

No existe ese indicador, y tener uno va en contra de la filosofía de Unix de hacer que cada herramienta realice solo una función y lo haga bien. Generar procesos del compilador es conceptualmente el trabajo del sistema de compilación. Lo que probablemente esté buscando es la bandera -j (empleos) a GNU make, a la

make -j4

O puede usar pmake o sistemas similares de creación paralela.

La gente ha mencionado makepero bjamtambién apoya un concepto similar. El uso bjam -jxinstruye a bjam para que se acumule en xcomandos simultáneos.

Usamos los mismos scripts de compilación en Windows y Linux y esta opción reduce a la mitad nuestros tiempos de compilación en ambas plataformas. Agradable.

makeHará esto por ti. Investigue -jy -lcambie en la página del manual. No creo que g++sea ​​paralelizable.

Si usa make, emita con -j. De man make:

  -j [jobs], --jobs[=jobs]
       Specifies the number of jobs (commands) to run simultaneously.  
       If there is more than one -j option, the last one is effective.
       If the -j option is given without an argument, make will not limit the
       number of jobs that can run simultaneously.

Y lo más notable, si desea escribir o identificar la cantidad de núcleos que tiene disponibles (dependiendo de su entorno, y si se ejecuta en muchos entornos, esto puede cambiar mucho) puede usar la función ubicua de Python cpu_count():

https://docs.python.org/3/library/multiprocessing.html#multiprocessing.cpu_count

Me gusta esto:

make -j $(python3 -c 'import multiprocessing as mp; print(int(mp.cpu_count() * 1.5))')

Si está preguntando por qué 1.5citaré al usuario artless-noise en un comentario anterior:

El número 1.5 se debe al problema vinculado de E / S observado. Es una regla de oro. Aproximadamente 1/3 de los trabajos estarán esperando E / S, por lo que los trabajos restantes utilizarán los núcleos disponibles. Un número mayor que los núcleos es mejor e incluso podría llegar hasta 2x.

distcc también se puede usar para distribuir compilaciones no solo en la máquina actual, sino también en otras máquinas en una granja que tienen instalado distcc.

No estoy seguro acerca de g ++, pero si está usando GNU Make, entonces "make -j N" (donde N es el número de hilos que puede crear make) permitirá que make ejecute trabajos multple g ++ al mismo tiempo (tanto tiempo ya que los archivos no dependen el uno del otro).

GNU paralelo

Estaba haciendo un punto de referencia de compilación sintética y no podía molestarme en escribir un Makefile, así que usé:

sudo apt-get install parallel
ls | grep -E '\.c$' | parallel -t --will-cite "gcc -c -o '{.}.o' '{}'"

Explicación:

• {.} toma el argumento de entrada y elimina su extensión
• -t imprime los comandos que se ejecutan para darnos una idea del progreso
• --will-cite elimina la solicitud de citar el software si publica resultados utilizándolo ...

parallel es tan conveniente que incluso podría hacer una comprobación de marca de tiempo yo mismo:

ls | grep -E '\.c$' | parallel -t --will-cite "\
  if ! [ -f '{.}.o' ] || [ '{}' -nt '{.}.o' ]; then
    gcc -c -o '{.}.o' '{}'
  fi
"

xargs -Ptambién puede ejecutar trabajos en paralelo, pero es un poco menos conveniente hacer la manipulación de la extensión o ejecutar múltiples comandos con él: llamar a múltiples comandos a través de xargs

Se solicitó la vinculación paralela en: ¿Puede gcc usar múltiples núcleos al vincular?

TODO: Creo que leí en alguna parte que la compilación se puede reducir a la multiplicación de matrices, por lo que tal vez también sea posible acelerar la compilación de un solo archivo para archivos grandes. Pero no puedo encontrar una referencia ahora.

Probado en Ubuntu 18.10.