Script de Bash que procesa un número limitado de comandos en paralelo

Tengo un script bash que se ve así:

#!/bin/bash
wget LINK1 >/dev/null 2>&1
wget LINK2 >/dev/null 2>&1
wget LINK3 >/dev/null 2>&1
wget LINK4 >/dev/null 2>&1
# ..
# ..
wget LINK4000 >/dev/null 2>&1

Pero procesar cada línea hasta que finalice el comando y luego pasar a la siguiente lleva mucho tiempo, quiero procesar, por ejemplo, 20 líneas a la vez y luego, cuando están terminadas, se procesan otras 20 líneas.

Pensé wget LINK1 >/dev/null 2>&1 &en enviar el comando a un segundo plano y continuar, pero hay 4000 líneas aquí, lo que significa que tendré problemas de rendimiento, sin mencionar la limitación en la cantidad de procesos que debo iniciar al mismo tiempo, por lo que no es un buen idea.

Una solución en la que estoy pensando ahora es verificar si uno de los comandos aún se está ejecutando o no, por ejemplo, después de 20 líneas puedo agregar este bucle:

while [  $(ps -ef | grep KEYWORD | grep -v grep | wc -l) -gt 0 ]; do
sleep 1
done

¡Por supuesto que en este caso tendré que agregar y al final de la línea! Pero siento que esta no es la forma correcta de hacerlo.

Entonces, ¿cómo puedo agrupar cada una de las 20 líneas y esperar a que terminen antes de pasar a las siguientes 20 líneas? use wget, fue solo un ejemplo, por lo que cualquier solución específica de wget no me servirá de nada.

Use el waitincorporado:

process1 &
process2 &
process3 &
process4 &
wait
process5 &
process6 &
process7 &
process8 &
wait

Para el ejemplo anterior, 4 procesos process1... process4se iniciarían en segundo plano y el shell esperaría hasta que se completen antes de comenzar el siguiente conjunto.

Del manual de GNU :

wait [jobspec or pid ...]

Espere hasta que el proceso secundario especificado por cada ID de proceso pid o especificación de trabajo finalice y especifique el estado de salida del último comando esperado. Si se proporciona una especificación de trabajo, se esperan todos los procesos en el trabajo. Si no se proporcionan argumentos, se esperan todos los procesos secundarios actualmente activos y el estado de retorno es cero. Si ni jobspec ni pid especifican un proceso secundario activo del shell, el estado de retorno es 127.

Ver paralelo . Su sintaxis es similar a xargs, pero ejecuta los comandos en paralelo.

De hecho, xargs puede ejecutar comandos en paralelo para usted. Hay una -P max_procsopción especial de línea de comandos para eso. Ver man xargs.

Puede ejecutar 20 procesos y usar el comando:

wait

Su secuencia de comandos esperará y continuará cuando finalicen todos sus trabajos en segundo plano.