Seguimiento del progreso con xargs

Estoy usando xargs para ejecutar un comando en un conjunto de parámetros de entrada algo como esto:

cat <someinput> | xargs -n 1 -P 5 <somecmd>

El archivo de entrada es realmente largo y tarda mucho en ejecutarse. Así que solo estoy esperando que aparezca el símbolo del sistema. ¿Hay alguna manera de mostrar una barra de progreso para el número de argumentos de entrada que se han completado?

Intenté usar 'bar' pero siempre obtuve un rendimiento 'infinito'. Parece que xargs lee toda la entrada antes de ejecutar comandos.

Si tiene GNU Parallel puede ejecutar:

cat <someinput> | parallel --bar -P 5 <somecmd>

GNU Parallel es un paralelizador general y hace que sea fácil ejecutar trabajos en paralelo en la misma máquina o en varias máquinas a las que tiene acceso ssh.

Si tiene 32 trabajos diferentes que desea ejecutar en 4 CPU, una forma directa de paralelizar es ejecutar 8 trabajos en cada CPU:

GNU Parallel genera un nuevo proceso cuando uno termina, manteniendo las CPU activas y ahorrando tiempo:

Instalación

Una instalación personal no requiere acceso de root. Se puede hacer en 10 segundos haciendo esto:

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

Para otras opciones de instalación, consulte http://git.savannah.gnu.org/cgit/parallel.git/tree/README

Aprende más

Ver más ejemplos: http://www.gnu.org/software/parallel/man.html

Mira los videos de introducción: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Recorre el tutorial: http://www.gnu.org/software/parallel/parallel_tutorial.html

Regístrese en la lista de correo electrónico para obtener asistencia: https://lists.gnu.org/mailman/listinfo/parallel

Puedes usar pv:

cat <someinput> | pv -p -s sizeof_someimput | xargs -n 1 -P 5 <somecmd>

Con esto sabrá dónde está la lectura de alguna entrada , de modo que sabrá aproximadamente dónde está el tratamiento de alguna entrada .

Si está buscando solo una indicación general de progreso, el método más simple es hacer eco antes de hacer el comando que le gustaría hacer.

Ejemplo: cat <someinput> | xargs -I{} sh -c 'echo {}; <somecmd>;'

-I{}se establece {}en la cadena actual que se está procesando

sh -cle permitirá ejecutar múltiples comandos (nota: punto y coma después de que se requiera cada comando, incluido el último) .