He estado tratando de paralelizar el siguiente script, específicamente cada una de las tres instancias de bucle FOR, usando GNU Parallel, pero no he podido. Los 4 comandos contenidos dentro del ciclo FOR se ejecutan en serie, cada ciclo toma alrededor de 10
Estoy confundido acerca de la diferencia o ventaja (si existe) de ejecutar un conjunto de tareas en un .shscript usandoGNU parallel Por ejemplo , la respuesta de Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png en lugar de decir bucle a través de ellos y ponerlos en segundo plano &. Por...
Tengo un problema de scripting de shell en el que recibo un directorio lleno de archivos de entrada (cada archivo contiene muchas líneas de entrada), y necesito procesarlos individualmente, redirigiendo cada una de sus salidas a un archivo único (también conocido como file_1.input necesita para ser...
He estado usando un rsyncscript para sincronizar datos en un host con los datos en otro host. Los datos tienen numerosos archivos de pequeño tamaño que contribuyen a casi 1.2TB. Para sincronizar esos archivos, he estado usando el rsynccomando de la siguiente manera: rsync -avzm --stats...
En un script más grande para procesar posteriormente algunos datos de simulación, tuve la siguiente línea: parallel bnzip2 -- *.bz2 Lo cual, si entiendo parallelcorrectamente (y puede que no), debería ejecutar subprocesos n-core del programa sobre todos los archivos con la extensión enumerada....
Entonces tengo un ciclo while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Pero esto puede llevar mucho tiempo. ¿Cómo usaría GNU Parallel para este ciclo
Estoy cargando un archivo bastante gigantesco en una base de datos postgresql. Para hacer esto, primero lo uso spliten el archivo para obtener archivos más pequeños (30 Gb cada uno) y luego cargo cada archivo más pequeño en la base de datos usando GNU Parallely psql copy. El problema es que toma...
% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Esperaría que la segunda línea actúe
Me gustaría usar la función de GNU paralelo donde puede ejecutar el comando y la lista que se alimenta en paralelo y escupirlo después de que todo esté hecho, sin embargo, no quiero instalar GNU paralelo en todos nuestros servidores. O tal vez una versión paralela de xargs? ¿Existe una...
Supongamos que quiero encontrar todas las coincidencias en el archivo de texto comprimido: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateutilizado aquí para medir el rendimiento del tubo. En mi máquina es de aproximadamente 420Mb / s (después de la descompresión). Ahora estoy...