Preguntas etiquetadas con parallelism

Hay una lista de direcciones IP en un archivo .txt, por ejemplo: 1.1.1.1 2.2.2.2 3.3.3.3 Detrás de cada dirección IP hay un servidor, y en cada servidor hay un sshd ejecutándose en el puerto 22. No todos los servidores están en la known_hostslista (en mi PC, Ubuntu 10.04 LTS / bash). ¿Cómo...

Estoy usando el procesador cuádruple IMX6 de freescale. Quiero saber si el topcomando enumera el uso de CPU de los 4 núcleos o de un solo núcleo. Veo que el uso de la CPU de una aplicación es el mismo con 4 núcleos y con un solo núcleo. Supuse que el uso de la CPU por parte de la aplicación...

Necesito descargar un archivo grande (1 GB). También tengo acceso a varias computadoras que ejecutan Linux, pero cada una está limitada a una velocidad de descarga de 50kB / s por una política de administración. ¿Cómo distribuyo la descarga de este archivo en varias computadoras y las combino...

Tengo una carpeta que tiene más de 250 archivos de 2 GB cada uno. Necesito buscar una cadena / patrón en esos archivos y generar el resultado en un outputarchivo. Sé que puedo ejecutar el siguiente comando, ¡pero es demasiado lento! grep mypattern * > output Quiero acelerarlo Siendo un...

¿Hay alguna herramienta / comando en Linux que pueda usar para ejecutar un comando en más de una pestaña simultáneamente? Quiero ejecutar el mismo comando: ./myprog argument1 argument2simultáneamente en más de un shell para verificar si los mutexes funcionan bien en un programa enhebrado. Quiero...

Quiero compilar lo más rápido posible. Imagínate. Y me gustaría automatizar la elección del número que sigue a la -jopción. ¿Cómo puedo elegir programáticamente ese valor, por ejemplo, en un script de shell? ¿La salida es nprocequivalente a la cantidad de hilos que tengo disponibles para...

Bajo el supuesto de que la E / S de disco y la RAM libre es un cuello de botella (mientras que el tiempo de CPU no es la limitación), ¿existe una herramienta que pueda calcular múltiples resúmenes de mensajes a la vez? Estoy particularmente interesado en calcular los resúmenes MD-5 y SHA-256 de...

Tengo un montón de imágenes PNG en un directorio. Tengo una aplicación llamada pngout que ejecuto para comprimir estas imágenes. Esta aplicación es llamada por un script que hice. El problema es que este script hace uno a la vez, algo como esto: FILES=(./*.png) for f in "${FILES[@]}" do echo...

Supongamos que tengo tres (o más) scripts bash: script1.sh, script2.sh, y script3.sh. Me gustaría llamar a estos tres scripts y ejecutarlos en paralelo . Una forma de hacerlo es simplemente ejecutar los siguientes comandos: nohup bash script1.sh & nohup bash script2.sh & nohup bash...

Tengo un problema de scripting de shell en el que recibo un directorio lleno de archivos de entrada (cada archivo contiene muchas líneas de entrada), y necesito procesarlos individualmente, redirigiendo cada una de sus salidas a un archivo único (también conocido como file_1.input necesita para ser...

Estoy usando xargscon la opción --max-args=0(alternativamente -P 0). Sin embargo, la salida de los procesos se fusiona en la stdoutsecuencia sin tener en cuenta la separación de línea adecuada. Así que a menudo terminaré con líneas

Tengo un script de shell bash en el que canalizo algunos datos a través de aproximadamente 5 o 6 programas diferentes y luego los resultados finales en un archivo delimitado por tabulaciones. Luego hago lo mismo nuevamente para un conjunto de datos similar por separado y la salida a un segundo...

Considere el siguiente escenario. Tengo dos programas A y B. El programa A sale a líneas de cadenas estándar mientras que el programa B procesa líneas desde stdin. La forma de usar estos dos programas es, por supuesto: foo @ bar: ~ $ A | si Ahora he notado que esto solo consume un núcleo; Por...

Puedo conectarme a una máquina remota que tiene 64 núcleos. Digamos que necesito ejecutar 640 scripts de shell en paralelo en esta máquina. ¿Cómo hago esto? Puedo ver dividir los 640 scripts en 64 grupos, cada uno de 10 scripts. ¿Cómo podría ejecutar cada uno de estos grupos en paralelo , es...

Encontré solo puf (Buscador de URL paralelo) pero no pude hacerlo leer las URL de un archivo; algo como puf < urls.txt tampoco funciona El sistema operativo instalado en el servidor es

Supongamos que tengo dos recursos, nombrados 0y 1, a los que solo se puede acceder de forma exclusiva. ¿Hay alguna forma de recuperar el "índice" del "procesador paralelo" que se xargsinicia para usarlo como un servicio gratuito de exclusión mutua? Por ejemplo, considere el siguiente cálculo...

Tengo una tarea que procesa una lista de archivos en stdin. El tiempo de inicio del programa es considerable, y la cantidad de tiempo que toma cada archivo varía ampliamente. Quiero generar una cantidad sustancial de estos procesos, luego enviar el trabajo a los que no estén ocupados. Hay varias...

Tengo tres tipos de datos que están en diferentes formatos; Para cada tipo de datos, hay un script de Python que lo transforma en un único formato unificado. Este script de Python es lento y está vinculado a la CPU (a un solo núcleo en una máquina multinúcleo), por lo que quiero ejecutar tres...

Actualmente estoy teniendo problemas con ddinvocado con un archivo disperso como input ( if) y un archivo como output ( of) con conv=sparse. ddparece estar usando un núcleo de la CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 núcleos + 4 Intel Hyperthreads) solo (100% de 1 núcleo), por lo que me...

Sé que en la línea de comandos puedo usar &para ejecutar un comando en segundo plano. Pero me pregunto si puedo hacerlo en un guión. Tengo un script como este: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh...