Lamento no poder reproducir el error con un ejemplo más simple, y mi código es demasiado complicado para publicar. Si ejecuto el programa en el shell de IPython en lugar del Python normal, las cosas funcionan bien. Busqué algunas notas anteriores sobre este problema. Todos fueron causados por el...
En el código de ejemplo a continuación, me gustaría recuperar el valor de retorno de la función worker. ¿Cómo puedo hacer esto? ¿Dónde se almacena este valor? Código de ejemplo: import multiprocessing def worker(procnum): '''worker function''' print str(procnum) + ' represent!' return...
Estoy tratando de aprender a usar el multiprocessingpaquete de Python , pero no entiendo la diferencia entre map_asyncy imap. Me di cuenta de que ambos map_asyncy imapse ejecutan de forma asincrónica. Entonces, ¿cuándo debo usar uno sobre el otro? ¿Y cómo debo recuperar el resultado devuelto por...
Estoy usando 'multiprocess.Pool.imap_unordered' de la siguiente manera from multiprocessing import Pool pool = Pool() for mapped_result in pool.imap_unordered(mapping_func, args_iter): do some additional processing on mapped_result ¿Necesito llamar pool.closeo pool.joindespués del bucle...
La documentación del multiprocessingmódulo muestra cómo pasar una cola a un proceso con el que se inició multiprocessing.Process. Pero, ¿cómo puedo compartir una cola con los procesos de trabajo asincrónicos con los que se inició apply_async? No necesito una unión dinámica ni nada más, solo una...
¿Qué factores determinan un chunksizeargumento óptimo para métodos como multiprocessing.Pool.map()? El .map()método parece utilizar una heurística arbitraria para su tamaño de trozo predeterminado (explicado a continuación); ¿Qué motiva esa elección y hay un enfoque más reflexivo basado en...
import subprocess def my_function(x): return x + 100 output = subprocess.Popen(my_function, 1) #I would like to pass the function object and its arguments print output #desired output: 101 Solo he encontrado documentación sobre la apertura de subprocesos utilizando scripts separados....
Supongamos que tengo el siguiente código: from scipy import * import multiprocessing as mp num_cores = mp.cpu_count() from joblib import Parallel, delayed import matplotlib.pyplot as plt def func(x,y): return y/x def main(y, xmin,xmax, dx): x = arange(xmin,xmax,dx) output =
Entonces, digamos que tiene un proceso de Python que está recopilando datos en tiempo real con alrededor de 500 filas por segundo (esto se puede paralelizar aún más para reducir a alrededor de 50 ps) de un sistema de colas y agregarlo a DataFrame: rq = MyRedisQueue(..) df = pd.DataFrame() while...