Supongamos que tengo una gran matriz numpy en memoria, tengo una función funcque toma esta matriz gigante como entrada (junto con algunos otros parámetros). funccon diferentes parámetros se pueden ejecutar en paralelo. Por ejemplo: def func(arr, param): # do stuff to arr, param # build array...
Tengo un pequeño problema con uno de mis proyectos. He estado tratando de encontrar un ejemplo bien documentado de uso de memoria compartida con fork() pero sin éxito. Básicamente, el escenario es que cuando el usuario inicia el programa, necesito almacenar dos valores en la memoria compartida:...
A menudo necesito aplicar una función a los grupos de un muy grande DataFrame(de tipos de datos mixtos) y me gustaría aprovechar varios núcleos. Puedo crear un iterador a partir de los grupos y usar el módulo de multiprocesamiento, pero no es eficiente porque cada grupo y los resultados de la...
Tengo una matriz SciPy de 60 GB (matriz) que debo compartir entre más de 5 multiprocessing Processobjetos. He visto numpy-sharedmem y leí esta discusión en la lista SciPy. Parece haber dos enfoques: numpy-sharedmemusar multiprocessing.RawArray()ay mapear NumPy dtypesa ctypes. Ahora,...
Creé una aplicación que también se puede ejecutar como un -serviceconmutador de servicio (usando un ). Esto funciona perfectamente sin problemas cuando estoy ejecutando el servicio desde un símbolo del sistema (tengo algo configurado que me permite depurarlo desde una consola cuando no se ejecuta...