RuntimeError en Windows que intenta el multiprocesamiento de Python

122

Estoy probando mi primer programa formal de Python usando Threading and Multiprocessing en una máquina con Windows. Sin embargo, no puedo iniciar los procesos, y Python muestra el siguiente mensaje. La cuestión es que no estoy lanzando mis hilos en el módulo principal . Los hilos se manejan en un módulo separado dentro de una clase.

EDITAR : Por cierto, este código funciona bien en ubuntu. No del todo en windows

RuntimeError: 
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.
            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:
                if __name__ == '__main__':
                    freeze_support()
                    ...
            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

Mi código original es bastante largo, pero pude reproducir el error en una versión abreviada del código. Se divide en dos archivos, el primero es el módulo principal y hace muy poco más que importar el módulo que maneja procesos / subprocesos y llama a un método. El segundo módulo es donde está la esencia del código.


testMain.py:

import parallelTestModule

extractor = parallelTestModule.ParallelExtractor()
extractor.runInParallel(numProcesses=2, numThreads=4)

paralelTestModule.py:

import multiprocessing
from multiprocessing import Process
import threading

class ThreadRunner(threading.Thread):
    """ This class represents a single instance of a running thread"""
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        print self.name,'\n'

class ProcessRunner:
    """ This class represents a single instance of a running process """
    def runp(self, pid, numThreads):
        mythreads = []
        for tid in range(numThreads):
            name = "Proc-"+str(pid)+"-Thread-"+str(tid)
            th = ThreadRunner(name)
            mythreads.append(th) 
        for i in mythreads:
            i.start()
        for i in mythreads:
            i.join()

class ParallelExtractor:    
    def runInParallel(self, numProcesses, numThreads):
        myprocs = []
        prunner = ProcessRunner()
        for pid in range(numProcesses):
            pr = Process(target=prunner.runp, args=(pid, numThreads)) 
            myprocs.append(pr) 
#        if __name__ == 'parallelTestModule':    #This didnt work
#        if __name__ == '__main__':              #This obviously doesnt work
#        multiprocessing.freeze_support()        #added after seeing error to no avail
        for i in myprocs:
            i.start()

        for i in myprocs:
            i.join()
NG Algo
fuente
@doctorlove Lo ejecuto como python testMain.py
NG Algo
1
Claro, necesita un if name == ' main ' vea las respuestas y los documentos
doctorlove
1
@NGAlgo Su script fue muy útil para mí mientras depuraba un problema con pymongo y multiprocesamiento. ¡Gracias!
Clay

Respuestas:

174

En Windows, los subprocesos importarán (es decir, ejecutarán) el módulo principal al inicio. Debe insertar una if __name__ == '__main__':protección en el módulo principal para evitar la creación de subprocesos de forma recursiva.

Modificado testMain.py:

import parallelTestModule

if __name__ == '__main__':    
    extractor = parallelTestModule.ParallelExtractor()
    extractor.runInParallel(numProcesses=2, numThreads=4)
Janne Karila
fuente
3
(se golpea la frente con la palma de la mano) ¡Doh! ¡¡¡¡Funciona!!!! Muchas gracias! ¡Me faltaba el hecho de que es el módulo principal original el que se vuelve a importar! Todo este tiempo estuve probando el cheque " name ==" justo antes de iniciar mis procesos.
NG Algo
1
Parece que no puedo importar 'paralelTestModule'. Estoy usando Python 2.7. ¿Debería funcionar fuera de la caja?
Jonny
2
@Jonny El código de paralelTestModule.py es parte de la pregunta.
Janne Karila
1
@DeshDeepSingh El fragmento de código no es un ejemplo independiente; es una modificación del código de OP
Janne Karila
1
@DeshDeepSingh Ese módulo es parte de la pregunta.
Janne Karila
25

Intente poner su código dentro de una función principal en testMain.py

import parallelTestModule

if __name__ ==  '__main__':
  extractor = parallelTestModule.ParallelExtractor()
  extractor.runInParallel(numProcesses=2, numThreads=4)

Ver los documentos :

"For an explanation of why (on Windows) the if __name__ == '__main__' 
part is necessary, see Programming guidelines."

que dicen

"Asegúrese de que un nuevo intérprete de Python pueda importar de manera segura el módulo principal sin causar efectos secundarios no deseados (como iniciar un nuevo proceso)".

... mediante el uso if __name__ == '__main__'

doctor amor
fuente
9

Aunque las respuestas anteriores son correctas, hay una pequeña complicación que sería útil comentar.

En caso de que su módulo principal importe otro módulo en el que las variables globales o las variables de miembro de clase se definan e inicialicen (o utilicen) algunos objetos nuevos, es posible que deba condicionar esa importación de la misma manera:

if __name__ ==  '__main__':
  import my_module
Ofer
fuente
3

Como dijo @Ofer, cuando está utilizando otras bibliotecas o módulos, debe importarlos todos dentro del if __name__ == '__main__':

Entonces, en mi caso, terminó así:

if __name__ == '__main__':       
    import librosa
    import os
    import pandas as pd
    run_my_program()
Luis Abdi
fuente
0

En mi caso, fue un error simple en el código, usando una variable antes de que se creara. Vale la pena comprobarlo antes de probar las soluciones anteriores. Dios sabe por qué recibí este mensaje de error en particular.

arame3333
fuente