¿Enumerar todos los módulos que forman parte de un paquete de Python?

¿Existe una forma sencilla de encontrar todos los módulos que forman parte de un paquete de Python? Encontré esta vieja discusión , que no es realmente concluyente, pero me encantaría tener una respuesta definitiva antes de implementar mi propia solución basada en os.listdir ().

Sí, desea algo basado en pkgutilo similar; de esta manera, puede tratar todos los paquetes por igual, independientemente de si están en huevos o cremalleras o algo así (donde os.listdir no ayudará).

import pkgutil

# this is the package we are inspecting -- for example 'email' from stdlib
import email

package = email
for importer, modname, ispkg in pkgutil.iter_modules(package.__path__):
    print "Found submodule %s (is a package: %s)" % (modname, ispkg)

¿Cómo importarlos también? Puedes usarlo __import__como de costumbre:

import pkgutil

# this is the package we are inspecting -- for example 'email' from stdlib
import email

package = email
prefix = package.__name__ + "."
for importer, modname, ispkg in pkgutil.iter_modules(package.__path__, prefix):
    print "Found submodule %s (is a package: %s)" % (modname, ispkg)
    module = __import__(modname, fromlist="dummy")
    print "Imported", module

La herramienta adecuada para este trabajo es pkgutil.walk_packages.

Para enumerar todos los módulos de su sistema:

import pkgutil
for importer, modname, ispkg in pkgutil.walk_packages(path=None, onerror=lambda x: None):
    print(modname)

Tenga en cuenta que walk_packages importa todos los subpaquetes, pero no los submódulos.

Si desea enumerar todos los submódulos de un determinado paquete, puede usar algo como esto:

import pkgutil
import scipy
package=scipy
for importer, modname, ispkg in pkgutil.walk_packages(path=package.__path__,
                                                      prefix=package.__name__+'.',
                                                      onerror=lambda x: None):
    print(modname)

iter_modules solo enumera los módulos que tienen un nivel de profundidad. walk_packages obtiene todos los submódulos. En el caso de scipy, por ejemplo, walk_packages devuelve

scipy.stats.stats

mientras que iter_modules solo devuelve

scipy.stats

La documentación sobre pkgutil ( http://docs.python.org/library/pkgutil.html ) no enumera todas las funciones interesantes definidas en /usr/lib/python2.6/pkgutil.py.

Quizás esto signifique que las funciones no son parte de la interfaz "pública" y están sujetas a cambios.

Sin embargo, al menos a partir de Python 2.6 (¿y quizás versiones anteriores?) Pkgutil viene con un método walk_packages que recorre recursivamente todos los módulos disponibles.

Esto funciona para mi:

import types

for key, obj in nltk.__dict__.iteritems():
    if type(obj) is types.ModuleType: 
        print key

Estaba buscando una forma de recargar todos los submódulos que estoy editando en vivo en mi paquete. Es una combinación de las respuestas / comentarios anteriores, así que decidí publicarlo aquí como una respuesta en lugar de un comentario.

package=yourPackageName
import importlib
import pkgutil
for importer, modname, ispkg in pkgutil.walk_packages(path=package.__path__, prefix=package.__name__+'.', onerror=lambda x: None):
    try:
        modulesource = importlib.import_module(modname)
        reload(modulesource)
        print("reloaded: {}".format(modname))
    except Exception as e:
        print('Could not load {} {}'.format(modname, e))

Aquí hay una forma, fuera de mi cabeza:

>>> import os
>>> filter(lambda i: type(i) == type(os), [getattr(os, j) for j in dir(os)])
[<module 'UserDict' from '/usr/lib/python2.5/UserDict.pyc'>, <module 'copy_reg' from '/usr/lib/python2.5/copy_reg.pyc'>, <module 'errno' (built-in)>, <module 'posixpath' from '/usr/lib/python2.5/posixpath.pyc'>, <module 'sys' (built-in)>]

Sin duda, podría limpiarse y mejorarse.

EDITAR: Aquí hay una versión un poco mejor:

>>> [m[1] for m in filter(lambda a: type(a[1]) == type(os), os.__dict__.items())]
[<module 'copy_reg' from '/usr/lib/python2.5/copy_reg.pyc'>, <module 'UserDict' from '/usr/lib/python2.5/UserDict.pyc'>, <module 'posixpath' from '/usr/lib/python2.5/posixpath.pyc'>, <module 'errno' (built-in)>, <module 'sys' (built-in)>]
>>> [m[0] for m in filter(lambda a: type(a[1]) == type(os), os.__dict__.items())]
['_copy_reg', 'UserDict', 'path', 'errno', 'sys']

NOTA: Esto también encontrará módulos que pueden no estar necesariamente ubicados en un subdirectorio del paquete, si están incluidos en su __init__.pyarchivo, por lo que depende de lo que usted quiera decir con "parte de" un paquete.