Acceda a los datos en el subdirectorio del paquete

Estoy escribiendo un paquete de Python con módulos que necesitan abrir archivos de datos en un ./data/subdirectorio. En este momento tengo las rutas a los archivos codificados en mis clases y funciones. Me gustaría escribir un código más robusto que pueda acceder al subdirectorio independientemente de dónde esté instalado en el sistema del usuario.

He intentado una variedad de métodos, pero hasta ahora no he tenido suerte. Parece que la mayoría de los comandos del "directorio actual" devuelven el directorio del intérprete de Python del sistema, y ​​no el directorio del módulo.

Parece que debería ser un problema trivial y común. Sin embargo, parece que no puedo entenderlo. Parte del problema es que mis archivos de datos no son .pyarchivos, por lo que no puedo usar las funciones de importación y similares.

¿Alguna sugerencia?

En este momento mi directorio de paquetes se ve así:

/
__init__.py
module1.py
module2.py
data/   
   data.txt

Estoy tratando de acceder data.txtdesde module*.py!

Puede usar __file__para obtener la ruta al paquete, de esta manera:

import os
this_dir, this_filename = os.path.split(__file__)
DATA_PATH = os.path.join(this_dir, "data", "data.txt")
print open(DATA_PATH).read()

La forma estándar de hacerlo es con paquetes setuptools y pkg_resources.

Puede diseñar su paquete de acuerdo con la siguiente jerarquía y configurar el archivo de configuración del paquete para que señale sus recursos de datos, según este enlace:

http://docs.python.org/distutils/setupscript.html#installing-package-data

Luego puede volver a buscar y usar esos archivos usando pkg_resources, según este enlace:

http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access

import pkg_resources

DATA_PATH = pkg_resources.resource_filename('<package name>', 'data/')
DB_FILE = pkg_resources.resource_filename('<package name>', 'data/sqlite.db')

Para proporcionar una solución que funcione hoy. Definitivamente use esta API para no reinventar todas esas ruedas.

Se necesita un verdadero nombre de archivo del sistema de archivos. Los huevos comprimidos se extraerán a un directorio de caché:

from pkg_resources import resource_filename, Requirement

path_to_vik_logo = resource_filename(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Devuelve un objeto similar a un archivo legible para el recurso especificado; Puede ser un archivo real, un StringIO o algún objeto similar. La secuencia está en "modo binario", en el sentido de que los bytes que estén en el recurso se leerán tal cual.

from pkg_resources import resource_stream, Requirement

vik_logo_as_stream = resource_stream(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

Descubrimiento de paquetes y acceso a recursos utilizando pkg_resources

• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#resource-extraction
• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#basic-resource-access

A menudo no tiene sentido hacer una respuesta que detalle el código que no funciona como es, pero creo que esto es una excepción. Python 3.7 agregó importlib.resourcesque se supone que debe reemplazar pkg_resources. Funcionaría para acceder a archivos dentro de paquetes que no tienen barras en sus nombres, es decir

foo/
    __init__.py
    module1.py
    module2.py
    data/   
       data.txt
    data2.txt

es decir, puede acceder al data2.txtpaquete interno foocon, por ejemplo,

importlib.resources.open_binary('foo', 'data2.txt')

pero fallaría con una excepción para

>>> importlib.resources.open_binary('foo', 'data/data.txt')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.7/importlib/resources.py", line 87, in open_binary
    resource = _normalize_path(resource)
  File "/usr/lib/python3.7/importlib/resources.py", line 61, in _normalize_path
    raise ValueError('{!r} must be only a file name'.format(path))
ValueError: 'data/data2.txt' must be only a file name

Esto no se puede fijar excepto mediante la colocación __init__.pyen datay después de usarlo como un paquete:

importlib.resources.open_binary('foo.data', 'data.txt')

La razón de este comportamiento es "es por diseño" ; pero el diseño puede cambiar ...

Necesita un nombre para todo el módulo, se le da que el árbol de directorios no incluye ese detalle, para mí esto funcionó:

import pkg_resources
print(    
    pkg_resources.resource_filename(__name__, 'data/data.txt')
)

No parece que setuptools resuelva los archivos basándose en una coincidencia de nombre con los archivos de datos empaquetados, por lo que tendrá que incluir el data/prefijo prácticamente sin importar qué. Puede usarlo os.path.join('data', 'data.txt)si necesita separadores de directorio alternativos. Sin embargo, generalmente no encuentro problemas de compatibilidad con los separadores de directorio de estilo Unix codificados.

Creo que busqué una respuesta.

Hago un módulo data_path.py, que importo en mis otros módulos que contienen:

data_path = os.path.join(os.path.dirname(__file__),'data')

Y luego abro todos mis archivos con

open(os.path.join(data_path,'filename'), <param>)