Envolviendo una biblioteca C en Python: C, Cython o ctypes?

Quiero llamar a una biblioteca C desde una aplicación Python. No quiero ajustar toda la API, solo las funciones y los tipos de datos que son relevantes para mi caso. Tal como lo veo, tengo tres opciones:

1. Cree un módulo de extensión real en C. Probablemente exagere, y también me gustaría evitar la sobrecarga de aprender a escribir la extensión.
2. Use Cython para exponer las partes relevantes de la biblioteca C a Python.
3. Haga todo en Python, utilizando ctypespara comunicarse con la biblioteca externa.

No estoy seguro de si 2) o 3) es la mejor opción. La ventaja de 3) es que ctypeses parte de la biblioteca estándar, y el código resultante sería Python puro, aunque no estoy seguro de cuán grande es realmente esa ventaja.

¿Hay más ventajas / desventajas con cualquiera de las dos opciones? ¿Qué enfoque me recomiendan?

Editar: Gracias por todas sus respuestas, proporcionan un buen recurso para cualquiera que quiera hacer algo similar. La decisión, por supuesto, aún debe tomarse para el caso único: no hay una respuesta de "Esto es lo correcto". Para mi propio caso, probablemente usaré ctypes, pero también estoy ansioso por probar Cython en algún otro proyecto.

Al no existir una única respuesta verdadera, aceptar una es algo arbitrario; Elegí la respuesta de FogleBird, ya que proporciona una buena idea de los tipos y actualmente es la respuesta más votada. Sin embargo, sugiero leer todas las respuestas para obtener una buena visión general.

Gracias de nuevo.

ctypes es su mejor apuesta para hacerlo rápidamente, ¡y es un placer trabajar con él, ya que todavía está escribiendo Python!

Recientemente envolví un controlador FTDI para comunicarme con un chip USB usando ctypes y fue genial. Lo hice todo y trabajé en menos de un día de trabajo. (Solo implementé las funciones que necesitábamos, unas 15 funciones).

Anteriormente estábamos usando un módulo de terceros, PyUSB , con el mismo propósito. PyUSB es un módulo de extensión C / Python real. Pero PyUSB no estaba lanzando el GIL al bloquear lecturas / escrituras, lo que nos estaba causando problemas. Entonces escribí nuestro propio módulo usando ctypes, que libera el GIL cuando llama a las funciones nativas.

Una cosa a tener en cuenta es que los ctypes no sabrán acerca de las #defineconstantes y las cosas en la biblioteca que está utilizando, solo las funciones, por lo que tendrá que redefinir esas constantes en su propio código.

Aquí hay un ejemplo de cómo se veía el código (muchos recortados, solo tratando de mostrarte la esencia del mismo):

from ctypes import *

d2xx = WinDLL('ftd2xx')

OK = 0
INVALID_HANDLE = 1
DEVICE_NOT_FOUND = 2
DEVICE_NOT_OPENED = 3

...

def openEx(serial):
    serial = create_string_buffer(serial)
    handle = c_int()
    if d2xx.FT_OpenEx(serial, OPEN_BY_SERIAL_NUMBER, byref(handle)) == OK:
        return Handle(handle.value)
    raise D2XXException

class Handle(object):
    def __init__(self, handle):
        self.handle = handle
    ...
    def read(self, bytes):
        buffer = create_string_buffer(bytes)
        count = c_int()
        if d2xx.FT_Read(self.handle, buffer, bytes, byref(count)) == OK:
            return buffer.raw[:count.value]
        raise D2XXException
    def write(self, data):
        buffer = create_string_buffer(data)
        count = c_int()
        bytes = len(data)
        if d2xx.FT_Write(self.handle, buffer, bytes, byref(count)) == OK:
            return count.value
        raise D2XXException

Alguien hizo algunos puntos de referencia sobre las diversas opciones.

Podría dudar más si tuviera que ajustar una biblioteca C ++ con muchas clases / plantillas / etc. Pero ctypes funciona bien con estructuras e incluso puede devolver la llamada a Python.

Advertencia: la opinión de un desarrollador principal de Cython por delante.

Casi siempre recomiendo Cython sobre ctypes. La razón es que tiene una ruta de actualización mucho más suave. Si usa ctypes, muchas cosas serán simples al principio, y ciertamente es genial escribir su código FFI en Python simple, sin compilación, dependencias de compilación y todo eso. Sin embargo, en algún momento, seguramente encontrará que tiene que llamar mucho a su biblioteca C, ya sea en un bucle o en una serie más larga de llamadas interdependientes, y le gustaría acelerar eso. Ese es el punto donde notarás que no puedes hacer eso con ctypes. O bien, cuando necesite funciones de devolución de llamada y descubra que su código de devolución de llamada de Python se convierte en un cuello de botella, le gustaría acelerarlo o bajarlo también a C. Nuevamente, no puedes hacer eso con ctypes.

Con Cython, OTOH, eres completamente libre de hacer que el código de envoltura y llamada sea tan delgado o grueso como quieras. Puede comenzar con llamadas simples en su código C a partir del código Python normal, y Cython las traducirá en llamadas C nativas, sin ninguna sobrecarga adicional de llamadas y con una sobrecarga de conversión extremadamente baja para los parámetros de Python. Cuando note que necesita aún más rendimiento en algún momento en el que realiza demasiadas llamadas costosas a su biblioteca de C, puede comenzar a anotar su código Python circundante con tipos estáticos y dejar que Cython lo optimice directamente en C para usted. O bien, puede comenzar a reescribir partes de su código C en Cython para evitar llamadas y especializarse y ajustar sus bucles algorítmicamente. Y si necesita una devolución de llamada rápida, simplemente escriba una función con la firma apropiada y páselo directamente al registro de devolución de llamada de C. Una vez más, no hay gastos generales, y le brinda un rendimiento de llamadas C simple. Y en el caso mucho menos probable de que realmente no pueda obtener su código lo suficientemente rápido en Cython, aún puede considerar reescribir las partes realmente críticas en C (o C ++ o Fortran) y llamarlo desde su código de Cython de forma natural y nativa. Pero entonces, esto realmente se convierte en el último recurso en lugar de la única opción.

Entonces, ctypes es bueno para hacer cosas simples y hacer que algo funcione rápidamente. Sin embargo, tan pronto como las cosas comiencen a crecer, lo más probable es que llegues al punto en que notes que es mejor que uses Cython desde el principio.

Cython es una herramienta bastante buena en sí misma, vale la pena aprender, y sorprendentemente se acerca a la sintaxis de Python. Si hace alguna computación científica con Numpy, entonces Cython es el camino a seguir porque se integra con Numpy para operaciones de matriz rápidas.

Cython es un superconjunto del lenguaje Python. Puede arrojar cualquier archivo Python válido y escupirá un programa C válido. En este caso, Cython solo asignará las llamadas de Python a la API de CPython subyacente. Esto da como resultado una aceleración del 50% porque su código ya no se interpreta.

Para obtener algunas optimizaciones, debe comenzar a contarle a Cython datos adicionales sobre su código, como las declaraciones de tipo. Si le dice lo suficiente, puede reducir el código a puro C. Es decir, un bucle for en Python se convierte en un bucle for en C. Aquí verá ganancias de velocidad masivas. También puede vincular a programas externos de C aquí.

Usar el código de Cython también es increíblemente fácil. Pensé que el manual hace que suene difícil. Literalmente solo haces:

$ cython mymodule.pyx
$ gcc [some arguments here] mymodule.c -o mymodule.so

y luego puedes import mymoduleen tu código de Python y olvidar por completo que se compila en C.

En cualquier caso, debido a que Cython es tan fácil de configurar y comenzar a usar, sugiero probarlo para ver si se adapta a sus necesidades. No será un desperdicio si resulta que no es la herramienta que estás buscando.

Para llamar a una biblioteca de C desde una aplicación de Python, también existe cffi, que es una nueva alternativa para ctypes . Trae una nueva apariencia para FFI:

• maneja el problema de una manera fascinante y limpia (a diferencia de los tipos )
• no requiere escribir código que no sea Python (como en SWIG, Cython , ...)

Voy a tirar otro por ahí: SWIG

Es fácil de aprender, hace muchas cosas bien y admite muchos más idiomas, por lo que el tiempo dedicado a aprenderlo puede ser bastante útil.

Si usa SWIG, está creando un nuevo módulo de extensión de Python, pero SWIG está haciendo la mayor parte del trabajo pesado por usted.

Personalmente, escribiría un módulo de extensión en C. No se deje intimidar por las extensiones de Python C: no son difíciles de escribir. La documentación es muy clara y útil. Cuando escribí por primera vez una extensión C en Python, creo que me llevó alrededor de una hora descubrir cómo escribir una, no mucho tiempo.

ctypes es genial cuando ya tienes un blob de bibliotecas compilado con el que lidiar (como las bibliotecas del sistema operativo). Sin embargo, la sobrecarga de llamadas es severa, por lo que si va a hacer muchas llamadas a la biblioteca y va a escribir el código C de todos modos (o al menos compilarlo), diría que vaya a Cython . No es mucho más trabajo, y será mucho más rápido y más pitónico usar el archivo pyd resultante.

Personalmente, tiendo a usar cython para acelerar rápidamente el código de python (las comparaciones de bucles y enteros son dos áreas en las que cython brilla particularmente), y cuando haya algún código / envoltura más involucrado de otras bibliotecas involucradas, recurriré a Boost.Python . Boost.Python puede ser complicado de configurar, pero una vez que lo tienes funcionando, hace que envolver el código C / C ++ sea sencillo.

Cython también es excelente para envolver numpy (que aprendí de los procedimientos de SciPy 2009 ), pero no he usado numpy, por lo que no puedo comentar sobre eso.

Si ya tiene una biblioteca con una API definida, creo que ctypeses la mejor opción, ya que solo tiene que hacer una pequeña inicialización y luego llamar más o menos a la biblioteca como está acostumbrado.

Creo que Cython o la creación de un módulo de extensión en C (que no es muy difícil) son más útiles cuando necesita un nuevo código, por ejemplo, llamar a esa biblioteca y realizar algunas tareas complejas y que requieren mucho tiempo, y luego pasar el resultado a Python.

Otro enfoque, para programas simples, es hacer directamente un proceso diferente (compilado externamente), enviando el resultado a la salida estándar y llamarlo con un módulo de subproceso. A veces es el enfoque más fácil.

Por ejemplo, si crea un programa de consola C que funciona más o menos de esa manera

$miCcode 10
Result: 12345678

Podrías llamarlo desde Python

>>> import subprocess
>>> p = subprocess.Popen(['miCcode', '10'], shell=True, stdout=subprocess.PIPE)
>>> std_out, std_err = p.communicate()
>>> print std_out
Result: 12345678

Con un pequeño formateo de cadenas, puede tomar el resultado de la forma que desee. También puede capturar la salida de error estándar, por lo que es bastante flexible.

Hay un problema que me hizo usar ctypes y no cython y que no se menciona en otras respuestas.

Usando ctypes, el resultado no depende en absoluto del compilador que esté usando. Puede escribir una biblioteca utilizando más o menos cualquier idioma que pueda compilarse en una biblioteca compartida nativa. No importa mucho, qué sistema, qué idioma y qué compilador. Cython, sin embargo, está limitado por la infraestructura. Por ejemplo, si desea usar el compilador de intel en Windows, es mucho más complicado hacer que Cython funcione: debe "explicar" el compilador a cython, recompilar algo con este compilador exacto, etc. Lo que limita significativamente la portabilidad.

Si está apuntando a Windows y elige envolver algunas bibliotecas C ++ propietarias, pronto descubrirá que las diferentes versiones de msvcrt***.dll(Visual C ++ Runtime) son ligeramente incompatibles.

Esto significa que es posible que no pueda usarlo Cythonya que el resultado wrapper.pydestá vinculado a msvcr90.dll (Python 2.7) o msvcr100.dll (Python 3.x) . Si la biblioteca que está ajustando está vinculada a una versión diferente del tiempo de ejecución, entonces no tiene suerte.

Luego, para que las cosas funcionen, deberá crear envoltorios de C para bibliotecas de C ++, vincular ese dll de envoltorio con la misma versión msvcrt***.dllque su biblioteca de C ++. Y luego úselo ctypespara cargar su dll de envoltura enrollada a mano dinámicamente en el tiempo de ejecución.

Así que hay muchos pequeños detalles, que se describen con gran detalle en el siguiente artículo:

"Hermosas bibliotecas nativas (en Python) ": http://lucumr.pocoo.org/2013/8/18/beautiful-native-libraries/

También hay una posibilidad de usar GObject Introspection para bibliotecas que usan GLib .

Sé que esta es una vieja pregunta, pero esto aparece en Google cuando buscas cosas como ctypes vs cython, y la mayoría de las respuestas aquí están escritas por aquellos que ya son competentes cythono cque pueden no reflejar el tiempo real que necesitas invertir para aprender esos para implementar su solución Soy un principiante completo en ambos. Nunca he tocado cythonantes, y tengo muy poca experiencia c/c++.

Durante los últimos dos días, estaba buscando una manera de delegar una parte importante de mi código en algo más bajo que Python. Implementé mi código tanto en ctypescomo Cython, que consistía básicamente en dos funciones simples.

Tenía una enorme lista de cadenas que necesitaba ser procesada. Aviso listy string. Ambos tipos no se corresponden perfectamente con los tipos c, porque las cadenas de Python son por defecto unicode y las ccadenas no lo son. Las listas en python simplemente NO son matrices de c.

Aquí está mi veredicto. Uso cython. Se integra con mayor fluidez a Python y es más fácil trabajar con él en general. Cuando algo sale mal ctypessolo te arroja por defecto, al menos cythonte dará advertencias de compilación con un seguimiento de pila siempre que sea posible, y puedes devolver un objeto python válido fácilmente cython.

Aquí hay una cuenta detallada sobre cuánto tiempo necesité invertir en ambos para implementar la misma función. Por cierto, hice muy poca programación en C / C ++:

• Tipos:

  • Aproximadamente 2 horas para investigar cómo transformar mi lista de cadenas Unicode en un tipo compatible con CA.
  • Aproximadamente una hora sobre cómo devolver una cadena correctamente desde la función ac. Aquí en realidad proporcioné mi propia solución para SO una vez que escribí las funciones.
  • Aproximadamente media hora para escribir el código en c, compilarlo en una biblioteca dinámica.
  • 10 minutos para escribir un código de prueba en python para verificar si el ccódigo funciona.
  • Aproximadamente una hora de hacer algunas pruebas y reorganizar el ccódigo.
  • Luego conecté el ccódigo a la base de código real y vi que ctypesno funciona bien con el multiprocessingmódulo, ya que su controlador no es seleccionable por defecto.
  • Aproximadamente 20 minutos reorganicé mi código para no usar el multiprocessingmódulo y volví a intentarlo.
  • Luego, la segunda función en mi ccódigo generó segfaults en mi base de código aunque pasó mi código de prueba. Bueno, probablemente sea mi culpa por no comprobar bien los casos extremos, estaba buscando una solución rápida.
  • Durante unos 40 minutos intenté determinar las posibles causas de estos fallos.
  • Dividí mis funciones en dos bibliotecas e intenté nuevamente. Todavía tenía segfaults para mi segunda función.
  • Decidí dejar de lado la segunda función y usar solo la primera función de ccódigo y en la segunda o tercera iteración del bucle de Python que lo usa, tuve la UnicodeErrorposibilidad de no decodificar un byte en alguna posición, aunque codifiqué y decodifiqué todo explícitamente

En este punto, decidí buscar una alternativa y decidí investigar cython:

• Cython
  • 10 min de lectura cython hello world .
  • 15 min de comprobar SO sobre cómo usar cython en setuptoolslugar de distutils.
  • 10 minutos de lectura sobre tipos de cython y tipos de python. Aprendí que puedo usar la mayoría de los tipos de python incorporados para la escritura estática.
  • 15 min de volver a anotar mi código de Python con tipos de cython.
  • 10 minutos de modificar mi setup.pypara usar el módulo compilado en mi base de código.
  • Conectado al módulo directamente a la multiprocessingversión de codebase. Funciona.

Para el registro, por supuesto, no medí los tiempos exactos de mi inversión. Puede muy bien ser el caso de que mi percepción del tiempo fuera un poco atenta debido al esfuerzo mental requerido mientras lidiaba con los tipos. Pero debe transmitir la sensación de tratar cythonyctypes