tutorial - Usar Cython para vincular Python a una biblioteca compartida

cython install

Question

Estoy tratando de integrar una biblioteca de terceros escrita en C con mi aplicación de python usando Cython . Tengo todo el código de Python escrito para una prueba. Tengo problemas para encontrar un ejemplo para configurar esto.

Tengo un archivo pyd/pyx que creé manualmente. El tercero me ha dado un header file (*.h) y una shared library (*.so) . Por lo que puedo decir, no hay otras dependencias. ¿Alguien puede dar un ejemplo de cómo configurar esto con Cython y disutils ?

Gracias

Answer 1

Por supuesto !

(En lo que sigue, supongo que ya sabes cómo lidiar con cimport y las interacciones entre .pxd y .pyx . Si esto no es completamente el caso, solo pregunta y desarrollaré esa parte también)

La muestra (tomada de un proyecto mío C ++, pero un proyecto C funcionaría más o menos igual):

1. El archivo de configuración de Distutils:

Suponiendo que la extensión que se creará se llamará myext y la biblioteca compartida de terceros será libexternlib.so (tenga en cuenta el prefijo lib * , aquí) ...

# setup.py file
import sys
import os
import shutil

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

# clean previous build
for root, dirs, files in os.walk(".", topdown=False):
    for name in files:
        if (name.startswith("myext") and not(name.endswith(".pyx") or name.endswith(".pxd"))):
            os.remove(os.path.join(root, name))
    for name in dirs:
        if (name == "build"):
            shutil.rmtree(name)

# build "myext.so" python extension to be added to "PYTHONPATH" afterwards...
setup(
    cmdclass = {''build_ext'': build_ext},
    ext_modules = [
        Extension("myext", 
                  sources=["myext.pyx",
                           "SomeAdditionalCppClass1.cpp",
                           "SomeAdditionalCppClass2.cpp"
                       ],
                  libraries=["externlib"],          # refers to "libexternlib.so"
                  language="c++",                   # remove this if C and not C++
                  extra_compile_args=["-fopenmp", "-O3"],
                  extra_link_args=["-DSOME_DEFINE_OPT", 
                                   "-L./some/extra/dependency/dir/"]
             )
        ]
)           

Nota: Su archivo externo .so está vinculado a través de la opción de libraries :

libraries=["externlib"]   # Without the ''lib'' prefix and the ''.so'' extension...

Nota: la opción de sources se puede usar para obtener algunos archivos fuente adicionales compilados.

Importante: myext.pxd (no confundas con .pyd - cosas de Windows) y myext.pyx deberían estar en el mismo directorio. En tiempo de compilación, el archivo de definición, si existe, se procesa primero ( more ).

2. Luego ejecútelo de la siguiente manera:

Después de haber cambiado el directorio al que contiene tu myext.pxd , tu myext.pyx , así como el script setup.py anterior:

# setup.sh
# Make the "myext" Python Module ("myext.so")
CC="gcc"   /
CXX="g++"   /
CFLAGS="-I./some/path/to/includes/ -I../../../DEPENDENCIES/python2.7/inc -I../../../DEPENDENCIES/gsl-1.15"   /
LDFLAGS="-L./some/path/to/externlib/"   /
    python setup.py build_ext --inplace

Dónde :

• Se supone que libexternlib.so se encuentra en ./some/path/to/externlib/
• se supone que yourheader.h se encuentra en ./some/path/to/includes/

Nota: CFLAGS también podría haberse configurado usando la opción extra_compile_args :

extra_compile_args=["-I./some/path/to/includes/", "-fopenmp", "-O3"]

Nota: LDFLAGS también podría haberse configurado usando la opción extra_link_args :

extra_link_args=["-L./some/path/to/externlib/", "-DSOME_DEFINE_OPT", "-L./some/extra/dependency/dir/"]

Una vez que distutils termina con la construcción, obtienes algunos archivos nuevos, especialmente myext.cpp , myext.h y lo más importante, myext.so .

3. Después de eso, estás listo para ir:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:./some/path/to/externlib/
export PYTHONPATH=$PYTHONPATH:./some/path/to/myext/

# Run some script requiring "myext.so"
python somescript.py

Donde su extensión de Python recién creada se puede importar por su nombre:

# somescript.py
import myext
from myext import PySomeFeature
...

Nota acerca de la optimización: de manera predeterminada, se utiliza -O2 para compilar la extensión, pero esta puede estar sobrecargada (consulte la configuración anterior donde se especifica -O3 ).

Nota sobre las rutas de Cython: si Cython se instaló en un directorio personalizado, es posible que desee agregarlo a su entorno, antes de todo:

PYTHONPATH=$PYTHONPATH:../../../DEPENDENCIES/Cython-0.18 export PYTHONPATH;
PATH=$PATH:../../../DEPENDENCIES/Cython-0.18/bin; export PATH;

Bueno, espero haber cubierto los puntos principales ...