Python/C++：可以导入 Armadillo (arma::) 但不能导入子例程 arma::arma_rng::randn

Question

问题

在使用 Armadillo 的 C++ 中创建 Python 扩展时，出现错误：

A) 在 Mac OS 莫哈韦沙漠 10.14.4，Python 3.7.5：

Traceback (most recent call last):
  File "./py_program.py", line 5, in <module>
    import cmodule
ImportError: dlopen(/Users/angel/.pyenv/versions/3.7.5/lib/python3.7/site-packages/cmodule.cpython-37m-darwin.so, 2): Symbol not found: __ZTWN4arma23arma_rng_cxx11_instanceE
  Referenced from: /Users/angel/.pyenv/versions/3.7.5/lib/python3.7/site-packages/cmodule.cpython-37m-darwin.so
  Expected in: flat namespace in /Users/angel/.pyenv/versions/3.7.5/lib/python3.7/site-packages/cmodule.cpython-37m-darwin.so

B) 在 Ubuntu 20, Python 3.8.2:

Traceback (most recent call last):
  File "./py_program.py", line 5, in <module>
    import cmodule
ImportError: /usr/local/lib/python3.8/dist-packages/cmodule.cpython-38-x86_64-linux-gnu.so: undefined symbol: _ZN4arma23arma_rng_cxx11_instanceE

两者都是因为使用了arma::arma_rng::randn<double>()，见下文。

我该如何解决？

详情

我希望py_program.py 导入cmodule.cpp 中定义的C++ 模块（扩展）。按照文档 https://docs.python.org/3/extending/extending.html ，我有文件 py_program.py、setup.py 和 cmodule.cpp。它们的内容是：

py_program.py

#!/usr/bin/env python3

"""Import and use cmodule."""

import cmodule
cmodule.printvol(3.)

setup.py

"""To install the module defined in cmodule.cpp."""
from distutils.core import setup, Extension
setup(name='cmodule', version='1.0',  \
      ext_modules=[
          Extension(
            'cmodule', ['cmodule.cpp'],
            extra_compile_args=['-std=c++11'],
            language='c++')],
      )

cmodule.cpp

/* Module to be used in Python.
   All Python stuff follows Sec. 1.8 of 
   https://docs.python.org/3/extending/extending.html */
#define PY_SSIZE_T_CLEAN
#include <Python.h>
#include <armadillo>


double f()
// Fails at using Armadillo.
// The module works if I delete this function.
{
    double rn_y = arma::arma_rng::randn<double>();
    return rn_y;
}


arma::cx_double g()
// Succeeds at using Armadillo.
{
    arma::cx_double value(0., 1.);
    return value;
}


static PyObject *
cmodule_printvol(PyObject *self, PyObject *args)
// A method of the module.
{
    double voltage;
    if (!PyArg_ParseTuple(args, "d", &voltage))
        return NULL;
    printf("voltage is %f.\n", voltage);
    Py_RETURN_NONE;
}


static PyMethodDef cmodule_methods[] = {
// Declare the modules methods.
    {"printvol", cmodule_printvol, METH_VARARGS, "Print voltage."},
    {NULL, NULL, 0, NULL}   /* sentinel */
};


static struct PyModuleDef cmodule = {
// Create the module.
    PyModuleDef_HEAD_INIT,
    "diff",
    NULL,
    -1,
    cmodule_methods
};

PyMODINIT_FUNC
PyInit_cmodule(void)
// Initialize the module.
{
    return PyModule_Create(&cmodule);
}

我运行他们如下：

python setup.py install
python py_program.py

在Ubuntu中，python3 setup.py install的输出为：

running install
running build
running build_ext
building 'cmodule' extension
creating build
creating build/temp.linux-x86_64-3.8
x86_64-linux-gnu-gcc -pthread -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O2 -Wall -g -fstack-protector-strong -Wformat -Werror=format-security -g -fwrapv -O2 -g -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 -fPIC -I/usr/include/python3.8 -c cmodule.cpp -o build/temp.linux-x86_64-3.8/cmodule.o -std=c++11
creating build/lib.linux-x86_64-3.8
x86_64-linux-gnu-g++ -pthread -shared -Wl,-O1 -Wl,-Bsymbolic-functions -Wl,-Bsymbolic-functions -Wl,-z,relro -g -fwrapv -O2 -Wl,-Bsymbolic-functions -Wl,-z,relro -g -fwrapv -O2 -g -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2 build/temp.linux-x86_64-3.8/cmodule.o -o build/lib.linux-x86_64-3.8/cmodule.cpython-38-x86_64-linux-gnu.so
running install_lib
copying build/lib.linux-x86_64-3.8/cmodule.cpython-38-x86_64-linux-gnu.so -> /usr/local/lib/python3.8/dist-packages
running install_egg_info
Removing /usr/local/lib/python3.8/dist-packages/cmodule-1.0.egg-info
Writing /usr/local/lib/python3.8/dist-packages/cmodule-1.0.egg-info

导致问题的原因是

double rn_y = arma::arma_rng::randn<double>();

实际上，如果我删除函数 f()，我不会收到任何错误。请注意 Armadillo 已成功加载，因为 g() 使用它没有问题。发生了什么事？

Answer 1

在 setup.py 中，参数 libraries=['armadillo'] 到 Extension() 修复了问题：

"""To install the module defined in cmodule.cpp."""
from distutils.core import setup, Extension
setup(name='cmodule', version='1.0',  \
      ext_modules=[
          Extension(
            'cmodule', ['cmodule.cpp'],
            extra_compile_args=['-std=c++11'],
            libraries=['armadillo'], // this solves the problem
            language='c++')],
      )

神奇的是，没有它，arma::也能正确使用。但不像 arma::arma_rng.

那样 'submodules'

这个解决方案是通用的：其他库也会出现同样的问题。实际上，我使用 GNU 科学图书馆 (libraries=['gsl']) 复制了相同的内容（并使其工作）。

Python/C++：可以导入 Armadillo (arma::) 但不能导入子例程 arma::arma_rng::randn

Python/C++: can import Armadillo (arma::) but not subroutine arma::arma_rng::randn

c++

python

python-c-api

armadillo

问题

详情